知识点 › 部署与回流
推理引擎
Inference Runtime
定义
TensorRT / ONNX Runtime / 厂商 SDK：图优化、算子融合、内存复用、多流并行。要保证「训练框架的算子」在车端有等价实现，否则精度/行为漂移。
关键要点
- 自定义算子要提前评估，落地时才发现不支持是常见坑
- 多模型共享内存与流水线调度，能显著降时延
- 要做「逐层对齐」验证：同一输入，训练与车端输出差多少
面试怎么答
讲「逐层对齐验证」，这是部署一致性的核心动作。
相关知识
- 推理算子 — 计算图里的基本运算：Conv、BN、ReLU、Resize、Concat、Slice、Transpose、Softma…
- 自定义算子与 fallback — 芯片不支持的算子有三条路：①自定义算子（TensorRT plugin / 厂商算子库）；②用等价算子组合重写；③fa…
- 模型压缩 — 量化（FP16/INT8/INT4）、剪枝（结构化/非结构化）、蒸馏、算子融合、低秩分解。目标是「在车端算力与功耗约束…