知识点 › 算子
推理算子
Inference Ops
定义
计算图里的基本运算：Conv、BN、ReLU、Resize、Concat、Slice、Transpose、Softmax、TopK、Gather/Scatter、ArgMax。看似平凡，但车端芯片对每个算子的支持度与性能差异巨大。
关键要点
- 同一个模型，算子实现不同可能导致 2–3 倍时延差异
- 冷门算子（如动态 shape 的 Resize、非 4D 的 Transpose）常触发 fallback 到 CPU，时延爆炸
- 算子选择要「以芯片为中心」：先看支持矩阵，再设计网络
面试怎么答
讲「以芯片为中心设计网络」，并举一个 fallback 导致掉帧的例子。
相关知识
- 推理引擎 — TensorRT / ONNX Runtime / 厂商 SDK：图优化、算子融合、内存复用、多流并行。要保证「训练框…
- BEV 与点云算子 — BEV 与点云模型的特有算子：体素化（Voxelization）、Pillar 编码、LSS 深度分布与 BEV Po…
- NMS 与后处理算子 — NMS、Soft-NMS、IOU/GIOU 计算、TopK 过滤、坐标反变换与解码。后处理常被当成「小头」，但在高密度…
- 算子融合与图优化 — 编译器把多个算子合并成一个 kernel：Conv+BN+ReLU、Concat 消除、常量折叠、内存复用、量化融合（…
- 自定义算子与 fallback — 芯片不支持的算子有三条路：①自定义算子（TensorRT plugin / 厂商算子库）；②用等价算子组合重写；③fa…
- 算子覆盖率 — 模型用到的算子中，有多少能在目标芯片上高效执行。覆盖率不足 = 掉帧、fallback、甚至无法部署。要在「模型设计阶…
- 算子精度对齐 — 同一份输入，训练框架（PyTorch）与车端推理引擎（TensorRT/厂商 SDK）逐算子输出要一致到可接受误差。差…
- 算子（两种含义） — 数据闭环里「算子」指两样东西：①数据侧——加工流水线里可组合、可重跑、幂等的最小执行单元（解析、解码、脱敏、质检、切片…