知识点 › 算子

自定义算子与 fallback

Custom Op / Fallback

算子Lv.2

定义

芯片不支持的算子有三条路:①自定义算子(TensorRT plugin / 厂商算子库);②用等价算子组合重写;③fallback 到 CPU(最差,常导致时延失控)。选型看「使用频次 × 耗时占比」。

关键要点

  • 自定义算子要自己保证精度与性能,还要跟着推理引擎版本升级维护
  • 重写(如用卷积模拟 GridSample)可能损失精度或增加算力
  • fallback 必须监控:一旦触发就告警,不能静默变慢

面试怎么答

讲「三条路 + 维护成本」,并说明你为什么选其中一条。

相关知识

  • 推理引擎 — TensorRT / ONNX Runtime / 厂商 SDK:图优化、算子融合、内存复用、多流并行。要保证「训练框…
  • 推理算子 — 计算图里的基本运算:Conv、BN、ReLU、Resize、Concat、Slice、Transpose、Softma…
在星图上打开这颗星 →