知识点 › 算子
自定义算子与 fallback
Custom Op / Fallback
定义
芯片不支持的算子有三条路:①自定义算子(TensorRT plugin / 厂商算子库);②用等价算子组合重写;③fallback 到 CPU(最差,常导致时延失控)。选型看「使用频次 × 耗时占比」。
关键要点
- 自定义算子要自己保证精度与性能,还要跟着推理引擎版本升级维护
- 重写(如用卷积模拟 GridSample)可能损失精度或增加算力
- fallback 必须监控:一旦触发就告警,不能静默变慢
面试怎么答
讲「三条路 + 维护成本」,并说明你为什么选其中一条。