知识点 › 部署与回流
模型压缩
Model Compression
定义
量化（FP16/INT8/INT4）、剪枝（结构化/非结构化）、蒸馏、算子融合、低秩分解。目标是「在车端算力与功耗约束下保住精度与延迟」。
关键要点
- 先量化后剪枝：量化收益大、风险可控；剪枝对稀疏硬件依赖强
- 压缩后要重测「长尾小目标」，量化对远处小目标最不友好
- 延迟比 FLOPs 更真实：要测端到端时延与最坏帧
面试怎么答
讲「量化优先 + 长尾重测 + 时延而非 FLOPs」。
相关知识
- 车端芯片与算力 — 主流：NVIDIA Orin（254 TOPS）、地平线 J5/J6、特斯拉 FSD、高通 Ride/8295。选型看…
- 蒸馏 — 大模型（教师）教小模型（学生）：软标签、特征对齐、关系蒸馏。智驾里主要用于「云端大模型 → 车端小模型」，也是自动标注…
- 量化部署 — PTQ 用校准集定 scale，QAT 在训练中模拟误差。INT8 是主流，INT4 在探索。关键是「校准集要覆盖真实…
- 推理引擎 — TensorRT / ONNX Runtime / 厂商 SDK：图优化、算子融合、内存复用、多流并行。要保证「训练框…
- 数据闭环 — 把「真实世界产生的数据」持续转化为「车端模型能力」的工程体系：车端采集 → 回传 → 存储治理 → 场景挖掘与标注 →…