知识点总览

智驾数据闭环 · 207 个知识点

把智驾数据闭环的 207 个知识点画在一张可无限漫游的画布上：车端采集、车云 mesh、解析 / 挖掘 / 标注 / 加工 / 样本中心、训练、OTA 下发与影子部署、影子回流。每个知识点给出定义、关键要点、面试怎么答与常见踩坑。

按 11 个领域分组，共 207 个知识点、47 道面试题、13 张架构图。

范式与价值

为什么需要闭环：长尾、飞轮、数据驱动范式

  • 长尾问题 — 自动驾驶的绝大多数里程是简单的（直道、白天、空旷），但安全事故几乎全部集中在低频、罕见、组合复杂的「长尾场景」上。长尾的分布极不均衡：占比可能不到 1% 的数…
  • Corner Case — 边界与极端场景：异形车辆、倾倒的货物、施工围挡、动物、逆行电动车、强逆光、暴雨积水、隧道出入口明暗突变、传感器遮挡或失效。既是感知难点，也是规控与安全兜底的难…
  • 数据飞轮 — 越多的车 → 越多的数据 → 越好的模型 → 更好的产品 → 更多的车。飞轮的转速由「闭环周期」决定，而不是由数据总量决定；转得慢的飞轮会被数据量更小但转得快…
  • Tesla Data Engine 案例 — 2019 年 Autonomy Day 提出的范式：量产车以影子模式运行新模型，与人类驾驶行为不一致的片段自动触发回传，形成「自动发现 bad case → …
  • 数据驱动 vs 规则驱动 — 规则驱动靠工程师枚举 if-else 与几何逻辑，可解释、可验证，但无法覆盖组合爆炸；数据驱动靠模型从数据中拟合分布，覆盖能力强，但难验证、有分布外风险。工业…
  • Data-Centric AI — 吴恩达提出的转向：模型架构趋于同质化后，性能增量主要来自数据（清洗、配比、标注质量、难例覆盖），而不是调模型。对应到智驾，就是「数据工程能力 = 算法竞争力」。
  • 数据规模与 Scaling Law — 在感知与端到端任务上，数据量、模型量、算力量同步增长时性能呈幂律提升，但存在拐点：重复的简单数据几乎无增益，长尾与高质量标注数据的边际收益高得多。
  • 闭环核心指标 — 衡量闭环本身好不好，而不是模型好不好：数据利用率、自动标注率、闭环周期（发现→上车）、单位里程有效数据量、Bad Case 复发率、每版模型的回归逃逸率。
  • 数据成本结构 — 成本沿链路层层放大：采集（车/传感器/人力）→ 回传（流量）→ 存储（PB 级）→ 处理（算力）→ 标注（人力，最贵）→ 训练（GPU）→ 仿真（算力）。标注…
  • 端到端与数据闭环 — 端到端（感知到轨迹输出一体化）把「模块间接口」换成「数据里的隐式监督」，因此对数据的要求从「标注框」变成「驾驶行为/轨迹/语言解释」，数据闭环的重心从标注转向…
  • MLOps 与数据闭环 — 把机器学习交付工程化：数据版本、实验追踪、模型注册、自动化流水线、监控与回滚。数据闭环是 MLOps 在智驾场景的特化——多了车端、仿真、安全验证三个环节。
  • 数据闭环成熟度 — L0 手工：靠人找 case、人工标注、手动训练；L1 工具化：平台化但仍有断点；L2 自动化：触发-挖掘-预标注-训练-评测流水线打通；L3 自进化：自动发…
  • 商业价值与降本 — 闭环的价值体现在三处：减少路测里程（仿真替代实车）、减少标注人力（自动标注）、缩短版本周期（更快修 bug）。对矿山/港口等封闭场景，还直接体现为「少人化」带…
  • 闭环失效的典型坑 — 常见失效：①采集分布偏移（只采容易触发的场景，长尾反而漏掉）；②标注与训练目标不一致；③离线指标涨、实车不涨（过拟合测试集/分布外）；④闭环断在「部署」——发…

采集与回传

传感器、触发策略、车端筛选、回传与合规

  • 传感器组合 — 典型 L2+/L4 配置：前视 8MP 摄像头 + 环视/侧后视 + 激光雷达（机械/半固态/固态）+ 毫米波雷达 + 超声波 + GNSS/RTK + IM…
  • 时间同步 — 多传感器必须在同一时间基准上对齐：硬件触发（PPS/曝光同步）+ PTP/gPTP 授时 + 统一时间戳（采集时刻 vs 曝光时刻 vs 到达时刻）。同步误差…
  • 标定与漂移 — 内参（焦距/畸变）、外参（传感器间位姿）、时序标定（时间偏移）。量产车会因震动、温漂、轻微碰撞产生外参漂移，导致融合与 BEV 投影系统性偏差——这类数据进训…
  • 数据格式与分片 — ROS bag / MCAP / 自定义二进制；按时间分片（如 30s–5min 一段），每段带索引与元数据。格式选择影响解析效率、随机访问能力与生态兼容性。
  • 采集 SDK 与中间件 — 车端负责录制、缓存、触发判断、脱敏、上传的软件层。关键设计：环形缓冲区（trigger 前的数据也要保住，pre-trigger buffer）、多路并发写盘…
  • 触发采集策略 — 决定「哪些片段值得回传」，是数据闭环里杠杆最大的设计。好的触发让数据分布贴近「模型失败的地方」，差的触发只会重复采集简单场景，把存储和标注预算烧光。
  • 事件触发 — 由明确事件触发录制上传：接管/急刹/AEB/碰撞、近距离 cut-in、急打方向、驾驶员监控异常、系统降级、故障码。信噪比最高，但只能覆盖「已发生」的问题。
  • 区域/围栏触发 — 按地理围栏、路线、路口类型定向采集：新开城区域、施工路段、事故黑点、特定路口。适合「主动补齐某块 ODD」，而不是被动等事件。
  • 影子差异触发 — 车上同时跑「影子模型」与「在用策略」，当两者输出的差异超过阈值（轨迹偏离、检测类别/位置不一致、置信度骤降）时触发回传。它能发现「模型错了但系统没出事」的隐性…
  • 随机基线采样 — 按固定比例（如每 N 分钟或每 N 公里）随机回传一段完整数据，作为「真实分布的无偏样本」。它是评测集与分布监控的锚点，没有它，数据会越来越偏。
  • 语义触发 — 用车端轻量模型在线判断语义状态并触发：检测置信度低、出现新类别、占用栅格异常、可行驶区域突变、跟踪 ID 频繁切换、预测多模态发散。本质是「让模型自己说自己不…
  • 采集配额与调度 — 按车型、区域、场景标签分配回传配额（每车每天 X GB），并做优先级队列：事故 > 接管 > 影子差异 > 围栏 > 随机。避免个别车/个别场景吃满带宽，保证…
  • 车队形态 — 四类数据源：①测试车（传感器全、可控、贵）；②量产车/运营车（规模大、传感器降配、需脱敏）；③众包/后装（成本低、质量参差）；④场端/路侧（固定视角、补盲）。
  • 车端预筛 — 在车端先做一轮筛选再回传：轻量模型打分、规则过滤（静止/堵车/重复路线）、图像质量检测（模糊/过曝/遮挡）、去重。目标是把「回传+存储+标注」的成本前移削减。
  • 去重 — 同一场景被多车/多帧重复采集很常见（堵在同一条路、同一路口）。去重维度：图像感知哈希/CLIP 特征、轨迹相似度、时间地点邻近、点云描述子。
  • 压缩与编码 — 回传前压缩：视频 H.264/H.265/AV1，点云 Draco/量化，图像 JPEG/WebP。压缩率与画质是权衡，过度压缩会毁掉小目标与暗光细节，直接影…
  • 数据回传 — 把车端数据传到云端：4G/5G 蜂窝、场站 WiFi（换电站/停车场/矿区基站）、专网。工程要点：断点续传、分片校验、优先级队列、限速不影响业务、加密传输。
  • 带宽与流量成本 — 蜂窝流量按 GB 计费，一辆车一天传 10 GB，千辆车就是 10 TB/天，成本会超过存储。优化手段：只传关键片段、车端预筛、夜间闲时、场站 WiFi 卸载…
  • 断点续传与完整性 — 分片上传 + 校验（MD5/CRC）+ 断点续传 + 幂等去重。车端网络不稳定、会熄火断电，没有这些机制就会出现「半截文件」，后面解析全崩。
  • 脱敏 — 车端/云端对人脸、车牌、门牌、行人身份做打码或模糊；对地理位置做偏转/加密；对语音做消除。脱敏要在「进训练」之前完成，且要能证明不可逆。
  • 数据合规红线 — 国内主要约束：《汽车数据安全管理若干规定（试行）》、测绘法（地理信息采集资质与加密）、个人信息保护法、数据出境安全评估。核心红线：敏感区域不得采集、地理信息需…
  • 数据量估算 — 估算口径：8 路 1080p H.265 ≈ 10–20 GB/h；1 路 128 线激光雷达 ≈ 30–70 GB/h；加上雷达/IMU/总线，整车原始数据…
  • 封闭/矿山场景特化 — 矿山、港口、园区等封闭场景的数据闭环有明显差异：路线固定、场景重复度高、可布置场端基站与 WiFi、可反复复现同一场景、无牌照与人脸合规压力小；但粉尘、震动、…
  • 车路云协同 — 路侧感知与云端调度提供超视距信息，也提供数据闭环的「第三视角」：路侧相机可以拍到车看不到的盲区，作为标注真值或评测基准；云端可统筹车队采集计划。
  • 采集质量与脏数据 — 脏数据来源：丢帧、时间戳异常、镜头脏污/雨滴/起雾、过曝欠曝、标定漂移、存储损坏、传感器故障、重复片段。必须在入库前拦截，否则会污染训练集。

数据基础设施

存储、元数据、检索、版本、治理

  • 对象存储与分层 — 海量非结构化数据（视频/点云/图片）的底座：S3 协议（AWS S3 / 阿里 OSS / MinIO），按桶/前缀组织，配生命周期策略做冷热分层（热存 30…
  • 数据湖与湖仓一体 — 把原始文件 + 结构化元数据统一管理：Iceberg / Hudi / Delta Lake 提供 ACID、时间旅行、schema 演进；上层用 Spark…
  • 元数据体系 — 描述每段数据的「是什么、在哪、何时、什么车、什么版本、什么质量、什么标签」。元数据是检索、去重、复现、成本归因的基础；没有元数据的原始数据等于垃圾。
  • 数据目录与资产化 — 把数据集当资产管理：每个数据集有 owner、用途、版本、规模、质量分、使用记录、过期策略。让「找数据」从问人变成搜索，让「用数据」可审计。
  • 检索与索引 — 三类检索：①结构化（SQL/标签/时间/地理）；②向量（图像/点云/轨迹特征相似度）；③混合（先标签过滤再向量排序）。索引决定了「挖长尾」的效率。
  • 数据版本管理 — 数据集要像代码一样有版本：不可变快照 + 变更日志，能回答「这个模型是用哪版数据训的」「这版数据比上版多了什么」。工具：lakeFS / DVC / 自研 m…
  • 数据血缘 — 记录「原始片段 → 清洗 → 标注 → 数据集 → 训练 → 模型 → 车端版本」的全链路指向关系。用于问题归因（模型变差是数据问题还是代码问题）、影响面分析…
  • 数据管道 — 把「解析 → 质检 → 脱敏 → 打标 → 入库 → 切片 → 导出」串成可重跑的有向无环图（DAG）。要求：幂等、可重试、可观测、按需回填。
  • 计算引擎 — 批处理 Spark（元数据 ETL、统计）、流处理 Flink（实时告警、在线打标）、分布式 Python Ray（模型推理打标、视频解码）。视频解码是隐藏的…
  • 调度与编排 — Airflow / DolphinScheduler / Argo Workflows：定时、依赖、重试、告警、回填。智驾场景还要支持「按数据到达触发」（事件…
  • 数据质量体系 — 从「事后发现」转为「入库即拦截」：完整性（帧率/文件数）、一致性（时间戳/标定）、有效性（模糊/遮挡/曝光）、准确性（标注抽检）、唯一性（去重）、及时性（延迟…
  • 存储与算力成本治理 — PB 级数据的成本治理：冷热分层、生命周期删除、去重、压缩、按需转码、算力错峰、GPU 利用率。目标是「单位有效训练样本的成本」持续下降。
  • 权限、审计与安全 — 数据分级（公开/内部/敏感/重要数据）、最小权限、字段级脱敏、访问审计、下载管控。敏感数据（人脸、地理）要单独授权与水印。
  • 数据集构建 — 从海量片段中抽样、配比、切片，产出训练/验证/测试集。关键决策：场景分层（按 ODD/天气/道路/难度）、采样权重、去重、标注覆盖、版本冻结。
  • 训练/验证/测试划分 — 不能随机按帧划分——同一段视频的相邻帧高度相似，随机划分会造成「信息泄漏」，指标虚高。正确做法：按片段/按行程/按地理区域/按时间段划分，测试集与训练集在时间…
  • 数据泄漏 — 三种泄漏：①时间泄漏（用未来数据训练）；②实体泄漏（同一场景/同一辆车/同一路段跨集）；③标签泄漏（测试集被用于挖 bad case 再训练）。泄漏让离线指标…
  • 数据平台整体架构 — 分层：接入层（回传网关/解析）→ 存储层（对象存储 + 数据湖）→ 治理层（元数据/质量/权限）→ 加工层（管道/打标/切片）→ 服务层（检索/数据集/标注对…
  • 数据交付与导出 — 把数据集交付给训练：格式转换（WebDataset/LMDB/自定义）、分片、shuffle、预取、缓存到训练集群本地盘。交付效率直接决定 GPU 等待时间。
  • 数据分析与看板 — 面向运营与算法的分析：场景分布、接管热力图、区域覆盖率、数据增长趋势、标注产能、bad case 聚类。看板的作用是让「数据缺口」可见。
  • 规模与扩展性 — 从「百辆车/百 TB」到「万辆级/PB 级」的扩展：分片键设计、水平扩展、异步解耦、限流降级、多租户隔离。架构要在 10 倍规模下仍成立。
  • 可观测性 — 日志、指标、链路追踪三件套。数据链路的 SLO：数据到达延迟、管道成功率、检索 P99、导出耗时。没有可观测性，闭环就是黑盒。
  • Milvus 向量数据库 — 分布式向量数据库：Proxy 接入与路由、Query Node 检索、Index Node 建索引、Data Node 写入落段；依赖 etcd 存元数据、M…
  • 智驾数仓分层 — ODS 存解析后的原始片段/事件；DWD 是帧级/片段级明细（传感器、标签、模型输出）；DWS 按场景/车/天/区域汇总；ADS 面向看板与运营指标。与传统数…
  • 数据治理四件套 — 标准（命名/口径/枚举）、质量（完整性/一致性/有效性/唯一性/及时性）、安全（分级/脱敏/权限/审计）、成本（生命周期/冷热/去重）。治理的最终产出不是文档…
  • 时空索引 — 按「时间 + 空间」快速圈选片段：GeoHash / 网格做粗筛，R-tree / UBTree 做范围查询，Z-order 曲线把二维压成一维键；轨迹检索先…
  • 大数据处理与 ETL 调优 — Spark 批处理 + Flink 流处理构建 TB 级管道。瓶颈通常在 shuffle、小文件 IO 与视频解码，而不是 CPU 算力；调优顺序应为「先看 …
  • 数据服务 SLA — 用延迟、成功率、积压量定义数据服务可用性：事故片段 30 分钟内可检索、管道成功率 99.5%、检索 P99 < 300ms。SLO 要分层（接入/解析/入库…

场景挖掘与标注

场景库、标签、难例、自动标注、质量

  • 长尾样本挖掘 — 专门捞「低频高危害」：规则枚举（异形车/施工区/动物）、相似度扩展（以图搜图找同类）、场景组合生成、失败案例聚类。长尾无法穷举，只能用「扩展 + 生成」放大覆…
  • 场景定义 — 场景 = 静态环境（道路/路口/车道/建筑）+ 动态要素（交通参与者及其行为）+ 任务（本车要去哪、要做什么）+ 环境条件（天气/光照）。场景是数据闭环的「计…
  • 场景库 — 把挖掘出的场景实例化、去重、分层管理的资产库：每个场景有标签、难度、归属 ODD、出现频次、关联标注、关联测试用例。它同时服务训练（配比）与评测（回归集）。
  • ODD 与运行设计域 — ODD（Operational Design Domain）定义系统「能安全工作的条件边界」：道路类型、地理围栏、天气、光照、速度范围、交通密度。数据闭环的采…
  • 标签体系 — 多级标签树：环境（天气/光照/季节）、道路（高速/城区/矿区/路口/匝道）、参与者（车/人/动物/异形）、行为（cut-in/加塞/逆行/停车）、难度、系统状…
  • 自动标注 — 用离线大模型（教师模型）+ 多帧融合 + 建图/SLAM 生成高质量伪标签，替代或减少人工。自动标注率（自动产出且被采纳的比例）是闭环成本的核心指标，行业领先…
  • 教师模型与伪标签 — 用大模型（或集成模型）在离线数据上生成标签，再蒸馏给小模型。伪标签的噪声会累积，需要置信度过滤、一致性校验、以及「只在高置信区采用」。
  • 4D 自动标注 — 把「单帧 3D 框」升级为「时序一致的 4D 轨迹 + 速度 + 朝向」：先建局部地图/占据，再做多帧联合优化，最后投影回各帧。是端到端与轨迹预测的数据基础。
  • 占用栅格标注 — 把 3D 空间离散为体素并标注「占用/自由/未知」，不依赖目标类别，对异形障碍物、施工区、散落货物特别有效。是「无类别感知」路线的主流监督形式。
  • 语义/实例分割 — 像素级（图像）或点级（点云）类别标注：可行驶区域、车道线、路沿、建筑、植被、施工区。常用于 BEV 训练与可行驶区域约束。
  • 轨迹与行为标注 — 标注自车与他车的未来轨迹、速度曲线、行为意图（直行/变道/左转/让行/加塞）。是预测与端到端规划的核心监督信号，也是仿真回放的输入。
  • 标注工具 — 自研或开源（CVAT / Label Studio / Scale）的标注前端：多传感器同步播放、3D 点云编辑、预标注导入、快捷键、质检模式、任务分派与计件…
  • 标注规范 — 把「什么算一辆车、遮挡多少不标、边界怎么切」写成可执行的判定规则与示例图。规范不清是标注质量波动的第一原因，也是模型学不会边界 case 的根源。
  • 标注质量体系 — 四道关：①培训与考核（上岗门槛）；②抽检（按比例复核，算准确率/漏标率）；③黄金集（固定标准答案，定期测标注员漂移）；④争议仲裁（疑难样本由专家定论并回写规范…
  • 人在回路 — 机器先做、人只审核与修正的协作模式。设计要点：把人的注意力放在「模型最不确定」的样本上（主动学习），并对人工修正结果做二次利用（回训 + 规范更新）。
  • 主动学习 — 按「模型最不确定/最有信息量」挑样本标注：不确定性采样（熵、margin、MC Dropout）、多样性采样（聚类中心）、委员会分歧（多模型投票）。目标是用更…
  • 不确定性度量 — 四类：①预测熵/最大类概率（分类）；②回归方差/多模态分歧（轨迹）；③时序不一致（跟踪 ID 跳变、框抖动）；④模型间分歧（集成/新旧模型）。车端与云端可用不…
  • 一致性挖掘 — 不依赖标注真值，用「模型之间/时序之间/传感器之间」的不一致找问题：新旧模型分歧、前后帧预测矛盾、图像与点云检测冲突、跟踪 ID 频繁切换。廉价且召回高。
  • 难例挖掘 — 从海量数据中把「模型表现差」的片段捞出来：基于失败事件（接管/AEB）、基于模型指标（低置信/高损失）、基于一致性、基于规则（近距离 cut-in、异形目标）…
  • 失败案例回流 — 把线上接管、AEB 触发、碰撞、降级、影子差异等事件自动变成待分析工单：切片 → 归因（感知/预测/规控/地图/标定）→ 复现 → 修复 → 加回归用例。
  • 聚类与去重 — 把相似场景聚合，避免重复标注：特征（CLIP 图像特征、点云描述子、轨迹形状）→ 降维（UMAP/PCA）→ 聚类（HDBSCAN/K-means）→ 每簇取…
  • 场景检索 — 四类入口：标签/结构化查询、图像相似（以图搜图）、轨迹相似（DTW/形状匹配）、自然语言（「找雨天夜里电动车逆行」）。检索质量决定挖长尾的效率上限。
  • 合成数据与场景重建 — 用仿真引擎或神经渲染（NeRF / 3DGS）重建真实场景，再编辑（加车、改天气、改光照）生成稀有样本。解决「真实数据采不到」的问题，但存在 sim-to-r…
  • 数据增广 — 几何（裁剪/翻转/旋转）、光度（亮度/对比度/噪声/雨雾模拟）、时序（丢帧/抖动）、传感器（点云 dropout/噪声）。增广要「贴近真实退化」，否则学到的是…
  • 数据配比 — 决定训练集里各类场景的采样权重：简单场景做基底、长尾场景过采样、新开城/新车型加权、旧场景防遗忘。配比错了，模型会在「刷指标」和「真能用」之间跑偏。
  • 标注成本与产能 — 成本构成：人力单价 × 单帧耗时 × 帧数 + 质检 + 返工 + 工具摊销。降本路径：预标注、跨帧传播、抽帧标注、复用标注、外包分级。

模型训练

训练平台、数据配比、BEV/端到端/世界模型

  • 训练平台 — 把「任务提交 → 数据挂载 → 分布式训练 → 日志监控 → 权重归档」做成自助服务。关键能力：多机多卡调度、断点续训、实验隔离、资源配额、GPU 利用率看板。
  • 分布式训练 — DDP / FSDP / DeepSpeed / Megatron：数据并行、张量并行、流水并行、ZeRO 分片。智驾模型（BEV、端到端）参数量大、输入分辨…
  • 数据加载与 IO — 训练中最容易被忽视的瓶颈：解码、增广、shuffle 都在 CPU 侧，喂不饱 GPU 就是白烧钱。方案：预解码为 LMDB/WebDataset shard…
  • 实验管理 — 记录每次实验的配置、数据、指标、权重、日志：MLflow / W&B / 自研。目标是「三个月后还能说清哪次改动带来的涨点」。
  • 可复现性 — 同配置重跑得到同结果：固定随机种子、确定性的 CUDA 算子、锁版本（驱动/框架/镜像）、数据顺序可复现。做不到 100%，但要能解释差异来源。
  • BEV 感知 — 把多相机/激光雷达特征投影到统一鸟瞰图空间：BEVFormer（Transformer + 时序）、BEVDet/BEVDepth（LSS 深度估计）、Occ…
  • 端到端模型 — 从传感器输入直接输出轨迹/控制，中间不显式建模检测与预测（UniAD、VAD、DriveGPT 类）。优势：减少信息损失与手工接口；代价：可解释性差、数据需求…
  • 世界模型 — 学习「环境如何随动作演化」的生成式模型：给定当前观测与动作，预测未来观测/占用/轨迹。用途：生成逼真场景、做闭环仿真、给规划提供想象空间。
  • VLA / 多模态大模型 — 视觉-语言-动作模型：用自然语言描述场景与意图，输出驾驶决策。优势是可解释、可用语言监督、能处理「没见过但能描述」的场景；代价是推理延迟与数据要求。
  • 预训练与自监督 — 在大规模无标注数据上预训练（MAE、对比学习、掩码点云建模、视频预测），再下游微调。智驾里可显著降低对标注的依赖，尤其适合「无标注的车队数据」。
  • 蒸馏 — 大模型（教师）教小模型（学生）：软标签、特征对齐、关系蒸馏。智驾里主要用于「云端大模型 → 车端小模型」，也是自动标注闭环的关键一环。
  • 量化与量化感知训练 — PTQ（训练后量化）快但有精度损失；QAT（量化感知训练）在训练中模拟量化误差，精度更好。智驾车端 INT8 是常态，检测小目标对量化最敏感。
  • 课程学习与难例训练 — 先易后难、或对难例加权：按难度分阶段训练、OHEM（在线难例挖掘）、focal loss、长尾重采样。目的是让有限容量优先拟合「决定安全」的样本。
  • 微调与持续学习 — 在新数据上继续训练：全量微调、LoRA、增量学习。难点是「灾难性遗忘」——新场景学会了，老场景退化了。需要回放旧数据、正则约束、或分场景专家模型。
  • 迭代节奏与版本 — 模型版本节奏：日构建（CI 冒烟）→ 周迭代（功能/指标）→ 月发版（OTA）。每次发布要绑定数据版本、代码版本、模型版本，并留住「可回滚的上一版」。
  • 标签噪声与鲁棒训练 — 标注必然有错（漏标、错标、边界不一致）。鲁棒手段：损失函数（GCE/symmetric CE）、噪声样本识别（loss 异常）、标签平滑、多标注者投票、训练时…

仿真与评测

离线指标、仿真、回归、A/B、安全

  • 离线评测 — 用固定数据集算指标，快速筛模型。优点是便宜、可重复；缺点是「开环」——模型测的是「重建历史」，不是「自己开车」。离线涨点不等于实车涨点，必须用闭环兜底。
  • 感知指标 — 检测：mAP、NDS（nuScenes 综合分）、按距离/类别/遮挡分层；分割：mIoU；占用：IoU、RayIoU。指标要按「安全相关」加权——漏检一个行人…
  • 跟踪指标 — AMOTA / AMOTP / IDF1 / HOTA：衡量「跨帧 ID 稳定」与「轨迹精度」。ID switch 在实车上表现为「目标突然消失又出现」，会直…
  • 预测指标 — minADE / minFDE（多模态最小误差）、Miss Rate、brier-minFDE。注意 minADE 会奖励「多猜几个」，要同时看「模态数量」与…
  • 规划指标 — 碰撞率、接管率、舒适度（jerk、加速度）、通行效率（耗时/速度）、合法性（压线/闯红灯）、平顺性。规划没有唯一正确解，必须多指标帕累托权衡。
  • 开环评测 — 给模型历史输入，比较输出与「人类真实动作」的差距。便宜、可重复，但存在「因果混淆」：模型输出错了，历史依然按人类轨迹走，误差不会累积。
  • 闭环评测 — 模型输出直接驱动车辆（仿真里的车），环境随之变化，误差会累积、交互会真实发生。能暴露「开环看不出的问题」：犹豫、抖动、博弈失败、死锁。是端到端时代唯一可信的评…
  • 仿真平台 — 由「场景描述 + 交通流 + 传感器模型 + 车辆动力学 + 评测器」组成。能力分层：回放（log replay）→ 交互式（背景车会反应）→ 传感器级（渲染…
  • SIL / HIL / VIL — SIL：软件在环，模型跑在服务器上，最快最便宜；HIL：硬件在环，真实域控制器 + 仿真传感器输入，验证算力/时序/驱动；VIL：整车在环，实车在转鼓或试验场…
  • 场景回放 — 把真实采集的传感器数据按时间重放给被测系统，背景交通按原始轨迹运动。优点是「绝对真实」；缺点是「不交互」——自车做出不同决策时，他车不会反应。
  • 场景生成 — 四条路：①真实数据参数化（提取轨迹再扰动）；②规则组合（路口 × 天气 × 参与者）；③对抗生成（用优化/RL 找模型失败场景）；④生成式模型（世界模型/扩散…
  • 对抗场景与压力测试 — 主动搜索模型的失败边界：优化背景车轨迹制造冲突、模糊测试（fuzzing）参数、RL 找最坏情况。产出「最小可复现失败用例」，直接进回归集。
  • 场景覆盖率 — 衡量评测「测到了多少种情况」：ODD 维度覆盖（道路/天气/光照/参与者）、场景簇覆盖、参数空间覆盖。覆盖率是「安全论证」的量化基础，但永远无法证明 100%。
  • 仿真置信度 — 证明「仿真里通过的，实车也能过」：用同一批场景做仿真与实车对比，看结论是否一致（相关性、排序一致性、失败集合重叠度）。置信度不够时，仿真只能做筛选题。
  • 回归门禁 — 每次模型/代码变更自动跑固定回归集，指标退化就阻止发布。是高频迭代的安全网：没有门禁，团队会陷入「修一个坏三个」的循环。
  • A/B 与灰度 — 线上对比：把车队分成实验组/对照组，跑不同模型版本，比较接管率、舒适度、通行效率。灰度发布先小比例、再扩大，出问题可快速回滚。
  • 接管率与 MPI — MPI（Miles Per Intervention）与每千公里接管次数是行业通用 KPI。问题：接管定义不统一、安全员主观、样本量小导致置信区间宽。要用「责…
  • 安全论证与 SOTIF — ISO 26262 管「系统性失效与随机硬件失效」；SOTIF（ISO 21448）管「功能不足与可预见误用」——模型没见过的情况。UL 4600 提供「安全…
  • 测试集构建 — 测试集要「代表真实分布 + 覆盖长尾 + 绝对隔离」。构建方式：分层抽样 + 场景配额 + 人工精挑 + 冻结版本。测试集规模不必大，但要「每一条都有存在理由…
  • 指标体系设计 — 好的指标体系：北极星（安全/接管）+ 分层指标（感知/预测/规划）+ 过程指标（数据/训练/仿真）+ 业务指标（效率/成本）。指标之间要能解释「为什么涨/跌」。

部署与回流

压缩部署、OTA、影子模式、Bad Case

  • 模型压缩 — 量化（FP16/INT8/INT4）、剪枝（结构化/非结构化）、蒸馏、算子融合、低秩分解。目标是「在车端算力与功耗约束下保住精度与延迟」。
  • 量化部署 — PTQ 用校准集定 scale，QAT 在训练中模拟误差。INT8 是主流，INT4 在探索。关键是「校准集要覆盖真实分布」，否则某些通道被截断。
  • 车端芯片与算力 — 主流：NVIDIA Orin（254 TOPS）、地平线 J5/J6、特斯拉 FSD、高通 Ride/8295。选型看「有效算力（可用 TOPS）」「功耗」「…
  • 推理引擎 — TensorRT / ONNX Runtime / 厂商 SDK：图优化、算子融合、内存复用、多流并行。要保证「训练框架的算子」在车端有等价实现，否则精度/行…
  • OTA 升级 — 把模型/软件推到车端：差分包、A/B 分区、断点续传、断电保护、签名校验、灰度分批、失败回滚。是数据闭环「最后一公里」，也是风险最高的一步。
  • 回滚机制 — 发现新版异常时快速退回旧版：保留上一版镜像/权重、一键切换、状态一致性处理（正在执行的任务要能安全移交或结束）。回滚时间要进 SLO。
  • 影子模式 — 新模型在车上「并行运行但不控车」，与在用策略/人类驾驶对比，差异片段回传。它是「零风险验证 + 自动发现 bad case」的组合，是数据闭环的引擎。
  • 影子差异分析 — 定义「差异」并归因：轨迹距离、加速度差、检测类别/位置不一致、置信度分布偏移、决策分歧。差异要能自动分类（漏检/误检/规划保守/规划激进），否则回传的是一堆无…
  • 线上监控与埋点 — 车端埋点上报：接管、急刹、降级、感知异常、时延、算力占用、传感器故障。云端做看板与告警，按车型/区域/版本切片，异常自动触发分析。
  • Bad Case 回流 — 线上问题 → 自动切片 → 归因 → 复现 → 修复 → 回归 → 上车 的完整链路。关键在「自动化」与「不丢失」：每个 case 有 ID、有 owner、…
  • 事故与接管复盘 — 结构化复盘：时间线、系统状态、传感器数据、模型输出、人工干预、根因（感知/预测/规控/地图/标定/硬件）、改进项与责任人。目的是「同类问题不再发生」，不是追责。
  • 训练-部署一致性 — 同一帧数据，训练管线与车端管线的输出必须逐位接近：预处理（resize/归一化/颜色空间）、标定参数、坐标系、后处理（NMS/阈值）、量化。不一致是「离线好线…
  • 线上掉点排查 — 系统化排查顺序：①确认现象与范围（车型/区域/版本/时间）；②对比新旧版本同场景数据；③查数据分布漂移；④查前后处理与标定；⑤查量化与算子；⑥查场景本身变化（…
  • 数据出境与跨境 — 海外运营时，数据回流国内受「数据出境安全评估」约束；常见方案：本地脱敏/本地训练/联邦学习、只回传特征或脱敏后的小切片、申请评估。
  • 运营与用户反馈 — 安全员/远程操作员/乘客的反馈是最便宜的标注：一次「这车太怂」的抱怨往往指向一类规划问题。要把口头反馈结构化成「场景 + 期望行为 + 优先级」。

组织与工具链

分工、指标、ROI、路线图、面试表达

  • 团队分工 — 典型拆分：数据平台（采集/存储/检索）、标注平台与标注运营、训练平台、仿真评测、车端部署/工具链、算法（消费方）。边界不清是最大内耗源。
  • 数据闭环产品/项目经理 — 把「算法要什么数据」翻译成「采集/标注计划」，管优先级、预算、交付时间。核心产出：需求池、采集计划、标注排期、闭环周报。
  • 工具链全景 — 采集 SDK → 回传网关 → 解析/质检 → 数据平台（存储/检索）→ 标注平台 → 样本工厂 → 训练平台 → 仿真评测 → OTA → 监控。每一环都可…
  • 飞轮指标 — 四个数：①闭环周期（天）；②数据利用率（%）；③自动标注率（%）；④Bad Case 复发率（%）。再加一个「单位数据带来的指标提升」，构成闭环的 KPI 体…
  • 闭环 ROI — 投入：采集/存储/标注/算力/人力；产出：接管率下降、路测里程节省、版本周期缩短、人力减少。算法：省下的路测车日 × 单价 + 标注人天 × 单价 + 提前上…
  • 流程与制度 — 让闭环「不依赖英雄」：数据准入标准、标注规范评审、模型发布门禁、case 复盘制度、月度闭环复盘、数据资产盘点。
  • 标注团队管理 — 自建 vs 外包：自建控质量与保密，外包控成本与弹性。管理要点：培训、考核、计件、质检、争议仲裁、人员流动（流失率高，培训成本大）。
  • 外包与供应商 — 选型看：行业经验、产能弹性、质量体系、数据安全、单价。合作模式：按帧计价、按人天、按项目。要有「试标 + 盲测」环节再放量。
  • 建设路线图 — 常见路径：①先打通「采集→存储→人工标注→训练」；②自动化质检与预标注；③自动触发与难例挖掘；④自动标注与自动配比；⑤闭环度量与自进化。每阶段 3–6 个月。
  • 面试怎么讲闭环 — 四段式：①背景与规模（多少车/PB/人）；②你负责的环节与难点；③关键决策与取舍（为什么这么做）；④量化结果（周期/成本/指标）。避免只讲「我参与了」。
  • STAR 与追问应对 — S 情境（一句话）→ T 任务（目标与约束）→ A 行动（你的决策与取舍，占大头）→ R 结果（量化）。追问预判：为什么不用 X？数据量多少？怎么保证质量？失…
  • 组织层面的坑 — ①KPI 割裂：平台看吞吐、算法看指标、没人看上车效果；②数据需求无排期，算法自己写脚本，形成影子系统；③标注与算法不对话，规范脱离实际；④只建平台不运营，工…

系统架构

车端链路、mesh、解析、StarRocks、样本中心、影子四层

  • 系统全景（车云两段） — 车端：传感器（视频/CAN/Lidar）→ 编码解码管理系统（信号采集）→ 编码解码系统（trigger 触发录制）→ 影子服务 / datarecord →…
  • 车端采集链路 — 车端四件事：①编码解码管理系统——把多路视频/点云/CAN 信号统一编码与缓存；②编码解码系统（trigger）——按规则决定录制哪一段，含环形缓冲保「触发前…
  • 车云通信 mesh — 车云一体的通信与任务通道：车端（DDS + OS + 业务）↔ 服务端（configor 配置服务、job 任务服务 → 业务）。mesh 分「车端 mesh…
  • DDS 与车端中间件 — DDS（Data Distribution Service）是车端内部的消息中间件：以 Topic 为中心做发布/订阅，支持 QoS（可靠性、时限、历史深度）…
  • 数据解析与任务调度 — 原始包到达后解析成可检索的结构化数据：解包、解码、时间对齐、提关键帧、写元数据。任务量随车队线性增长，必须有优先级与限流，否则「事故片段」会排在「常规数据」后…
  • StarRocks 千亿级检索 — 用 StarRocks（MPP + 向量化 + 物化视图 + bitmap/前缀索引）承载千亿行级元数据检索：按车/时间/区域/标签/场景组合查询，支撑秒级圈…
  • 数据预处理系统 — 解析后的清洗与加工：抽帧（关键帧/等间隔）、裁剪、脱敏、质检（模糊/曝光/丢帧）、生成缩略图与预览、切片成「样本候选」。任务编排（DAG）+ 调度（依赖/重试…
  • 数据挖掘与检索 — 在解析后的数据上做「找人」：UGC 检索（用户/安全员上报的片段）、向量检索（以图搜图、场景相似）、标签组合检索。输出「候选样本池」，供人工标注与样本工厂消费。
  • 人工标注平台 — 标注任务的分发、执行、质检：任务池、租户/团队隔离、标注服务（预标注下发）、标注工具（2D/3D/视频）、质检与返工、计件与产能统计。
  • 样本中心与样本工厂 — 样本 = 基础文件的组合：基础文件含 TV 视频、PCD 点云、GPS、autolabel、manual_label 等；样本粒度 2D / 3D / vid…
  • 模型训练平台 LPai — 训练平台：任务编排、多机多卡调度、样本挂载（JuiceFS 等共享文件系统）、实验追踪、权重归档、模型注册。是「样本 → 模型」的转换器，也是 GPU 成本中…
  • 影子系统四层架构 — ①前端业务：模型管理、发布任务管理、应用编排、日志/灰度发布、模型升级回滚、配置管理、批次/标签/文件管理、trigger 数据接入、智能限流、车辆与任务管理…
  • 存储选型与分工 — MySQL（元数据/业务）、OSS（原始文件/大对象）、HBase（海量稀疏 KV，如轨迹点、信号）、ES（全文/日志/检索）、Hive（离线数仓/归档）、S…
  • 技术栈与工程选型 — 应用框架 gin（Go）/ laravel（PHP）；队列 Kafka + Redis；存储 Greenplum / TDSQL / ES / StarRoc…
  • 信号采集系统 — 5000+ 路车载信号（CAN/以太网/诊断）的采集、解析、存储、加工、使用。它是「车辆状态的黑匣子」：故障诊断、能耗分析、接管归因、影子对比都靠它。
  • 配置推送系统 — 把采集策略、触发阈值、模型开关、灰度规则下发到车端：版本管理、灰度分批、生效校验、回滚。配置错了比代码错了更危险——几分钟能影响整个车队。
  • 合规脱敏流水线 — 数据入库前的人像模糊、车牌脱敏、地理信息加密、敏感区域裁切；并记录「谁在何时对哪些数据做了什么处理」。白板上「数据合规切断或安全」那道闸就是这个环节。
  • OTA 系统（云端/车端） — 升级包制作与签名 → 差分分发 → 车端 A/B 分区安装 → 校验 → 回滚。云端负责批次、灰度、断点续传；车端负责升级条件（驻车/电量/网络）、断电保护与…
  • data-record 录制采集中间件 — 车端录制与采集中间件：订阅 DDS 主题与总线信号，按 trigger 指令把多路视频、点云、CAN/信号按时间对齐落盘，负责环形缓冲、元数据写入、断点续传、…
  • ShadowDaemon 影子车端服务 — 车端常驻的影子服务：加载候选模型，订阅与主链路相同的输入，并行推理并与在用策略/人工驾驶比对，差异超阈值上报。它不控车，是「零风险验证 + 自动发现 bad …

车端基础

Ubuntu、ROS2、DDS、GPU/CPU 配额、域控与时同步

  • 车端基础全景（四层） — 车端是一个「资源受限 + 安全受限 + 不可现场调试」的计算环境，可以拆成四层：①OS 层（Ubuntu 裁剪、实时内核、只读根文件系统、看门狗、A/B 升级…
  • Ubuntu 与车端 OS — 量产车端多在 Ubuntu（或 Yocto 精简）上做二次裁剪，四件事决定它能不能用：①实时性——PREEMPT_RT 补丁或隔离核，让控制/通信线程不被调度…
  • ROS / ROS2 与量产鸿沟 — ROS2 在车端的正确定位是「原型与验证框架」：话题 / 服务 / 动作三件套、生命周期节点、launch 编排、rviz 可视化，底层通信就是 DDS（默认…
  • DDS 通信与 QoS（车端视角） — DDS 是车端内部的发布/订阅中间件：以 Topic 为中心，用 QoS 表达传输契约——可靠性（RELIABLE / BEST_EFFORT）、历史深度（K…
  • GPU 算力与配额 — 车端 GPU（如 Orin / Thor）是被争抢最激烈的资源：主感知链路、影子模型、录像编码、甚至座舱渲染共用同一块显存与算力。工程上要做四件事：①算力配额…
  • CPU、内存与调度 — CPU 在车端的核心问题不是「快不快」，而是「隔不隔离」：①isolcpus + 绑核，把通信收发、感知后处理放到专属核，不被其他进程抖动；②OOM 策略（o…
  • 域控硬件与传感器接入 — 域控是车端的物理载体：一颗车规 SoC（Orin / Thor / 地平线 J 系列）+ 安全岛 MCU（跑 AUTOSAR CP 做兜底）+ TSN 以太网…
  • 时间同步（gPTP / 硬件时间戳） — 时间同步是车端隐形的基础设施：相机曝光时刻、激光雷达扫描时刻、CAN 报文、SoC 内部推理都要落在同一时间基准上。做法是 gPTP（802.1AS）同步全车…

算子

数据加工算子、推理算子、覆盖率、精度对齐

  • 算子（两种含义） — 数据闭环里「算子」指两样东西：①数据侧——加工流水线里可组合、可重跑、幂等的最小执行单元（解析、解码、脱敏、质检、切片、打包…）；②模型侧——计算图里的基本运…
  • 数据加工算子链 — 从原始包到可用样本的一条算子链：解析/解包 → 解码 → 时间对齐与标定 → 脱敏 → 质检 → 自动打标 → 抽帧切片 → 采样去重 → 打包导出。每个算子…
  • 解码算子 — 把压缩视频/点云还原成帧与点：H.264/H.265 用 GPU 硬解（NVDEC/VAAPI），点云走 Draco 或量化解码，图像走 JPEG/WebP。…
  • 对齐与标定算子 — 把多传感器拉到同一时空：时间戳重采样与插值、PTP 偏差校正、相机去畸变、外参变换、点云→图像投影、BEV 栅格化、地理坐标转换（UTM/GCJ-02）。是所…
  • 脱敏算子 — 人脸检测 + 模糊/马赛克、车牌检测 + 打码、语音消除、门牌与证件区域处理、地理信息偏转。要求不可逆、可审计、且不破坏任务相关特征（比如车牌打码会毁掉 OC…
  • 质检算子 — 自动判断一段数据能不能用：清晰度（拉普拉斯方差）、曝光直方图、遮挡与脏污、丢帧率、时间戳单调性、点云反射率分布、标定健康度。输出 0–100 的质量分与失败原…
  • 自动打标算子 — 用离线大模型在数据上跑推理，产出检测/跟踪/分割/占用/轨迹标签：检测头 → 时序跟踪融合 → 投影回各帧 → 置信度过滤。是「自动标注率」的直接来源。
  • 采样与去重算子 — 按场景分层与配额抽样；用感知哈希 / CLIP 向量 / 轨迹 DTW 做近邻去重；类别平衡与长尾过采样。决定「进训练的数据分布」，比单个模型改动影响更大。
  • 打包与导出算子 — 把样本组装成训练可读的格式：WebDataset shard、LMDB、TFRecord、自定义二进制；带索引、校验和、shuffle 分片。直接影响 GPU…
  • 算子库与注册表 — 平台化的核心：每个算子有唯一 ID、语义版本、参数 schema、CPU/GPU 实现、性能画像、依赖与变更记录；DAG 编排按 ID 引用，而不是硬编码脚本。
  • 幂等与可重放 — 同一输入 + 同一算子版本 → 同一输出；重复执行不产生副作用（不重复计数、不重复落库、不重复计费）。是数据可复现的前提，也是重跑与回填的安全底线。
  • 推理算子 — 计算图里的基本运算：Conv、BN、ReLU、Resize、Concat、Slice、Transpose、Softmax、TopK、Gather/Scatte…
  • BEV 与点云算子 — BEV 与点云模型的特有算子：体素化（Voxelization）、Pillar 编码、LSS 深度分布与 BEV Pooling、GridSample（可变形…
  • NMS 与后处理算子 — NMS、Soft-NMS、IOU/GIOU 计算、TopK 过滤、坐标反变换与解码。后处理常被当成「小头」，但在高密度场景（矿区、路口）可能是耗时主因。
  • 算子融合与图优化 — 编译器把多个算子合并成一个 kernel：Conv+BN+ReLU、Concat 消除、常量折叠、内存复用、量化融合（QDQ 折叠）。目的是减少访存与 ker…
  • 自定义算子与 fallback — 芯片不支持的算子有三条路：①自定义算子（TensorRT plugin / 厂商算子库）；②用等价算子组合重写；③fallback 到 CPU（最差，常导致时…
  • 算子覆盖率 — 模型用到的算子中，有多少能在目标芯片上高效执行。覆盖率不足 = 掉帧、fallback、甚至无法部署。要在「模型设计阶段」就查支持矩阵，而不是部署时才发现。
  • 算子精度对齐 — 同一份输入，训练框架（PyTorch）与车端推理引擎（TensorRT/厂商 SDK）逐算子输出要一致到可接受误差。差异来源：浮点累加顺序、融合、量化、插值实…
  • 增广算子 — 训练侧算子：随机裁剪/翻转/旋转、颜色抖动、模糊/噪声、Cutout、MixUp/CutMix、点云 dropout 与旋转、雨雾模拟。要求「贴近真实退化」，…
  • 仿真算子 — 仿真侧的数值算子：传感器仿真（光线投射/雷达回波/相机 ISP）、车辆动力学积分、交通流更新、碰撞检测。决定仿真的保真度与吞吐。
  • 算子相关的坑 — ①版本漂移：算子升级后老数据重跑结果不同，可复现性被破坏；②静默 fallback：车端悄悄退回 CPU，时延超标但没人发现；③精度累积：量化误差被后续层放大…
  • 算子部署形态 — 三种形态：①「一 Pod 一算子」——每个算子一个镜像，DAG 为每个（数据分片×算子）起一个 Job；②「一 Pod 多算子」——同一镜像多进程，对同一份数…
  • DAG 编排与任务粒度 — 一个采集片段 = 一个 DAG 实例；每个节点是一次算子调用（Job 或服务调用），输出写到内容寻址路径；DAG 状态存数据库，Pod 无状态可随时重来。断点…

总纲

根节点

  • 数据闭环 — 把「真实世界产生的数据」持续转化为「车端模型能力」的工程体系：车端采集 → 回传 → 存储治理 → 场景挖掘与标注 → 训练 → 仿真评测 → 部署上车 → …

面试题 · 47 道

每题含参考答案、追问方向与常见踩坑。

架构图 · 13 张

在星图的「架构」页可交互查看，含全局数据流。

  • 全局数据流 — 车端采集 → 车云 mesh → 云端加工（解析/挖掘/标注/加工/样本中心）→ 训练 → 模型 →（OTA 下发 ｜ 影子模型部署）→ 车端运行 → 影子回流
  • 影子系统 — 四层架构：前端业务 / 业务层 / 服务层 / 数据库，外加外部依赖
  • 车端采集链路 — 多传感器 → 编码缓存 → 触发 → 落盘/影子 → 合规 → 上传
  • 数据加工与训练 — 解析 → 挖掘 → 标注 → 加工 → 样本 → 训练 → 评测 → 发布
  • 数据解析系统 — 原始包 → 优先级队列 → 解码/对齐/脱敏/质检 → 元数据与片段入库
  • 车端配置系统（4000+ 信号） — 信号字典 → 采集策略 → 配置下发与生效校验 → 解析入库 → 诊断/告警/看板
  • 车云通信 Li-Mesh — 车端 DDS / 业务 ↔ 长连接与消息队列 ↔ 云端 configor / job 服务
  • 数据挖掘系统 — 三路召回（结构化 / 向量 / UGC）→ 去重聚类 → 价值排序 → 场景库 / 待标注池 / 评测集
  • 数据打标系统 — 待标注池 → 预标注模型与算子 → 后处理融合 → 人工修正/质检 → 自动标注率
  • 标签系统 — 标签定义与版本 → 多来源打标 → 倒排索引 → 治理归一 → 检索/配比/评测消费
  • 仿真系统 — 场景来源 → 仿真引擎 → 被测系统（SIL/HIL/VIL）→ 指标与失败分类 → 置信度对齐
  • 向量搜索系统（Milvus） — 特征写入 → Milvus（Proxy/Query/Index/Data + etcd/MinIO/Pulsar）→ 文搜图 / 图搜图 → 排序与确认
  • 数仓与数据湖治理 — 湖存原始与半结构化 → 仓分层（ODS/DWD/DWS/ADS）→ 治理四件套 → 消费
进入无限画布 →