知识点 › 数据基础设施
大数据处理与 ETL 调优
Spark / Flink ETL
定义
Spark 批处理 + Flink 流处理构建 TB 级管道。瓶颈通常在 shuffle、小文件 IO 与视频解码，而不是 CPU 算力；调优顺序应为「先看 IO 与倾斜，再看算子」。
关键要点
- 数据倾斜：加盐 / repartition / 广播小表；判断依据是少数 task 耗时远超中位数
- 小文件：合并 shard、控制分区粒度，否则 NameNode 与任务调度先崩
- 序列化与压缩：Kryo + Zstd，列存 Parquet 配合谓词下推
- 解码用 GPU 硬解，CPU 软解是吞吐天花板；幂等重跑是回填的前提
面试怎么答
讲一个具体案例：倾斜现象 → 怎么定位 → 加盐后耗时从 X 到 Y。