上限分析(Ceiling Analysis)
上限分析是一种系统性的错误分析方法,用于确定 ML 流水线中哪个模块最具改进价值。
核心思路
逐一将流水线中某个模块替换为"完美"输出(如人工标注),观察整体精度提升幅度。提升最大的模块就是最佳投入方向。
示例
假设一个 OCR 流水线:文字检测 → 字符分割 → 字符识别。通过手工给出某模块的完美结果,对比系统性提升:
| 替换的模块 | 整体精度提升 | 优先级 |
|---|---|---|
| 文字检测 → 完美 | +15% | 高 |
| 字符分割 → 完美 | +6% | 中 |
| 字符识别 → 完美 | +3% | 低 |
此时优先投入精力到文字检测。
注意事项
- 上限分析回答"要改善哪里",不是"如何改善"
- 适用于多模块串联流水线
- 手工标注成本高,选代表性样本即可
- 与 Ablation Study(消融实验"去掉某个模块的表现")形成互补视角