机器学习
问题形式:在基准上更好/更快/更省;证据:多基准多种子的对比与消融;文化:arXiv 先行、迭代极快、顶会规模巨大。本章讲 ML 研究的特有问题(基准过拟合、算力不平等、复现危机)与应对。
问题形式:在基准上更好/更快/更省
Section titled “问题形式:在基准上更好/更快/更省”ML 研究的主流问题形式:在某个基准上比已有方法更好、更快、或更省(数据、算力、标注)。证据的标准形态:多基准、多种子的对比与消融——一组基准上的主表、消融表、方差报告(见假设、基线与消融、统计显著性与效应量)。
文化:arXiv 先行、迭代极快
Section titled “文化:arXiv 先行、迭代极快”ML 是 CS 里迭代最快的方向:arXiv 先行(结果先占坑再投稿)、会议规模巨大(NeurIPS 数千篇投稿)、热点半年一换。这个节奏的两面:
- 优势:反馈快,复现与跟进的成本低(代码开源是惯例,见开源、复现包与 Artifact 评估);
- 风险:热点拥挤(同一个 future work 有几十个组在做)、结果未经充分检验就被大量引用、arXiv 版与最终版的差异大。
特有问题与应对
Section titled “特有问题与应对”- 基准过拟合:社区在同一组基准上迭代多年,改进可能是对基准的记忆而非泛化(Goodhart 定律的领域版)。应对:新基准的提出与验证本身是贡献;报告在更新基准上的结果;
- 算力不平等:算力差距使小组需要选择不同的问题——大组能做的 scaling 竞赛,小组打不起。应对:选择不靠算力取胜的问题(数据效率、小模型、分析性工作、评测与理解类工作,见评估问题的可行性);
- 复现危机:单次运行、未报告方差、代码不完整是常态化的历史问题(见实证研究的常见错误)。应对:多种子、方差、开源现在是顶会的隐性标准。
新的贡献类型:理解为什么有效
Section titled “新的贡献类型:理解为什么有效”基准分数的边际提升越来越难以说明问题——当所有人都涨点时,涨点本身不再构成贡献。理解为什么有效正成为新的贡献类型:解释性分析(什么机制让方法有效)、失效条件的刻画(何时失效、为什么)、规模与涌现的实证规律(见研究空白与"增量"的边界的贡献类型学)。
ML 与其他范式的交叉见三种范式;ML 的文化背景见学术生态。
- 基准分数的边际提升越来越难以说明问题
- 算力差距使小组需要选择不同的问题
- 理解为什么有效正成为新的贡献类型