科学方法在 CS 中的形态
提出可证伪的假设 → 推导可观察的预测 → 设计能区分假设的实验 → 根据结果更新。本章讨论 CS 中假设常常隐含("我们的方法更好")的问题,以及如何把它显式化为可检验的形式。
科学方法在 CS 中的形态是一个四步循环:
- 提出可证伪的假设;
- 推导可观察的预测:如果假设成立,实验里应该看到什么;
- 设计能区分假设的实验:让"假设成立"与"假设不成立"产生可区分的观察;
- 根据结果更新:证实 → 收紧条件再检验;证伪 → 修正假设或解释失效条件。
关键在第 3 步:实验应设计成能让假设失败。如果无论结果如何你都能说"我们的方法更好",这个实验就什么也没检验。
隐含假设的问题
Section titled “隐含假设的问题”CS 实证研究的实际流程常常是:改一个方法 → 在基准上跑 → 数字涨了 → 写论文。这时"我们的方法更好"被当作结论,但**"更好"不是假设**——它没有说条件与机制,无法证伪。把它显式化的方式:
在条件 X下,因为机制 Y,在指标 Z上优于基线 B。
例如:"在标注预算受限(<1k)的场景下,因为过程信号更早暴露错误步骤,过程监督在准确率上优于结果监督;当预算充足时两者收敛。"——这句话可证伪:预算两端、指标、机制都可检验。假设显式化之后,实验设计与基线选择都有了靶子。
让假设可失败
Section titled “让假设可失败”把假设显式化之后,检验它的实验要满足:
- 有对照组:基线与你的方法在同等条件下运行(见假设、基线与消融);
- 能区分:如果机制 Y 不存在,结果应该不同——最好设计一个能区分"Y 起作用"与"别的原因"的变体(消融的价值就在此);
- 先验判据:结果达到什么数字算假设成立,动手前写下来(见从方向到问题的结果分支测试)。
实证研究的头号敌人是确认偏误:跑出好数字就停手,跑出坏数字就换配置。对策是流程性的:先注册判据再跑实验;报告所有尝试过的配置(见造假、篡改与可疑研究实践);让同一假设在不同数据集/规模上过一遍再相信它。Feynman 的第一原则适用于此:你不能欺骗自己,而你恰恰是最容易被欺骗的人。
- "更好"不是假设,"在条件 X 下因为 Y 而更好"才是
- 实验应设计成能让假设失败
- 确认偏误是实证研究的头号敌人