跳转到内容

从方向到问题:收敛的方法

方向 → 子领域 → 具体场景 → 具体假设 → 可检验的预测。本章给出这条收敛路径的操作方法:写下最小可行实验、定义成功与失败的判据、估算所需资源,并用"如果结果是 A/B/C 各意味着什么"来检验问题是否定义清楚。

把"我想做 X"变成一个可回答的问题,通常要经过五级收敛:

  1. 方向:比如"提高大模型的推理能力";
  2. 子领域:比如"数学应用题的多步推理";
  3. 具体场景:比如"在只有少量标注数据的垂直领域中";
  4. 具体假设:比如"过程监督比结果监督更省标注成本";
  5. 可检验的预测:比如"在 1k 标注预算下,过程监督在准确率与标注成本上都优于结果监督"。

每一级都要能回答"为什么选这一级":子领域为什么是这个?场景为什么是这个?假设为什么值得检验?说不清的层级就是还没想清的地方。

把收敛结果落成最小可行实验(MVE):用最少的数据、算力与代码,检验假设是否可能成立。判断标准很直接:两周内能做完。做不完,说明假设还没收敛到位——要么再缩小场景,要么把假设拆成两步检验。

MVE 的三个必备件:

  • 成功与失败的判据:结果达到什么数字算"假设有戏"、什么数字算"假设没戏",动手前写下来。能写出失败判据的问题才是定义清楚的问题;写不出来,说明你其实不知道自己在等什么结果。
  • 资源估算:数据量、GPU 时、人力,各多少?拿不到,问题要改。
  • 时间盒:到期无论结果如何都停手复盘。

定义是否清楚的最后一道检验:"如果结果是 A/B/C,各意味着什么?" 把 MVE 可能出现的主要结果分支都写下来,每个分支都要能推演出一个后续动作或一个可发表的结论。

  • 所有分支都有明确含义 → 问题定义清楚,值得做;
  • 某个分支"不知道意味着什么" → 问题还没聚焦,回退一级重新收敛;
  • 无论什么结果都"很有趣" → 这是个危险的信号,通常说明判据还没定(什么算"有趣"需要提前定义,而不是事后解释)。

问题定义清楚后,把它写成研究提案,再进入实验设计(见假设、基线与消融)。

  • 能写出失败判据的问题才是定义清楚的问题
  • 最小可行实验应能在两周内做完
  • 所有结果分支都有意义的实验才值得做