实验设计
一次只变一个因素、固定其他；网格/随机/贝叶斯扫参的选择；给基线与新方法相同的调参预算；先做小规模验证再放大。本章还讲如何安排实验顺序，使最早的结果最能改变后续计划。
实验设计的核心是一次只变一个因素，固定其他。要比较 A 与 B，唯一的差别必须是 A 与 B 本身——数据、预处理、训练步数、预算、随机种子策略都相同。任何混入的其他差异都是混淆变量，会让结论无法解释（"涨的到底是方法还是调参？"）。
实操规范：
- 对比实验用同一份配置文件派生，只改一个字段（见研究代码的组织）；
- 每个对比记录所有共同条件（数据版本、commit、种子集），写进论文的实验设置；
- 多种子运行取均值（见统计显著性与效应量），种子集在所有对比中保持一致。
扫参：网格、随机与贝叶斯
Section titled “扫参：网格、随机与贝叶斯”| 方式 | 适用 | 代价 |
|---|---|---|
| 网格 | 维度少（≤3）、需要完整依赖关系 | 组合爆炸 |
| 随机 | 维度多、大多数维度不敏感 | 同预算覆盖更大空间 |
| 贝叶斯 | 单次评估昂贵（大模型训练） | 有开销，易过拟合到观测 |
扫参预算要写进论文——评审需要知道你的方法与基线各自被搜了多广（公平性见假设、基线与消融）。对基线与新方法给相同的调参预算，是最容易被检查、也最常被忽略的公平性要求。
预算分配与实验顺序
Section titled “预算分配与实验顺序”先做最可能推翻假设的实验。 实验顺序的安排原则：最早的结果要最能改变后续计划。把资源押在"如果假设错了，最先暴露"的实验上——这比"从易到难"的顺序有效得多：难的实验推翻假设时，你已经省下了全部后续投入。
预算分配的经验比例：最小可行实验与小规模验证占早期的大头，先做小规模验证再放大；只有小规模上有信号的方向才值得放大。
小规模实验的结论不一定随规模保持：在小模型/小数据上成立的排序，放大后可能反转（scaling 对方法相对优势的影响是实证问题，不是假设）。因此：
- 小规模上只当作"有没有信号"的过滤器，不当结论；
- 放大后至少在最终规模上完整复验一次核心对比；
- 论文中报告"小规模发现的结论"与"最终规模的结论"，两者不一致时要说明。
整体实验流程的建议（顺序、记录、失败处理）见算力与实验管理与研究中的调试与失败处理。
- 先做最可能推翻假设的实验
- 扫参预算应写进论文
- 小规模实验的结论不一定随规模保持