跳转到内容

实证研究的常见错误

测试集泄漏(用测试集选模型)、只报告最好的运行、基线未调优、数据集选择偏差、评价指标与目标不符、过度声称(overclaiming)。本章逐一给出识别方法与避免方式。

  • 验证集选模型、测试集只用一次
  • 报告所有尝试过的配置数
  • 结论不能超出实验覆盖的条件