跳转到内容

假设、基线与消融

基线回答”比什么好”,消融回答”好在哪个部分”,敏感性分析回答”在什么条件下好”。本章讲如何选择公平的基线(调优程度、算力预算、数据)、设计有信息量的消融,以及避免”稻草人基线”。

  • 基线必须与你的方法获得同等的调优努力
  • 消融每次只去掉一个组件
  • 报告失败的变体与成功的一样重要