跳转到内容

批判性阅读

论文是作者立场的论证。本章给出批判性阅读的问题清单:主张是什么、证据是什么、证据支持主张到什么程度、基线公平吗、有没有被省略的对比、结论是否超出实验范围,以及如何区分"写得好"与"做得好"。

论文在说服你:它用一个主张(claim)+ 一组证据(evidence)+ 一条推理链(reasoning)论证"这个工作值得存在"。批判性阅读就是把这三件东西分开检验,而不是顺着叙事读下去。

主张:论文声称的贡献是什么?是"提出了 X""证明了 X""观察到 X"还是"改进了 X"?措辞的强度本身就是信息——"我们观察到"与"我们证明了"是两个完全不同的主张等级。

证据:支撑主张的是什么?先看实验设置再看结果表:数据集是否有代表性、基线是否公平(调优程度、算力预算是否对等,见假设、基线与消融)、指标是否与主张匹配、有没有多次运行的方差报告(见统计显著性与效应量)。

推理链:从证据到主张跳了多远?在 1k 数据上成立的结论,被说成通用结论了吗(overclaiming,见实证研究的常见错误)?有没有被省略的对比与条件?

读一篇论文时,依次问:

  1. 主张是什么?一句话。
  2. 证据是什么?哪些实验、哪些设置?
  3. 基线公平吗?谁调优了、用了多少预算?
  4. 有没有被省略的对比(明显的竞争方法、简单基线)?
  5. 指标与主张匹配吗?
  6. 结论有没有超出实验覆盖的条件?
  7. 换个数据集/规模/领域,结论还会成立吗?论文自己检验过吗?
  8. 哪些假设是隐含的、没说出来的?
  9. 如果我是作者,最怕评审问什么?(这个问题几乎总能找到论文的软肋)

写作质量与工作质量是两个维度。叙事流畅、图表漂亮的论文会让你放松警惕——这正是好写作的作用。校准的办法:被拒论文的审稿意见是最好的批判性阅读教材——把公开的评审意见(OpenReview 上的讨论)与论文对照,看有经验的评审在哪些地方追问,以及哪些批评是论文确实没写清楚的。练习方法:读论文时先写自己的三条评审意见,再与实际评审(如果有)对照。

  • 先看实验设置再看结果表
  • 注意"我们观察到"与"我们证明了"的区别
  • 被拒论文的审稿意见是最好的批判性阅读教材