批判性阅读
论文是作者立场的论证。本章给出批判性阅读的问题清单:主张是什么、证据是什么、证据支持主张到什么程度、基线公平吗、有没有被省略的对比、结论是否超出实验范围,以及如何区分"写得好"与"做得好"。
论文是一份论证
Section titled “论文是一份论证”论文在说服你:它用一个主张(claim)+ 一组证据(evidence)+ 一条推理链(reasoning)论证"这个工作值得存在"。批判性阅读就是把这三件东西分开检验,而不是顺着叙事读下去。
主张:论文声称的贡献是什么?是"提出了 X""证明了 X""观察到 X"还是"改进了 X"?措辞的强度本身就是信息——"我们观察到"与"我们证明了"是两个完全不同的主张等级。
证据:支撑主张的是什么?先看实验设置再看结果表:数据集是否有代表性、基线是否公平(调优程度、算力预算是否对等,见假设、基线与消融)、指标是否与主张匹配、有没有多次运行的方差报告(见统计显著性与效应量)。
推理链:从证据到主张跳了多远?在 1k 数据上成立的结论,被说成通用结论了吗(overclaiming,见实证研究的常见错误)?有没有被省略的对比与条件?
批判性问题清单
Section titled “批判性问题清单”读一篇论文时,依次问:
- 主张是什么?一句话。
- 证据是什么?哪些实验、哪些设置?
- 基线公平吗?谁调优了、用了多少预算?
- 有没有被省略的对比(明显的竞争方法、简单基线)?
- 指标与主张匹配吗?
- 结论有没有超出实验覆盖的条件?
- 换个数据集/规模/领域,结论还会成立吗?论文自己检验过吗?
- 哪些假设是隐含的、没说出来的?
- 如果我是作者,最怕评审问什么?(这个问题几乎总能找到论文的软肋)
写得好 ≠ 做得好
Section titled “写得好 ≠ 做得好”写作质量与工作质量是两个维度。叙事流畅、图表漂亮的论文会让你放松警惕——这正是好写作的作用。校准的办法:被拒论文的审稿意见是最好的批判性阅读教材——把公开的评审意见(OpenReview 上的讨论)与论文对照,看有经验的评审在哪些地方追问,以及哪些批评是论文确实没写清楚的。练习方法:读论文时先写自己的三条评审意见,再与实际评审(如果有)对照。
- 先看实验设置再看结果表
- 注意"我们观察到"与"我们证明了"的区别
- 被拒论文的审稿意见是最好的批判性阅读教材