理论、实证与系统:三种范式
理论研究以证明为证据,实证研究以受控实验为证据,系统研究以构建与测量为证据。本章比较三者的问题形式、评价标准、典型失败,以及大多数 CS 论文如何混合使用它们。
计算机科学的研究大致分三种范式,各自的问题形式、方法与证据标准不同:
| 理论 | 实证 | 系统 | |
|---|---|---|---|
| 问题形式 | 能不能、多快(复杂度、界、表达能力) | 实际上怎样(效果、相关、因果) | 能否造出来(约束下的性能、可靠性与权衡) |
| 方法 | 形式化、证明、反例 | 受控实验、统计检验 | 构建、测量、剖析 |
| 证据 | 证明 | 多次运行的受控对比 | 真实实现 + 真实负载的测量 |
| 典型失败 | 假设过强、结论与实践脱节 | 混淆变量、不公平比较、overclaiming | 基准不真实、只在理想负载下测 |
| 代表会场 | STOC、FOCS、SODA | NeurIPS、ICML、ICLR | OSDI、SOSP、ATC |
理论回答"能不能、多快",实证回答"实际上怎样",系统回答"能否造出来"。 三者的证据标准不可互换:证明不能被实验替代(实验只是大量样本中的观察),实验结论也不能被"显然可以推广"的论证替代。
各自的证据标准
Section titled “各自的证据标准”- 理论:以证明为最终证据。结果的意义取决于结论的紧度、技术的普适性与假设的合理性(见理论研究的方法)。
- 实证:以受控实验为证据。关键是控制变量与公平比较——基线、消融、多次运行的方差(见假设、基线与消融、统计显著性与效应量)。
- 系统:以"构建 + 测量"为证据。真实负载与真实规模是可信度的来源;贡献常在设计决策及其权衡分析("为什么这样设计、放弃了什么")。
大多数论文是混合的
Section titled “大多数论文是混合的”一篇典型的 CS 论文会混合三种范式:提出假设(实证的)、给出理论分析(理论的)、在真实系统/基准上验证(系统的)。混合本身没问题,问题在于每部分要用对应的证据标准:
- 理论部分:假设与结论是否匹配,证明是否完整;
- 实证部分:对比是否公平、方差是否报告;
- 系统部分:是否真实实现、负载是否真实、开销是否分解。
评审说"a mix of everything but rigorous nowhere"时,通常就是指混合论文里某部分用了错误的标准。按自己工作的主范式确定证据标准,混合部分向主标准看齐。
- 理论回答"能不能、多快",实证回答"实际上怎样",系统回答"能否造出来"
- 系统论文的贡献常在设计决策与权衡
- 混合范式论文需要对每部分用对应标准