跳转到内容

理论、实证与系统:三种范式

理论研究以证明为证据,实证研究以受控实验为证据,系统研究以构建与测量为证据。本章比较三者的问题形式、评价标准、典型失败,以及大多数 CS 论文如何混合使用它们。

计算机科学的研究大致分三种范式,各自的问题形式、方法与证据标准不同:

理论实证系统
问题形式能不能、多快(复杂度、界、表达能力)实际上怎样(效果、相关、因果)能否造出来(约束下的性能、可靠性与权衡)
方法形式化、证明、反例受控实验、统计检验构建、测量、剖析
证据证明多次运行的受控对比真实实现 + 真实负载的测量
典型失败假设过强、结论与实践脱节混淆变量、不公平比较、overclaiming基准不真实、只在理想负载下测
代表会场STOC、FOCS、SODANeurIPS、ICML、ICLROSDI、SOSP、ATC

理论回答"能不能、多快",实证回答"实际上怎样",系统回答"能否造出来"。 三者的证据标准不可互换:证明不能被实验替代(实验只是大量样本中的观察),实验结论也不能被"显然可以推广"的论证替代。

  • 理论:以证明为最终证据。结果的意义取决于结论的紧度、技术的普适性与假设的合理性(见理论研究的方法)。
  • 实证:以受控实验为证据。关键是控制变量与公平比较——基线、消融、多次运行的方差(见假设、基线与消融、统计显著性与效应量)。
  • 系统:以"构建 + 测量"为证据。真实负载与真实规模是可信度的来源;贡献常在设计决策及其权衡分析("为什么这样设计、放弃了什么")。

一篇典型的 CS 论文会混合三种范式:提出假设(实证的)、给出理论分析(理论的)、在真实系统/基准上验证(系统的)。混合本身没问题,问题在于每部分要用对应的证据标准:

  • 理论部分:假设与结论是否匹配,证明是否完整;
  • 实证部分:对比是否公平、方差是否报告;
  • 系统部分:是否真实实现、负载是否真实、开销是否分解。

评审说"a mix of everything but rigorous nowhere"时,通常就是指混合论文里某部分用了错误的标准。按自己工作的主范式确定证据标准,混合部分向主标准看齐。

  • 理论回答"能不能、多快",实证回答"实际上怎样",系统回答"能否造出来"
  • 系统论文的贡献常在设计决策与权衡
  • 混合范式论文需要对每部分用对应标准