跳转到内容

造假、篡改与可疑研究实践

数据造假与篡改是明确不端;选择性报告、HARKing(结果出来后编假设)、p-hacking、过度声称是"可疑研究实践"(QRP)。本章讲 QRP 为何普遍、为何有害,以及预注册、完整报告等对策。

研究诚信问题是一个谱系,两端的性质完全不同:

类别行为性质
明确不端造假(fabrication):编造数据/结果零容忍,撤稿+禁投+通报
明确不端篡改(falsification):修改/选择性删除数据同上
可疑研究实践(QRP)选择性报告(cherry-picking)普遍、灰色,见下
QRPHARKing:结果出来后编假设普遍、灰色
QRPp-hacking:反复分析直到显著普遍、灰色
QRP过度声称(overclaiming)普遍、灰色

造假与篡改是明确的学术不端:编造或篡改数据的结果一旦发现,撤稿、禁投、通报机构是标准处理——被发现的代价远大于一篇论文,而"被发现"几乎是确定的(结果无法复现、数据可疑、合作者知情)。

QRP 比造假常见得多,危害也大:它不编造数据,只是有偏地呈现真实数据——只报告最好的运行、结果出来后再编一个假设、反复尝试分析直到显著。单个研究的偏差可能不大,但聚合在领域层面会扭曲共识:效应被高估、假发现累积、复现失败(这是 ML 复现危机的重要成因之一,见机器学习)。

QRP 的推动力多是结构性的:发表压力 + "显著结果才可发表"的偏好。对个人的推论是:你不需要造假就会滑向 QRP——只需要在"不利的实验结果"面前多按几次删除键。

  • 预注册:实验前写下假设、判据、分析方案(对个人研究,研究提案的判据 + 结果分支测试就是预注册的实用形式);
  • 完整报告:报告所有尝试过的配置数是最简单的对策——"我们尝试了 12 个配置,报告最好的 3 个"比"我们最好的配置提升 N%"诚实得多(见实证研究的常见错误);
  • 区分探索与确认:探索性分析(发现假设)与确认性分析(检验假设)分开报告——HARKing 的问题不在探索,在于把探索包装成确认;
  • 审稿侧的对应:评审与读者对 QRP 的警觉见批判性阅读。
  • QRP 比造假常见得多,危害也大
  • 报告所有尝试过的配置是最简单的对策
  • 被发现的代价远大于一篇论文