## 17.5 进行重复性研究 在再现性危机爆发的几年里，有一个强有力的运动来开发工具来帮助保护科学研究的再现性。 ### 17.5.1 预注册 获得最大吸引力的想法之一是 _ 预注册 _，其中一个将研究的详细描述（包括所有数据分析）提交给受信任的存储库（如[开放科学框架](http://osf.io)或[aspredected.org](http://aspredicted.org)）。通过在分析数据之前详细说明一个人的计划，预注册提供了更大的信心，即分析不会受到 P-Hacking 或其他可疑的研究实践的影响。 预注册的效果已经在医学临床试验中看到。2000 年，国家心脏、肺和血液研究所（NHLBI）开始要求使用[clinical trials.gov](http://clinicaltrials.gov)上的系统对所有临床试验进行预注册。这为观察研究预注册的效果提供了一个自然的实验。当 Kaplan 和 Irvin（2015）研究了随着时间推移的临床试验结果时，他们发现 2000 年后临床试验的阳性结果数量比以前减少了。虽然有许多可能的原因，但似乎在研究注册之前，研究人员能够改变他们的方法，以找到一个积极的结果，这在注册后变得更加困难。 ### 17.5.2 可复制实践 Simmons、Nelson 和 Simonsohn（2011）的论文提出了一套建议做法，以使研究更具可重复性，所有这些做法都应成为研究人员的标准： > * 作者必须在数据收集开始之前决定终止数据收集的规则，并在文章中报告此规则。 > * 操作者必须为每个单元收集至少 20 个观察结果，否则将产生命令人信任服务的数据收集成成本。 > * 作者必须列出研究中收集的所有变量。 > * 操作者必须报告所有实验条件，包括失败的操作。 > * 如果消除了观察结果，则操作者还必须报告统计结果（如果包括这些观察结果）。 > * 如果分析包含协变量，则操作者必须报告分析的统计结果而不包含协变量。【htg12】【htg13】 ### 17.5.3 复制 科学的一个标志就是复制（htg0）的思想，也就是说，其他研究人员应该能够进行相同的研究并获得相同的结果。不幸的是，正如我们在前面讨论的复制项目的结果中看到的，许多发现是不可复制的。确保研究的可复制性的最好方法是首先自己复制它；对于某些研究来说，这是不可能的，但只要有可能，就应该确保在新的样本中可以找到它。新的样本应该有足够的能量来找到感兴趣的效果大小；在许多情况下，这实际上需要比原始样本更大的样本。 在复制方面记住一些事情是很重要的。首先，复制尝试失败并不一定意味着原始发现是错误的；请记住，在 80%功率的标准水平下，仍然有五分之一的机会结果是无意义的，即使有真正的效果。出于这个原因，在我们开始相信任何重要发现之前，我们通常希望看到它的多重复制。不幸的是，包括心理学在内的许多领域在过去都未能遵循这一建议，导致“教科书”的发现很可能是错误的。关于 Daryl Bem 的 ESP 研究，涉及 7 项研究的大规模复制尝试未能复制他的发现（Galak 等人 2012 年）。 第二，记住，p 值并不能为我们提供一个发现复制可能性的度量。正如我们之前讨论过的，p 值是一个关于在特定的空假设下一个人的数据的可能性的陈述；它没有告诉我们关于发现实际上是真的概率的任何事情（正如我们在贝叶斯分析一章中所了解的）。为了知道复制的可能性，我们需要知道发现是真的概率，而我们通常不知道。