跳到正文
概率与统计

多重比较与预注册:减少挑结果的自由度

14 分钟

同时检验20个完全无效假设,每个按5%阈值,至少出现一个假阳性的机会远高于5%。不断试指标、子组和模型,只汇报显著者,会进一步放大选择偏差。

家族错误率

Bonferroni把总α分给多个检验,简单稳健但可能保守;Holm按p值排序逐步调整,通常更有力。先定义哪些检验属于同一确认性家族。

假发现率

大规模探索如基因筛选常控制发现中预期错误比例,而非保证一次假阳性都没有。FDR与家族错误率回答不同目标,不能只选更容易显著的那个。

预注册

在看结果前记录主要假设、样本量、排除、指标和分析方法,减少事后灵活性。预注册不是禁止改方法;改变可以,但应标为偏离并解释。

探索与确认

探索性分析用于发现模式,应完整展示尝试并在独立数据确认。把探索结果包装成预先假设,会低估不确定性。

停止规则

边收数据边反复看p值,显著就停,会提高错误率。若需序贯分析,使用预先设计的界限和校正方法。

公开所有主要结果和分析代码,让未显著结果也进入证据记录。文件时间戳或注册平台可证明计划早于结果。

练习:为包含三个主要指标和十个探索指标的实验写检验家族、调整方案和预注册摘要。

小纸条

预注册是否意味着分析计划绝对不能修改?