假设检验与 p 值：反事实下的数据稀有度

p值是在零假设及模型前提成立时，得到当前或更极端数据的概率。它不是零假设为真的概率，也不是结果由偶然造成的概率。先明确检验统计量和“更极端”的方向，p值才有定义。

零假设与备择

零假设常表示无差异或指定参数，备择表示关心的偏离。单侧检验需在看数据前由问题方向决定，看到结果后改成单侧会夸大证据。

第一类与第二类错误

拒绝真实零假设是第一类错误；未拒绝错误零假设是第二类错误。显著性水平控制长期第一类错误率，不保证这次结论绝对正确。

未显著不等于相等

p>0.05只表示证据不足以按当前设计拒绝零假设，可能因为样本小、噪声大。要支持“足够相等”，应预先定义等效界并做等效性分析。

检验前提

独立性、分布、方差和随机化若不成立，理论p值可能无效。置换检验可依赖随机分配的可交换性，但也有自己的前提。

报告完整结果

同时给效应估计、置信区间、样本量、检验方法和预先标准，不只写“p<0.05”。

若连续结果被人为二分，信息会损失且阈值附近对象被强行区分。能保留原始尺度时，不要只为套检验把数据粗暴分类。

练习：为A/B实验写零假设、备择、单/双侧理由、错误代价，并解释一个p=0.03结果。