统计判断与不确定性

小叶试用一种资料整理方法：让 AI 为课程资料生成章节导航，列出主要标题，并把每个标题对应到源资料的位置。这样，他以后回看内容时，可以直接找到相关段落。

他提前定好检查标准，连续试了二十次，其中十六次的首次结果通过检查。小叶算出通过率为百分之八十，觉得值得继续用。

到这里，他的观察是清楚的。但接下来几种说法，分量就不一样了。

“这二十次有十六次通过”，是在报告已经发生的事情。“以后类似任务大概也有八成通过”，开始用样本估计更广范围的表现。“已有充分证据说明通过概率超过六成”，是在作一个有明确门槛的统计判断。“所以可以取消人工核验”，则进一步改变了工作安排。

统计判断与不确定性，要帮助我们把这些层次接起来。它不会代替小叶决定该做什么，却能让他知道，手里的观察支持怎样的结论，哪些差异还分辨不清，下一步信息值得从哪里取得。

本章所有任务、数据、工具表现及决策门槛均为教学虚构。我们会完整计算几个小案例，不要求读者先记住整套检验名称。

一、样本的答案，与我们真正想问的答案

1．先把“通过”记录成可以检查的结果

小叶的首次结果要同时满足三个要求：主要章节没有漏掉，标题表达能够对应源文，给出的位置确实能找到相关内容。任何一个要求不满足，这次就记为未通过；没有返回结果也按这次任务未通过记录。

这不意味着未通过的结果毫无用处。小叶仍然可以修订后使用。这里的变量只回答一个具体问题：第一次得到的导航，是否已经满足事先规定的检查标准。

记第 $i$ 次的状态为 $B_i$，通过为一，未通过为零。二十次记录如下，每一格对应一次完整任务：

于是样本通过比例为：

这二十次的实际比例已经知道，不需要为它再加一层抽样误差。真正尚不确定的，是相同任务来源和使用流程下，以后一次任务通过的概率 $p$。

2．这一章换成持续出现的新任务

上一章主要研究一批已经固定的二十份结果，从中抽几份了解整批。本章主例换一个问题：把观察过的二十次当作样本，认识持续出现的同类任务。

为便于推理，先采用一个简化模型：每次任务及生成结果的随机因素，整体上按同一机制独立产生，通过概率为同一个 $p$。任务难度可以不同，但产生各种难度的整体分布保持不变。

这就是独立同分布的二元试验模型。它不是说每篇资料在细节上都相同，也不是仅凭“问了二十次”就已经证明独立。若二十次其实来自同一份资料、共享一个错误摘要，或者中途修改方法，便应重新考虑模型怎样对应观察。

这一步很重要，因为统计方法描述的随机性来自模型。我们先把一个清楚模型下的判断学会，再知道实际使用时应该检查哪些条件。

3．通过次数的分布，为后面的判断提供依据

把二十次中的通过数记作：

在刚才的模型下，$K$ 服从二项分布。若通过概率为 $p$，恰好 $k$ 次通过的概率为：

其中 $p^k(1-p{)}^{20-k}$ 是某一种具体通过、未通过排列的概率，组合数则计算这样的排列有多少种。下标 $p$ 提醒我们：换一个假定通过概率，得到的次数分布也会变化。

例如，若真实 $p=0.6$，二十次平均通过数为十二，但偶尔得到十六次也有可能。若真实 $p=0.9$，十六次又不是特别高的成绩。同一个观察，在不同模型下有不同位置。

统计推断的一个基本动作，就是让观察结果与这些可能模型对照。我们不只看“十六”这个数大不大，还要看在所讨论的条件下，它通常会不会出现。

二、置信区间：给估计配上可以解释的范围

1．为什么只写百分之八十还不够

二十次中十六次通过，与一百次中八十次通过，样本比例都是百分之八十。但如果任务来源与方法都合适，一百次通常能让我们更清楚地了解通过概率。

点估计只保留一个位置，不能表达这种信息量差别。区间估计则给出下限与上限，把估计的精细程度也表达出来。

本例采用二项分布的等尾精确置信区间，常称为Clopper–Pearson区间。按百分之九十五的置信水平，二十次十六次通过得到：

写成百分数，约为百分之五十六点三四到百分之九十四点二七。它比“八成”这个单点表达了更多信息：当前样本还不足以把通过概率限制在八成附近很窄的范围。

这种区间的计算根据二项分布直接求尾部概率，不依靠小样本正态近似。公式出处见 NIST 的二项比例区间说明 中的精确区间部分。

2．上下限怎样从二项概率中找出来

上下限并不是随意在八成旁边各减一点、加一点。我们可以依次考虑不同的候选通过概率，看看在这些概率下，十六次通过处在怎样的位置。

若候选概率非常低，二十次中取得十六次或更多通过会很少见；若候选概率非常高，二十次中只取得十六次或更少通过也会很少见。区间方法利用这两个方向，寻找上下边界。

百分之九十五等尾区间在每一侧分配百分之二点五。对本例十六次通过，下限 $p_L$ 满足：

上限 $p_U$ 满足：

把前面的二项概率公式代进去，通过数值求解，就分别得到约零点五六三四和零点九四二七。更低的候选概率会让“至少十六次”更少见，更高的候选概率会让“至多十六次”更少见。

这里固定的是已经观察到的十六次，在改变候选参数。这与前面“固定一个真实概率，再看不同样本可能得到多少次”的方向相连：前者帮助我们从观察反推一个参数范围，后者帮助我们评价这套范围计算办法。

因此，区间中的值是按同一规则保留下来的候选值，并不意味着它们得到完全相同的支持，更没有说区间外的参数在逻辑上绝不可能。

3．先理解区间怎样产生，再理解百分之九十五

可以把区间方法看成一台按固定规则工作的计算器。

输入二十次里通过几次，计算器就输出一对上下限。通过十二次、十六次、十九次，会得到不同区间。因此，在取得数据之前，区间的位置也是随机的。

假设真实通过概率固定在某个值，我们不断重复“做二十次任务，再按相同规则算区间”的完整过程。某些区间会包含真实值，另一些会漏掉真实值。置信水平说明的，是这套方法在规定模型下的覆盖能力。

对于这里采用的精确区间，覆盖概率至少达到百分之九十五；由于通过次数是一个个整数，实际覆盖通常还会高一些。所谓“精确”，指计算按二项模型进行，不是每个样本都能精确找出真实 $p$。

置信区间的这种重复抽样解释，以及名义覆盖与实际覆盖的区别，可参看 加州大学伯克利分校的置信区间讲义。精确二项区间的保守覆盖性质也见 Thulin 关于二项区间的研究。

4．把所有可能的区间画出来

为了看清覆盖，我们暂时在教学模型中指定真实 $p=0.8$。这不是从十六除以二十证明出来的，而是为了演示，另外设定一个我们知道答案的世界。

二十次的通过数可能从零到二十，共二十一种情况。对每种情况计算同一个百分之九十五区间，再看看它是否包含零点八。

图中横线表示区间，竖线表示假设的真实概率零点八。通过十二到十九次时，区间包含零点八；通过数更低或二十次全部通过时，本例区间没有包含它。

这里不能简单算“八种区间除以二十一种”。不同通过次数的概率并不相等。真实概率为零点八时，十六次附近更常见，零次通过极其少见。

按二项分布给各情况加权，本例覆盖概率约为百分之九十七点八五。因此，名义百分之九十五与实际百分之九十七点八五并不矛盾，后者体现了这套离散区间在该参数下的保守程度。

图中二十次全通过的区间下限约为零点八三一六，反而漏掉了真实零点八。原因是：一个实际八成的方法，也可能偶尔二十次全通过，让本次估计偏高。好的区间程序仍允许少量这样的情况。

5．已经算出的区间，不能随意换一种概率解释

当小叶已经取得数据，算出区间 $[0.5634,0.9427]$，这两个端点就固定了。在这里的频率学派解释中，真实 $p$ 也固定，只是小叶不知道它。

因此，这里的百分之九十五不能直接解释成“看到这些数据后，真实通过概率有百分之九十五的可能位于这两个端点之间”，也不是“以后百分之九十五的任务都会通过”。前一种说法需要给未知参数建立概率模型，后一种则把区间的覆盖水平当成了任务通过率。

小叶可以这样表达：“二十次中十六次通过，点估计为八成；按当前二项模型计算，百分之九十五精确置信区间约为百分之五十六到九十四。”这既保留了数字，也交代了其生成办法。

如果采用第五章讲过的贝叶斯方式，为未知 $p$ 指定先验并得到后验，就可以讨论给定数据后 $p$ 落在某段范围的后验概率。那需要说明使用的先验与似然，不能只给普通置信区间换一个名称。

三、区间的宽窄，怎样转化为实际理解

1．同样八成，样本更多时会怎样

另设一项事先决定做一百次的试用，方法与任务来源保持一致，结果为八十次通过。这里是另一组教学数据，不是把前面二十次的结论按五倍机械复制。

相同百分之九十五精确区间约为：

与二十次的区间相比，它更窄。这意味着同样一个八成点估计，现在对通过概率的位置有更精细的认识。

但区间变窄有条件。若后一百次只使用很简单的资料，而未来任务还包括复杂扫描件，区间虽然可以算得很漂亮，对未来目标的代表性却仍需另行判断。上一章关于抽样框和目标范围的内容，在这里继续发挥作用。

2．提高置信水平，通常要付出宽度

在相同数据、同一类区间方法下，若要求更高的覆盖水平，通常就要给更宽的范围。可以把它理解成：为了让区间在更多可能样本里罩住目标，不能把范围收得过紧。

所以，百分之九十九置信区间并不是“比百分之九十五更精确”。它要求更高覆盖，往往牺牲位置估计的精细程度。

这与经济学里讨论过的取舍有相似之处。想同时得到更窄的范围和更高的覆盖，通常需要更多有效信息，或者有充分依据采用更合适的模型；仅换一个表达方式不会凭空增加观察。

3．二十次全通过，仍然能讨论未知失败

小叶在另一项固定二十次的试用中全部通过。如果只用样本失败比例零来推断未来，就容易觉得已经没有失败风险。

但若某方法真实通过概率为九成，二十次全部通过的概率仍然是：

也就是说，在这个独立模型下，一个仍有一成失败概率的方法，约有百分之十二点一六的机会在二十次里不暴露失败。

这说明“暂时没看到”能够提供信息，却不能自动把相应概率压到零。二十次全通过的百分之九十五双侧精确区间为约 $[0.8316,1]$。

如果事先只关心通过概率的下界，可以使用百分之九十五单侧精确下限。全通过时，它满足 $p_L^{20}=0.05$，所以：

单侧下限约为百分之八十六点〇九。这个数与双侧区间的下限不同，因为两种程序分配覆盖要求的方式不同。不能拿双侧百分之九十五和单侧百分之九十五当成完全相同的判断。

对日常工作而言，这段推理的用途很直接：一次试用没有出错，可以鼓励继续使用和积累观察；要判断能否承受未来的少见错误，还要结合样本规模和错误后果。

四、平均估计的区间，与下一次结果的区间

1．换一个连续数值案例

现在看小叶的另一项工作。他让 AI 在核验开始前估计每份资料需要多少主动检查修订时间，再记录实际投入。每次预测先保存，做完以后不回改。

定义预测误差：

单位是分钟。正数表示预测偏少，实际比预计更费时；负数表示预测偏多。我们关心该任务来源和固定预测方法下，误差的总体均值 $\mu$。

十六份教学记录如下，与前面的导航通过率案例分开：

十六个误差合计四十分钟，因此样本均值为二点五分钟。误差对均值的偏离平方和为二百四十，样本方差为 $240/15=16$，样本标准差为四分钟。

平均二点五说明这批预测总体上偏少。但我们还要知道，这个平均偏差估得有多稳定，以及下一份可能偏差多少。

2．先从“估计值加减若干标准误”理解

对相互独立、来自同一分布的观察，样本均值标准误可用 $s/\sqrt{n}$ 估计。本例为：

若另外假设观察确实来自正态分布，且总体标准差 $\sigma$ 已知，那么标准化均值服从标准正态分布，百分之九十五区间可以写成：

一点九六来自标准正态分布中间百分之九十五的范围，两侧各留下百分之二点五。它不是因为“置信度九十五”就能对任何数据直接使用的通用乘数。已知标准差时的推导框架见 NIST 对置信区间的介绍。

实际中通常不知道 $\sigma$，本例的四分钟也是由十六条观察估出来的。于是区间还需要反映估计标准差所带来的不确定性。

3．样本标准差也要估计时，使用t区间

在独立正态样本模型下，用样本标准差替代未知总体标准差，标准化统计量服从自由度 $n-1$ 的t分布。

自由度这里可以先这样理解：十六个对样本均值的偏离，其和必须为零；前十五个确定以后，最后一个受到这一关系约束。这个例子里的自由度为十五。

百分之九十五均值区间为：

其中 $t_{0.975,15}$ 约为二点一三一四。它比一点九六稍大，给估计总体标准差这一步留出余地。公式和系数可分别核对 NIST 均值置信区间说明 与 t分布临界值表。

代入本例：

这里正态性是用于演示这套精确理论的模型假设，不是十六行整齐数字已经验证出的事实。实际使用时可以先看误差图、明显特殊记录和任务来源；若小样本误差很偏斜、存在厚尾或成组依赖，应采用与其相符的方法，而不是只因为某个软件能输出t区间就照单解释。

4．平均偏差在这个范围，不等于每次误差在这个范围

如果小叶把 $[0.37,4.63]$ 当成“下一份误差大致就在这里”，他会忽略单份任务的波动。表中已经有负三和正八这样的误差，明显超出了这个均值区间。

要预测下一次独立、同分布的新误差 $X_{\mathrm{new}}$，需要考虑两部分：我们对均值估得不准，新任务自身也会围绕均值变化。

在同一个独立正态模型下，单次新误差的百分之九十五预测区间为：

根号中的一对应新任务本身的变动，十六分之一对应样本均值估计的变动。由于新观察与原样本独立，两部分方差相加。这种预测区间的来源见 NIST 关于单次新观察预测的说明。

预测区间明显更宽。它针对误差，因此负下限有清楚含义：下一次可能比预计省时；不是说主动工作时间本身为负。

若小叶准备安排许多类似任务的平均时间，均值偏差有帮助；若他只剩一个很紧的时间窗口，要安排下一份资料，就更应关注单次误差。对未来一整批任务的总时间，还需要另外组合各项不确定性，不能简单把“平均的区间”“单次的区间”和“总量的区间”混成一件事。

五、假设检验：把一个明确判断放到数据面前

1．要检验的主张，需要具体到一个目标

回到导航任务。小叶事先提出的问题是：在固定任务来源与方法下，通过概率是否超过六成？

这里六成是教学中设定的比较门槛，不是所有AI应用的统一及格线。它也不是另一个方法用少数样本估出来、却被我们当成精确真值的成绩。

把“不超过六成”写成原假设，把“超过六成”写成备择假设：

原假设是这次检验用来对照的主张，不代表它已经被证明正确，也不要求它一定表达“什么都没发生”。在另一个问题中，原假设可以是平均时间不小于某个值，或两种方式的某项总体指标相同。

通过数越大，越倾向支持本例的备择方向，所以选择 $K$ 作为检验统计量。它把二十条观察压缩成一个与问题有关的数值。

2．“如果通过概率只有六成，会多常出现这么高的成绩”

小叶观察到十六次通过。我们先在 $p=0.6$ 的二项模型下问：至少十六次通过的概率是多少？

这里要把十六、十七、十八、十九、二十都算进去，因为它们都在预先规定的方向上，至少与当前成绩一样极端。

这就是本例的单侧p值。为避免与通过概率 $p$ 混淆，公式用下标val表示检验得到的数值。

原假设还包括小于六成的情况。通过概率越低，取得至少十六次通过越困难，所以原假设范围内，这个尾部概率在边界零点六处最大。我们用边界来判断，也照顾了其余“不超过六成”的情况。

二项检验中通过次数、总次数、假定概率与检验方向的对应关系，可核对 SciPy 二项检验的官方说明。下面直接用标准库把本例算式写出来：

from math import comb

n = 20
observed = 16
p0 = 0.6
p_value = sum(
    comb(n, k) * p0**k * (1 - p0)**(n - k)
    for k in range(observed, n + 1)
)
print(round(p_value, 6))

本章运行结果为零点〇五〇九五二。代码没有自动决定任务范围和检验方向，那些内容已经在计算前由问题确定。

3．显著性水平是判断规则的一部分

假设事先把显著性水平设为 $\alpha =0.05$：只有p值不大于零点〇五，才按这项规则拒绝原假设。

本次零点〇五〇九五略高于门槛，因此没有达到该显著性标准。可以报告结果倾向于较高通过率，但按事先采用的规则，目前尚不足以拒绝“不超过六成”的原假设。

若同样二十次里有十七次通过，对应p值约为零点〇一五九六，就会进入拒绝范围。两种结果的差别可以从完整分布看：

图左在 $p=0.6$ 下标出通过数分布，十六及以上的总概率约百分之五点〇九五，十七及以上约百分之一点五九六。因为通过数只能按整数变化，零点〇五的规则在本例对应“至少十七次”。

这里有两个不同数字：名义显著性水平是百分之五；这个离散检验在边界 $p=0.6$ 下实际拒绝概率约为百分之一点六。规则控制在规定水平以内，不一定刚好等于它。

4．p值不是原假设正确的概率

零点〇五〇九五回答的是：“在原假设边界和其他模型条件成立时，出现至少十六次通过有多常见。”

它没有回答：“看到了十六次以后，原假设还有多少概率正确。”后一问把条件的方向反过来了，若要给概率答案，需要进一步的模型信息。

因此，也不能把一减p值解释成“新方法有百分之九十四点九的概率超过六成”，或把p值解释成“这次结论出错的概率”。

美国统计学会关于p值的声明 明确区分了这些含义：p值可以反映数据与指定模型的不相容程度，但不是假设为真的概率，也不直接衡量效果大小和实际重要性。

对小叶来说，理解这个方向，比记住更多软件菜单更有用。他看到AI写出“p值为零点〇三，因此假设有百分之九十七的概率成立”时，就知道问题出在概率解释，而不必先把整个计算重做一遍。

5．单侧与双侧，来自事先提出的问题

本例只关心是否超过六成，因此把较大的通过数看成支持备择的方向。

若问题是“通过概率与六成是否存在差异”，那么明显偏低也需要纳入判断。这时就应采用与双侧备择对应的方法。对于离散分布，双侧p值还有不同构造，需要看清所用定义，不能对任何输出都机械乘二。

在耗时误差案例里，若事先关心平均误差是否为零，偏高、偏低都值得发现，就可以用双侧t检验。统计量为：

在前述独立正态模型、原假设 $\mu =0$ 下，双侧p值约为零点〇二四五。它与百分之九十五t区间 $[0.37,4.63]$ 没有包含零相对应。相关t检验公式见 NIST 对总体均值检验的说明。

这种区间与检验的对应，要求模型、方法和单双侧水平匹配。前面导航的百分之九十五双侧区间，不能直接当成其百分之五单侧检验的同一条规则。

六、判断可能怎样错：两类错误与检验功效

1．错误要相对于真实情况和所作判断来定义

假设某个导航方法真实通过概率只有六成，却碰巧在二十次里通过了十七次。小叶按规则拒绝原假设，就发生了第一类错误：原假设本来成立，却被拒绝。

反过来，某方法真实通过概率为八成，但二十次里只通过了十五或十六次，没有进入拒绝范围，就会发生第二类错误：原假设本来不成立，规则却没有将它拒绝。

这两种错误的定义及功效概念，可以参看 宾夕法尼亚州立大学的假设检验课程。

表里的“判断未出错”只针对这个统计主张，不等于所有实际行动都一定正确。即使通过概率确实超过六成，取消所有核验也可能不适合当前任务。

2．没有拒绝，可能只是没有足够能力分辨

继续采用二十次至少十七次通过才拒绝的规则。现在另外设定真实通过概率为零点八，计算规则能够发现它的概率：

这个概率称为在 $p=0.8$ 时的检验功效，约为百分之四十一点一四。对应的第二类错误概率约为百分之五十八点八六。

也就是说，即使真实通过概率达到八成，这个小规模检验仍有超过一半的机会没有达到拒绝标准。我们在这里知道八成，是教学计算的额外设定，不是把观察比例自动宣布为真实概率。

因此，“没有统计显著”可能包含多种情况：真实差异很小、样本太少、数据波动大，或者指标没有覆盖真正的改进。仅靠未拒绝这一结果，不能在这些解释中直接选定一种。

这也不意味着所有未显著结果都没有信息。它仍然提供了点估计、区间和具体样本；问题是不要把“分辨不出来”改写成“已经证明没有差别”。

3．功效针对一个具体差异

如果真实通过概率为百分之六十一，它与六成非常接近；如果真实概率为九成，区别则大得多。同一个检验，发现这两种情况的机会不会一样。

所以，只说“这个检验有百分之八十的功效”还不完整，必须说明针对什么真实参数或什么大小的变化。

做计划时，小叶可以先想：多大的差别会改变自己的安排？如果百分之六十与百分之六十一之间的区别不影响行动，就不必为了区分非常小的变化付出大量观察成本。若他希望在方法真实达到八成时，更有把握发现它已经超过六成，就可以围绕这个差别安排样本量。

4．样本量怎样改变发现能力

为把问题算清楚，继续固定原假设 $p\le 0.6$、单侧名义水平百分之五，想发现的真实通过概率为零点八。分别设计二十、四十、八十次的固定规模试用。

这些数均由二项概率直接求和，不是对所有任务通用的样本量表。

四十次在本设定下已经有约百分之八十四的发现机会。在开始一轮新试用前，小叶可以把它与二十次的方案比较，权衡多做二十次的准备、生成和核验成本。八十次更有分辨能力，但多出的信息是否值得，要看当前决策。

样本量计划需要结合错误标准、希望发现的差异和数据波动，而不只有一个“够不够三十”的固定答案。关于这些因素的关系，可参看 NIST 的样本量讨论。

如果目标是粗略了解情况，二十次依然可以有价值；如果目标是作出更稳定的门槛判断，就需要把所需发现能力纳入计划。两种任务不能仅凭一个样本量数字统一评价。

七、统计上看得出来，与实际值得改变

1．显著性不直接告诉我们差别有多大

在误差案例中，平均误差二点五分钟的双侧p值约零点〇二四五，说明相对于零均值模型，观察到了较明显的偏离。

但小叶真正关心的可能是“平均低估是否至少达到两分钟，值得专门修改时间安排规则”。这时要看的是两分钟这个实际门槛。

百分之九十五区间约为零点三七到四点六三分钟，包含两分钟，也包含低于两分钟的情况。当前数据支持平均误差偏正，却还不能在同一置信水平下把平均误差下限放到两分钟以上。

同一个结果，对“是否偏离零”和“是否超过有实际意义的两分钟”，可以给出不同力度的支持。统计分析应跟随要做的决定，而不只寻找一个最容易跨过的比较点。

2．很小的效果，也可能很容易被统计发现

设另一项流程改进，经过大量有效观察后，平均每次节约零点二秒，区间很窄并且全部大于零。这样的差别完全可能达到统计显著。

若小叶每周只做十次，大约节约两秒，未必值得为此花一小时更换流程；若同一过程要自动运行一百万次，按零点二秒简单相加就是二十万秒的累计执行时间差。它是否转化为同样多的日历时间、费用或等待，还要看是否并行、怎样计费及瓶颈在哪里。

这个例子说明，效果的单位、使用规模和行动成本，需要一起进入判断。不能因为效果小就一律否定，也不能因为p值小就一律采用。

对AI应用来说，生成能力越强、可试方案越多，选择哪一项改进值得投入，越需要经济学和管理学的思路。统计把差别描述清楚，价值判断还要放回工作本身。

3．怎样区分“差不多”与“还看不清”

小叶另有两次关于平均预测误差的评估，都是按适当模型得到的百分之九十五区间。一项为负零点一到正零点一，另一项为负四到正四分钟。

两者都包含零，因此仅看“是否拒绝零均值”，可能得到相同标签。但对实际工作，它们提供的信息差很多。

如果小叶事先认为平均误差在正负半分钟以内可以接受，第一项整个区间都落在可接受范围内，在该模型与置信水平下，能为“平均误差足够小”提供较强支持；第二项同时允许明显高估与明显低估，说明还看不清。

这类思路可以进一步发展为等效性或非劣效性判断。这里先抓住实际意义：要支持“足够接近”，应先定义多近算够，并让数据有能力排除那些会改变行动的差异。

“没有发现差异”和“已经把差异限制在可接受范围内”，需要的证据并不相同。

4．门槛附近，仍然需要看完整结果

本章导航检验的p值约为零点〇五〇九五。如果为了让它小于零点〇五而调整记录、换一个方便的计算口径，判断程序就被结果牵着走了。

另一方面，这个结果与一个零点〇四九的结果，也不应被描述成现实效果突然发生了本质变化。预先约定的规则可以明确是否跨线，实际理解仍要看样本量、效果位置、区间和模型。

例如，小叶完全可以说：“这二十次的表现值得继续试用；正式的六成门槛判断尚未达到预定标准，因此继续保留核验，并在下一轮固定条件下增加证据。”

这是一种有具体行动的表达。它既没有把未显著变成停工命令，也没有把观察不错变成无限推广。

八、当AI让试验越来越便宜，判断规则也要跟上

1．一次比较，与从许多比较里挑最好的一次

小叶可以很快让AI生成二十种导航要求，分别试用，再挑其中成绩最好的一种。这对寻找新方法有帮助。

但如果他为二十种方法都做检验，最后只展示p值最小的一项，读者看到的就不是一次事先选定的普通检验。选择过程也影响了被展示结果的性质。

先用一个独立的教学模型说明：有二十项原假设都成立的检验，每项实际第一类错误概率恰为百分之五，且各项拒绝事件相互独立。

每项不误拒绝的概率为零点九五，二十项都不误拒绝的概率为 $0.95^{20}$。至少一次误拒绝的概率为：

它约为百分之六十四点一五，远大于单项的百分之五。平均误拒绝数量为一，也不等于每次一定恰好错一项。

这里的独立性与每项恰好百分之五是另设的模型条件，不是前面离散二项检验的实际错误率。同一批材料上比较多个AI方案时，各项结果往往有关联，不能不加判断就使用零点九五的连乘。

不变的重点是：当我们从许多次尝试中选出某个结果时，要把“尝试过多少、怎样选中”放回解释。

2．怎样保留探索的价值

小叶无需因此停止试很多方法。他可以把第一轮用于发现候选方案，保留各次结果和修改依据，再在尚未用于这一轮挑选的新材料上评估选中的方法。

如果需要在一组预先确定的二十项有效检验中控制“至少一次误拒绝”的概率，也可以分配总体错误额度。例如，把总水平零点〇五分给二十项，每项采用零点〇〇二五。

它依据的是：

这种Bonferroni思路不要求检验之间独立，但要求每一项本身的检验有效，而且实际执行的比较集合符合说明。一般不等式及同时覆盖的原理见 NIST 的多重比较说明。

它也有代价：单项标准更严格，可能更难发现真实差异。这里不是推荐所有试用都一律采用这一办法，而是让读者理解，多个判断可以共同管理，不必只在“随便挑一个最好结果”和“完全不探索”之间选择。

3．同一个试用反复看，也会改变错误机会

还有一种常见安排：先看十次结果，若达到显著就宣布成功；没达到就继续到二十次，再用普通百分之五标准看一次。

我们沿用通过概率门槛六成，另设这套两次查看的完整规则。在十次时，单侧精确检验需要至少九次通过才拒绝；若没有拒绝，到二十次时需要累计至少十七次通过才拒绝。

设前十次通过数为 $A$，后十次为 $B$。在真实 $p=0.6$、各次独立的模型下，整套规则会在下面事件发生时宣布拒绝：

枚举前后两段各自可能的通过数，按联合概率加权，得到整套规则误拒绝概率约为百分之五点三三。它已经超过名义百分之五，也明显高于只在二十次结束时检验的约百分之一点六。

这个例子中的两次查看共享前十次数据，所以没有把两个p值当独立事件相乘。它说明，判断程序包括什么时候看、什么时候停，而不只有最终输入软件的总次数。

实际工作可以采用事先固定样本规模的简单安排；确实需要随时查看并据结果停止时，也有专门处理连续监测的统计方法。普通探索中随时看数据当然能帮助工作，只是正式声称某个错误水平时，应使用与查看规则一致的解释。

九、把统计信息接到一个可执行的决定上

1．把结论写成有对象、有依据的话

现在请小叶为导航试用写一段完整说明，可以是：

“在固定任务来源、首次生成和统一检查标准下，二十次中十六次通过，样本通过率八成。按独立同分布二项模型，百分之九十五精确区间约为百分之五十六点三到九十四点三。针对通过概率超过六成的单侧检验，p值约零点〇五一，尚未达到预定百分之五标准。当前结果支持继续试用，暂时保留原核验流程。”

这段话不长，但别人能够看见范围、数据、方法、判断和行动之间的联系。它没有要求所有日常决定都写一篇统计报告，只是在结论重要时留下足以复核的信息。

AI可以协助把原记录整理成这段说明，但小叶仍应核对原始通过数、分母、首次与修订后状态，以及实际采用的模型。语言写得流畅，并不自动保证这些环节对应。

2．不同决定，需要不同的证据力度

如果只是小叶自己下一次继续试用，保留核验、随时可以调整，当前观察可能已经足够支持行动。

如果要把流程交给一个团队长期使用，或者让输出直接进入后续自动处理，他可能更关心特定错误类型、复杂材料和失败后的恢复时间。总体通过率即使估得很精细，也不能代替这些信息。

这不意味着统计指标没用，而是一个问题可能需要几个彼此补充的变量。平均时间、关键错误比例、返工成本，分别刻画工作的不同方面。

有时先深入检查四次失败，比再增加大量相似成功样本更能改进方法；有时失败原因已经清楚，真正欠缺的是对发生频率的判断，新增有代表性的观察就更有价值。

3．分清可减少的不确定性与任务本身的变化

增加独立有效样本，可以让均值或通过概率的估计更精细。但它不会让每份资料都一样容易，也不会使生成结果从此不再变化。

改进模型和流程，则可能改变任务分布本身，例如减少某类漏项或缩小耗时误差。这需要重新观察变化后的结果，不能只把旧数据的区间进一步缩窄就当成性能改善。

另外，还有一些不确定性来自当前模型没有包含的条件，如新类型资料、不同核验标准或新使用环境。它们需要新的范围判断和证据。

这样看，统计判断不是给工作盖一个永远有效的“可靠”章。它是在某个明确阶段，把已经掌握的信息表达清楚，帮助小叶决定继续、修改、补充观察，还是把精力转向更有价值的任务。

十、练习与参考分析

练习一：相同的八成，能否写成同样的结论

甲次试用二十次中十六次通过，乙次独立试用一百次中八十次通过。两次均按固定规则完成，目标任务来源与模型适合二项分析。请比较点估计、百分之九十五精确区间，以及下面说法：

“两次都是八成，因此对真实通过概率的认识一样精细。”

参考分析：

两次点估计确实相同，都是零点八。但区间分别约为 $[0.5634,0.9427]$ 与 $[0.7082,0.8733]$，乙次的范围明显更窄。

甲次区间宽约三十七点九三个百分点，乙次约十六点五二个百分点。样本规模增加，使同一个比例获得不同程度的支持。

注意单位是“百分点”：端点九十四点二七减五十六点三四，是三十七点九三个百分点，不能说真实通过概率必然会波动百分之三十七点九三。

这个比较还依赖题目给出的条件。若乙次大量重复同一材料，或只抽取容易通过的对象，观察数一百本身并不能保证对原目标更精细。应先检查证据来源，再解释公式产生的区间。

练习二：计算p值时，为什么要加上十七到二十次

本例二十次中十六次通过，检验 $H_0:p\le 0.6$ 对 $H_1:p>0.6$。小叶只算了“恰好十六次通过”的概率，想把它作为p值。这有什么问题？

参考分析：

检验统计量为通过数，预先规定更大的数更支持备择。十七、十八、十九、二十，都至少与十六一样朝这个方向偏离原假设。

因此应计算右尾：

只保留恰好十六次，会丢掉更极端结果，使数值不再是这项检验定义的尾部概率。尤其在取值很多的统计量中，某个精确取值本来就可能很少见，不能据此判断它在总体分布中的位置异常。

本次按百分之五规则未拒绝原假设。这既不能改写为“通过概率不超过六成已被证明”，也不能改写成“原假设正确概率为百分之五点一”。前者把未拒绝当证明，后者把概率条件方向倒转。

练习三：没有显著，是不是意味着方法确实不到八成

事先采用二十次至少十七次通过才拒绝的规则。已知在真实通过概率为零点八时，规则功效约为零点四一一四。

如果小叶当前没有拒绝原假设，能否据此判断真实概率不可能为八成？如果再计划一次固定四十次的新评估，针对真实八成的功效约为零点八三九二，这增加了什么能力？

参考分析：

不能。真实概率为八成时，二十次规则不拒绝的概率约为：

约百分之五十八点八六，并不是很少见。因此，未显著与真实八成完全可以同时出现。

四十次规则把发现这项具体差异的机会提高到约百分之八十三点九二，第二类错误概率降到约百分之十六点〇八。它改善的是在题设参数下区分六成门槛与八成表现的能力。

这里不能把功效解释为“这次结论有百分之八十三点九二的概率正确”。功效先指定真实参数，再问方法怎样表现；当前结论正确的概率属于另一种问题。

题目也说的是另一次事先固定四十次的评估。如果实际安排是看见结果好就提前停、不好再追加，需要把整套查看规则一起分析。

练习四：平均误差已经估准，下一份会不会仍然差很多

十六份时间误差样本均值二点五分钟、样本标准差四分钟。在独立正态模型下，百分之九十五均值区间约为 $[0.37,4.63]$，单次新误差预测区间约为 $[-6.29,11.29]$。

小叶说：“既然平均误差区间上限不到五分钟，下一份最多多花五分钟。”请指出问题，并说明两个区间分别怎样帮助安排。

参考分析：

均值区间针对的是总体平均误差。单个新误差还会在均值周围变化，因此不能用平均区间上限当成下一份的上限。

本例均值标准误估计为一分钟，预测新误差时的尺度为：

乘上相同t系数，预测范围自然更宽。

均值区间可以帮助判断当前预测是否整体低估时间，以及是否值得调整平均安排；单次预测区间更贴近下一份的时间余量问题。但百分之九十五预测区间也不是绝对上下界，模型外的新类型资料更需要另作判断。

这两个区间都依赖题设的独立正态模型。若误差强烈依赖资料类型，进一步按已知类型改进预测可能更有用，而不是只对全部记录套一个统一范围。

练习五：从二十个结果里挑一个，怎样解释

设二十项原假设都成立，每项实际误拒绝概率为百分之五，各项拒绝事件独立。求至少一次误拒绝的概率。

如果不愿假设独立，但每项检验都有效，怎样用简单的总体错误额度分配，把一组预定二十项检验的至少一次误拒绝概率控制在百分之五以内？

参考分析：

先算一项也没有误拒绝：

取补集，至少一次的概率为 $1-0.95^{20}\approx 64.15\%$。这不是说每个被挑中的结果都有百分之六十四点一五的错误概率，而是整组试验出现至少一次误拒绝的机会。

若每项采用零点〇〇二五的有效标准，联合上界为 $20\times 0.0025=0.05$，无需相互独立。实际可能比上界低。

小叶还可以把大量试用用于选候选，再用新材料评估。无论采用哪种方式，保留原先做过的比较，才能说明最终结果是怎样选出来的。

练习六：未拒绝零，什么时候仍能支持实际接近

小叶事先把平均预测误差的可接受范围设为正负半分钟。两项独立评估各自得到适当模型下的百分之九十五区间：第一项 $[-0.1,0.1]$，第二项 $[-4,4]$ 分钟。

两者都包含零，能否说它们都已经证明预测“没有问题”？另外，主例区间 $[0.37,4.63]$ 排除了零，是否足以支持“平均低估超过两分钟”？

参考分析：

第一项整个区间位于事先接受的 $[-0.5,0.5]$ 内，在相应模型与置信水平下，可以支持平均误差足够小。第二项跨越了大量不可接受值，说明估计不够精细，不能给出同样判断。

但第一项也只回答平均误差。若单项误差一会儿很高、一会儿很低，平均可能接近零，却仍不适合逐项精细排程；还应看单项分布与用途。

主例 $[0.37,4.63]$ 排除零，对平均误差为正提供支持，但区间下端不到两分钟。因此不能把“偏离零”直接升级成“已在同一置信水平下支持超过两分钟”。

小叶可以根据成本，先作容易撤回的安排调整，同时继续记录；如果需要作一个后果更大的长期改变，再围绕实际两分钟门槛收集足够信息。统计结论与行动力度，可以这样具体地接起来。