贝叶斯更新

小叶用 AI 整理课程阅读材料，准备写一份小组研究报告。AI 帮他把若干主张与对应的原文片段配在一起，他又让一个自动检查器标记“可能需要重点复核”的条目。

看到某条被标记，小叶会提高警惕；看到没有标记，他可能稍微放心。但是，应该警惕到什么程度？检查器能够检出九成问题，是否意味着被它标记的条目有九成真的存在问题？如果另一份检查报告也提出相同意见，是否可以再把信心大幅提高？

贝叶斯更新提供了一种把这些判断串起来的方法。我们先有一个基于既有信息的认识，再观察新证据，接着调整对不同可能性的判断。重点是调整的依据和力度：什么样的证据值得改变想法，应该改变多少，哪些看似新增的说法其实没有带来多少新信息。

一、检出九成问题，为什么标记中可能只有一半有问题

1．把真实情况与检查信号分开

下面的比例、记录和工具表现全部是教学虚构。我们只讨论有明确原文可核查的事实性主张，并假定每条都能判定为“原文支持”或“原文不支持”。

令 $H$ 表示“这条主张没有得到所附原文的支持”。这不必意味着主张在整个世界中一定是假的，也可能是引用选错了、扩大了原文的适用范围，或者这段原文根本没有谈到该结论。我们现在判断的是这一条引用关系。

令 $S$ 表示“自动检查器发出了重点复核标记”。标记只是一个信号，它与真实情况 $H$ 分别记录。假设在当前这一类候选引用中：

第二行是检出率，第三行是误标率。前者问“有问题时能找出多少”，后者问“没有这种问题时会误报多少”。我们要回答的问题则是：已经看到标记，条目确实存在这种问题的概率是多少？

2．先用一千条教学记录看清楚

为了让概率变成容易观察的数量，构造一张恰好符合上述比例的一千条教学记录。它不是实测数据，也不要求任何真实的一千条任务都恰好出现相同计数。

其中一百条不受原文支持，九百条受到支持。检查器在一百条不受支持的条目中标出九十条，漏掉十条；在九百条受支持的条目中，又误标九十条。

被标记的共一百八十条，其中真正不受原文支持的九十条。因此，给定标记之后的问题概率为：

它是百分之五十，不是百分之九十。检查器没有突然失去前面设定的检出能力；造成差异的是，原文支持的条目本来就多出九倍。即使只有其中一成被误标，也会产生九十条标记，与真正检出的数量相同。

左边看的是一百条问题条目里有多少被发现，右边看的是一百八十条标记里有多少真的存在问题。它们都涉及九十条真正被找出的问题，分母却不同。

3．从一成变成五成，仍然是很明显的信息变化

如果小叶原来只知道条目来自这类材料，问题概率为百分之十。看到标记以后，模型中的判断变成百分之五十，已经提高很多。

所以，“标记后只有一半有问题”不能直接推成“检查器完全没用”。它把一个相对少见的问题集中到了更小的范围，可以帮助安排复核顺序。与此同时，百分之五十也没有高到可以把所有标记直接视为错误并删除。

理解这个例子，需要同时保留两件事：新信号确实改变了判断，但信号本身并没有替我们完成对原文的确认。

二、先验、似然、后验：一次更新包含哪些部分

1．先验是看到此次证据以前的起点

$P(H)=0.1$ 称为先验概率。“先”是相对于此次标记来说的，不表示它完全没有依据，更不表示它一定来自直觉。

它可能参考此前同类任务的质量记录、材料来源和生成流程。我们暂时把它设为零点一，是为了研究更新过程。后面还会讨论：如果这个起点不确定，或者当前任务已经换了类型，应该怎样处理。

先验回答的是：“在还没看到这次检查信号时，根据已有背景，我怎样看待这条引用存在问题的可能性？”

2．似然问的是：如果某种情况成立，看到这条证据有多自然

现在已经观察到证据 $S$，即检查器发出了标记。我们比较两种情况：

如果 $H$ 成立，标记出现的概率为零点九；如果 $H^c$ 成立，标记出现的概率为零点一。把已经观察到的证据固定下来，比较不同假设下它出现的概率，这些量就发挥了似然的作用。

“似然”这个词容易让人误以为是在问假设有多可能。这里更合适的读法是：“假如它确实存在问题，检查器发出这个标记有多大概率？”方向仍然是 $P(S\mid H)$，不是 $P(H\mid S)$。

在当前模型中，两个似然值碰巧加起来为一，但一般并不要求如此。它们分别以不同假设作为条件，不是在同一个条件内部给证据分类。稍后学习方法通过率的例子，会出现两个似然值加起来远小于一的情况。

3．后验是把新证据纳入以后得到的判断

$P(H\mid S)$ 称为后验概率。在先验、似然和证据都确定后，贝叶斯公式给出：

先验、似然和后验的常见术语及公式，可参见 Statlect 的贝叶斯公式说明。

分母 $P(S)$ 是把两种真实情况都考虑在内时，检查器发出标记的总体概率。对于本章的两个互补情况：

于是：

分子保留“存在问题且产生标记”的概率；分母纳入所有产生标记的路径。我们已经知道看到了标记，就在这些路径中重新比较真实情况。通过全概率补全分母的做法，也见于 ProbabilityCourse 的贝叶斯公式章节。

4．先相乘，再归一化

可以用一张更新表整理：

先让每个假设原有的权重乘以它对证据的适配程度，再把相乘结果除以总和，使新的概率加起来为一。我们也常把这个关系简写成：

符号 $\propto$ 表示成比例。它提醒我们，单独乘出来的零点零九还不是最终后验，后面还需要归一化。

这不是给旧看法和新看法随便取一个折中值，也不是看到新证据就把旧背景全部抹掉。原先很常见的情况，需要解释它为什么能够产生这条证据；原先较少见的情况，也可能因为对证据更有解释力而获得更大权重。

三、同样的标记，为什么在不同背景下意义不同

1．如果问题本来很少，误标可能占主要部分

把模型中的原始问题比例从百分之十改成百分之一，检查器的检出率和误标率仍保持百分之九十与百分之十。

用同样方式构造一千条教学记录，只有十条存在问题，其中九条被标记；九百九十条没有这种问题，其中九十九条被误标。总标记一百零八条，问题条目只占：

同一个检查信号，把概率从百分之一提高到约百分之八点三三，仍然提供了信息。但它没有把一个原本很少见的问题变成“多半已经存在”。

这不是要我们因为某件事少见就无视证据，而是让我们同时考虑：证据在目标情况中有多常见，也在其他情况中有多常见；其他情况又有多大的数量基础。

2．如果起点不同，后验会形成一条连续变化的关系

设先验问题概率为 $p$，仍固定检出率零点九、误标率零点一。观察到标记以后：

图中虚线表示“判断不发生变化”。曲线在中间范围位于虚线上方，表示该标记支持问题存在；但最后到什么位置，还取决于从哪里开始。

小叶可以由此理解，为什么一个在未经整理材料中很有参考价值的提示，放到已经经过细致核对的材料中，可能出现较高的误标占比。材料背景变了，即使暂且假设检查器的两种条件概率不变，标记的含义也会跟着变。现实中工具表现本身也可能随材料改变，不能只替换先验而默认其他条件永远固定。

3．降低误标，为什么可能很有价值

回到先验百分之十。假设改进后的检查方式，检出率仍为百分之九十，但误标率从百分之十降到百分之一。标记后的问题概率变成：

在按新比例构造的一千条教学记录中，仍然检出九十条问题，但误标从九十条减少到九条。小叶需要逐条查看的标记少了，其中真正需要处理的比例高了。

这说明，评价检查工具时，不能只问它找出了多少问题，还要问它把多少正常内容标成了问题。两种表现共同决定标记后的判断。这里的改进幅度是新的假设条件，不是宣称某个真实工具已经达到这样的水平。

四、赔率与似然比：把“证据有多强”单独拿出来看

1．概率之外，还有一种表示相对分量的方式

如果问题概率是百分之十，没有这种问题的概率就是百分之九十。两者的比值为：

这里的 $O(H)$ 称为赔率，也可以直接理解为“存在问题与不存在这种问题的概率之比”。一比九，表示后一种情况的概率是前一种的九倍；一比一，表示两种情况各占一半。

不要被“赔率”这个名称带到别的场景中。我们只是换一种方式表示两种可能性的相对分量。它与概率能够相互转换：如果概率为 $p$，赔率是 $p/(1-p)$；如果赔率为 $o$，概率就是 $o/(1+o)$。

例如赔率为四，意思是存在问题与不存在问题为四比一，问题概率是四份除以总共五份，即百分之八十。赔率可以大于一，概率则不能超过一。这种区别在更新时很有用。

2．似然比衡量这条证据更偏向哪一种情况

检查标记在有问题时出现的概率为零点九，在没有这种问题时出现的概率为零点一。二者相除：

$\mathrm{LR}$ 表示似然比。这个九说明，在当前模型中，该信号在问题条目中出现的可能性，是在正常条目中出现可能性的九倍。

贝叶斯公式换成赔率形式，就得到：

为什么可以这样相乘？分别写出 $H$ 与 $H^c$ 的后验，再相除，两个分母中的 $P(S)$ 抵消，剩下先验概率之比与似然之比相乘。这个关系及概率与赔率的转换，见 MIT 18.05 关于赔率更新的讲义。

原先的赔率为九分之一，乘以九，变成一。再从赔率转回概率，得到二分之一。这与前面的计数方法和贝叶斯公式完全一致。

一个容易发生的错误，是直接拿原先百分之十的概率乘以九，得到百分之九十。被证据放大的对象是两种假设的相对赔率，不是单独一个概率。若把概率直接乘，换一个先验还可能算出超过百分之百的结果。

3．证据的方向，来自两边的比较

在似然为正且先验不在零或一的通常情形下，似然比大于一，证据提高 $H$ 的概率；小于一，证据降低它；等于一，证据不改变两种假设的相对判断。

假设一个新检查信号在问题条目中有百分之六十概率出现，在正常条目中也有百分之六十概率出现。虽然信号很常见，但它在两边同样常见，似然比是一。知道它出现以后，小叶并没有得到区分这两种情况的帮助。

这能够改变我们平时评价证据的习惯。小叶看到一段流畅、完整的解释，可能觉得它“看上去很像正确答案”。但还要接着问：如果答案有误，这个系统是否也容易生成同样流畅、完整的解释？

如果两种情况下都很容易出现这种表现，单靠流畅感就很难区分真伪。相比之下，一处可以逐字对照的原文、一项可以实际运行得到的结果，可能更有助于区分当前的具体假设。这里没有预设真实系统的似然数值，而是在说明应该比较什么。

4．没有标记，也可以是一条证据

回到最初的检查器。如果条目没有被标记，问题概率怎样变化？

问题条目漏标的概率为零点一，正常条目不被标记的概率为零点九。因此：

先验赔率九分之一，再乘九分之一，变成八十一分之一；转换回概率为：

从第一张数量表也能验证：八百二十条未标记条目中，仍有十条问题条目，十除以八百二十就是八十二分之一。

因此，“没有发现问题”究竟有多让人放心，取决于有问题时这项检查本来多容易发现它。如果一个检查根本没有覆盖某种问题，它没有报警就未必能降低那种问题的概率。本例中的下降，来自已经明确设定的检出能力。

五、连续更新：第二份意见究竟增加了什么

1．上一步的后验，可以成为下一步的起点

小叶看到第一次标记后，当前问题概率为百分之五十。接着，他进行第二种检查，专门比较主张中的范围限定与原文中的限制条件。

为便于计算，假设在“已经被第一次检查标记”的条目中，第二种检查有以下表现：

$S_1$ 是第一次标记，$S_2$ 是第二次检查也发出问题信号。这里的零点八和零点二，已经是在知道第一次标记以后讨论的条件概率，不是拿第二种工具在任意材料中的表现直接套用。

如果第二次也发出信号，以当前百分之五十为起点：

问题概率从百分之五十升到百分之八十。换成赔率看，第一步已经把赔率改为一；第二条证据的条件似然比是四，再乘一次得到四，对应百分之八十。

把上一轮后验作为下一轮先验，是连续更新的基本做法；使用的似然也要与当前已有信息相匹配。分步更新的教学说明见 MIT 18.05 的贝叶斯更新讲义。

2．第二次不支持问题存在，判断也应该往回走

在已经被首次标记的九十条问题条目中，按新设定，第二次标记七十二条，不标记十八条。在首次误标的九十条正常条目中，第二次标记十八条，不标记七十二条。

第二次未标记的九十条中，十八条确实有问题，问题概率为百分之二十。也可以算：

第一次证据把问题概率从一成提高到五成，第二次检查的不同结果，又可能把它提高到八成，或者降低到两成。更新没有“只能越来越相信最初判断”的要求。

但降低到两成，也没有回到原先的一成。原因是，两份信号的支持力度在这里并不正好抵消：第一次标记的似然比为九，第二次未标记的条件似然比为四分之一，合起来仍然是九比四的赔率放大倍数。

3．直接计算与分步计算应当一致

如果把两次标记一起纳入，可以从原来的先验开始：

分子是一条完整路径：原文不支持、第一次标记、在此前条件下第二次再标记。分母把正常条目产生相同两次标记的路径也加进来。

我们并没有在这里要求两次检查独立。因为第二次的两个概率本来就带着第一次标记这一条件。只有想把 $P(S_2\mid H,S_1)$ 简化成 $P(S_2\mid H)$ 时，才需要对应的条件独立关系作为依据。

这让更新方法适用于更多现实情形。人们通常是在看过前一步结果以后，才决定下一步查什么。只要清楚下一条证据是在什么背景中取得的，就可以把这种过程写进模型，而不是假装各次检查互不相关。

4．如果第二份报告只是复制第一份，概率不该再次上涨

现在换一种情况：第二个报告生成器没有重新查看原文，只把第一次检查的“需要复核”标记改写成一段更详细的话。

设 $C$ 表示它再次报告“需要复核”。如果规则就是只要看到首次标记就照着写，那么：

相对于已经知道的首次标记，这份复制报告的条件似然比为一。问题概率仍为百分之五十。

图中的新增检查和复制报告是不同的信息取得方式。新增检查的两个结果会把当前判断带向不同方向；只重复首次标记的报告没有提供额外区分。

若把复制报告误当成又一次同等的新检查，把似然比九再乘一遍，就会错误地得到百分之九十。这个数字看起来很明确，依据却重复计算了。

这不意味着反复询问 AI 一概没有价值。有时换一个问题、提供另一份资料、要求实际运行程序，确实会带来新的观察。要辨认的是信息有没有增加，以及新信息与旧信息有什么联系，不能只数回答有几份、语气有多一致。

六、先验与似然从哪里来，暂时拿不准怎么办

1．把背景记录做成可以比较的材料

前面的数字都已经给定，所以计算很清楚。实际工作中更需要思考的是：小叶凭什么认为问题比例是一成，凭什么认为检出率是九成？

如果他保留了同类任务记录，可以抽取其中的条目，独立核对原文是否支持主张，同时记录检查器有没有标记。这里的“独立核对”是指判定依据来自对原文的核查，不能仅仅把检查器自己的判断重新当作标准答案。

想估计原始问题比例，样本需要反映即将使用这一判断的候选条目范围。只收集被标记的材料，看到的是筛选后的群体，不能据此估计所有候选材料中有多少问题。

想了解检出率，还需要看到没有标记但实际存在问题的条目；想了解误标率，需要在原文确实支持的条目中检查有多少被误标。前面的四格数量表，本身就在提示该记录哪些信息。

这类积累不必等到项目很大才开始。小叶整理课程阅读材料时，可以顺手记录材料类型、原文位置、主张、检查信号与最终核查结果。后续出现同类任务，这些资料就能让起点更有依据。

2．选参照群体，比多写小数位更有用

如果历史记录主要来自短篇说明文，当前却要处理论证复杂的研究论文，旧比例可能不适合直接使用。如果从随意摘录改成了先限定原文段落再生成主张，流程变化也可能改变原始问题比例。

小叶并不是在寻找一个永远有效的“AI 出错概率”，而是在为一类具体工作建立暂时可用的认识。类似任务的经验可以作为起点，但还要看相似的是哪部分：材料长度、术语难度、主张类型、生成方式还是核查要求。

假如无法确定先验到底是百分之五还是百分之二十，可以分别计算。维持原检出率和误标率时，标记后概率约在百分之三十二点一四到百分之六十九点二三之间。

这是对不同先验设定所做的敏感性分析，表示“换一个合理起点，结论会怎样变化”。它并不是从样本中自动算出的置信区间，也没有承诺真实概率必然落在里面。

如果不同合理起点都支持先去看一眼原文，当前行动就可能已经足够清楚。如果不同起点会导致完全不同的安排，小叶就知道，接下来更值得弄清的是背景比例或检查表现，而不是继续润色报告中的结论句。

3．给自己保留被证据改变的空间

在通常的有限离散模型里，只要观察到的证据总概率不为零，如果一开始把某个假设的先验设为零，它乘上任何有限似然后仍然是零。先验为一的互补情形也一样。

所以，“我目前没见过”与“这在模型里不可能发生”要分开。前者通常只意味着经验有限，未必值得写成零概率。

如果模型把后来实际出现的证据整体视为不可能，即分母为零，就不能继续用这个公式硬算一个后验。这时需要检查：是不是漏掉了某种情况、模型条件已经变了，或者记录本身有误。

这种认识可以很朴素。小叶不需要每次都写精确数字，但可以在心里保留替代解释，遇到不合原先判断的结果时，先核查结果与条件，而不是因为“我早就认定了”把它删掉。

贝叶斯方法所要求的先验、似然与后验关系，见 Statlect 的贝叶斯推断说明。日常使用时，即使数字暂时不完整，也可以练习其中的比较：已有背景是什么，新观察在不同解释下分别有多自然，还有哪些资料可以帮助分辨。

七、从试用结果学习：我们怎样逐渐认识一种 AI 工作方法

1．未知的不只是某一条内容，也可以是一种方法的表现

前面的小叶在判断某条引用是否有问题。现在换一个教学情景：他设计了一套用 AI 把课程材料转成复习题的流程，想了解这套流程第一次提交就通过核验的概率。

令 $\theta$ 表示这类可比任务的一次通过率。通过的标准事先确定：题干与材料相符、答案有依据、没有明显歧义。某次没有通过，后面即使修改成功，这一轮的首次结果仍记录为未通过。

为了把更新过程看清楚，我们暂时只比较两种模型：一次通过率为零点四，或者为零点八；起初各给二分之一的概率。现实通过率当然可以是其他数值，这个两点模型只是课堂上的简化，不是说所有方法天然分成这两档。

还要明确一个计算条件：给定这套流程的通过率以后，四次任务的结果按相同通过概率独立产生。这可以理解为固定流程、使用可比材料、每次都记录首次结果的简化模型。它不适合直接套在同一道题反复修改的四个版本上。

这里有两层不确定性。第一层是下一次任务会不会通过；第二层是我们还不知道这套流程更接近哪一种通过水平。通过观察第一层的结果，我们可以学习第二层的未知情况。

2．三次通过、一次未通过，在两种模型下分别有多常见

假设小叶依次得到“通过、通过、通过、未通过”，把这串结果记为 $D$。在零点四模型下，这一有序序列的概率为：

在零点八模型下：

第二个数更大，意味着这组观察与高通过率模型更相容。但两个模型都有可能产生它，不能因为四次中有三次通过，就直接宣布低通过率模型已经不可能。

这也解释了似然为什么不要求加起来为一。零点零三八四与零点一零二四，分别在不同的通过率假设下计算同一串结果；它们不是在同一个条件下，为互斥结果分配的两份概率。

如果记录只保留“四次中三次通过”，不区分未通过出现在第几次，就需要把四种顺序加起来。在当前条件下，两种模型的似然都会乘以四；它们的相对比值不变，所以后验不变。我们这里保留顺序，是为了后面看每一步怎样更新。

3．把对方法的看法更新出来

将两种似然分别乘以先验：

乘积之和为零点零七零四。高通过率模型的后验为：

这句话应该完整地读成：“在当前只比较两种通过率、使用相同先验和任务模型的条件下，观察这四次结果以后，高通过率模型的后验概率约为百分之七十二点七三。”

它不能缩短成“这套流程通过率就是百分之七十二点七三”。前一个数是在评价一个假设的权重，后一个说法却把它误当成了任务通过率本身。未知参数与数据的似然、先验和后验怎样配合，可参见 Statlect 的贝叶斯推断说明。

如果小叶连续观察前三次，每次通过都给高模型提供两倍于低模型的似然：零点八除以零点四等于二。起初赔率一比一，连续三次通过后变成八比一，高模型概率为九分之八。第四次未通过的似然比却是零点二除以零点六，即三分之一；赔率退回八比三，概率变为十一分之八。

这条变化轨迹很直观：前三次成功增加信心，第四次失败让信心回调。回调并不抹去前三次成功，前三次成功也不能成为拒绝承认第四次失败的理由。

4．下一次能否通过，要再做一次预测

现在小叶准备处理第五份材料。他更关心的可能是：“下一次首次结果通过核验的概率是多少？”

在模型中，如果 $\theta =0.4$，下一次通过概率为零点四；如果 $\theta =0.8$，则为零点八。当前对两种假设的后验权重分别是十一分之三与十一分之八，所以：

这叫后验预测：对不同模型给出的未来结果概率，按更新后的模型权重加权。使用后验权重通过全概率进行预测的做法，见 MIT 18.05 关于概率预测的讲义。

把几个数放在一起，它们回答的问题各不相同：

原始样本比例描述已经发生的记录。模型后验描述对未知情况的认识。预测概率则面向尚未发生的结果。它们有关联，却不是同一个量。

如果小叶直接选择目前更可能的高模型，把下一次通过概率报成百分之八十，就没有把仍然留给低模型的概率纳入预测。加权方法允许他倾向于较好的解释，同时保留尚未被排除的另一种情况。

5．方法发生变化时，应该重新看待记录

接下来，小叶检查那次未通过的结果，发现题干缺少必要条件，于是调整了材料预处理方式。此后数据可能来自一个新的流程，不能一边说方法已经改进，一边又默认此前的固定通过率模型原封不动地适用。

旧记录仍有价值：它能帮助识别问题，也能提供改进前的参照。新流程则需要开始积累自己的表现。是否以及怎样借用旧经验，要看两者的联系，不能仅按时间把所有成功失败无差别相加。

同样，如果后面连续换成更难的材料，表现下降也未必意味着流程本身突然退步。贝叶斯计算可以整齐地更新一个模型，但材料、规则或方法变化，仍需要我们在现实中识别。

对大学生来说，这个例子的用处不在于每次都坚持只用两个候选通过率，而在于形成一种学习方式：把试用结果留住，认识逐步更新，用更新后的认识安排下一轮实践。开始时并不需要先拥有一份永远准确的方法排名。

八、从概率走向安排：哪些条目值得现在就查

1．同一个后验，还要结合行动的代价

回到引用核查。小叶手头有许多条目，他需要决定先查哪些。问题概率高，通常更值得关注，但具体安排还与提前检查的投入、延后发现的返工有关。

为了只看清时间安排，设定一个新的虚构成本模型。报告提交前，两种安排都会进行最终核查，假定最终核查能够找出全部这类问题；这项共同工作时间不计入以下差额比较。

方案甲是现在增加一次检查，花两分钟，并假定这次检查能准确判断原文支持关系。如果发现问题，立即修正再花三分钟。方案乙是现在不增加检查；若确有问题，等最终核查时发现，会额外产生二十分钟的修改、重新排版与协调返工。若没有问题，则没有这项额外返工。

这些数字和准确检查条件只服务于教学。比较的是额外时间，而不是把某一方案的全部工作与另一方案的部分工作混在一起。

令当前问题概率为 $p$。现在检查的预期额外时间为：

两分钟总会发生，三分钟只在存在问题时发生。延后处理的预期额外时间为：

提前发现一条问题，可以把二十分钟的延后返工换成三分钟的即时修正，省下十七分钟；没有问题的条目得不到这项节约。是否值得逐条多花两分钟检查，要看问题出现的可能性有多大，能否让预期节约覆盖这项投入。若只以这项预期时间为准，现在检查更合算的条件为：

这个门槛来自行动条件，不是贝叶斯公式规定“超过百分之多少就必须行动”。它连接了我们在经济学中讨论的机会和代价，与这里对情况概率的更新。

2．检查信号为什么能改变先后顺序

首次被标记的条目，问题概率为二分之一。现在检查的预期额外时间是三点五分钟，延后是十分钟。它值得优先处理。

没有被标记的条目，问题概率为八十二分之一。现在检查的预期额外时间约为二点零四分钟，延后约为零点二四分钟。在这个限定的时间模型中，它不值得优先增加一次即时检查，仍然进入已经安排好的最终核查。

两种条目的最终正确性要求没有变化，变化的是现在把额外时间花在哪里。检查器即使不是直接给出最终答案的工具，也可能通过改变问题分布的判断，帮助小叶更合理地安排注意力。

如果某类引用一旦晚发现，会牵动整段论证，延后返工更大；或者提前查看原文只需很短时间，那么相应门槛会下降。反过来，某种额外检查很耗时，提前与稍后修正又差别不大，就未必值得对每一条立刻追加。

这也解释了为什么同样百分之十的问题概率，在不同任务中可以对应不同决定。贝叶斯更新回答“根据证据怎样认识情况”，决策还要回答“在这种认识下，采取不同动作会发生什么”。

3．有时先做一个小检查，就能让后续选择更清楚

假设某条被标记，小叶暂时不知道是引用选错，还是主张扩大了范围。打开对应原文，先看结论句的适用对象，可能很快区分这两种情况：如果原文谈的是特定课程，生成主张却写成所有课程，范围变化就已经有了具体依据。

这时他不需要再让 AI 连续给出五份“是否可靠”的总评。更有价值的是取得能够区分现有解释的观察，然后据此修改具体内容。

这一行动并不要求小叶为每种原文措辞都估算似然。他已经在运用同样的思路：已有哪几种可能，哪一个观察更能把它们分开，弄清楚以后哪一步会随之改变。

九、把更新变成日常习惯，而不是额外的一套仪式

贝叶斯公式很适合展示判断如何改变，但日常工作未必都有完整概率表。它更深一层的价值，是让我们理解信心的来处，并保持证据、判断与行动之间的联系。

小叶最初觉得一种 AI 方法“可能可行”，就选几份有代表性的材料试用。第一次得到通过核验的结果，他可以增加信心，同时记下成功发生在什么条件下。随后碰到失败，他再区分是方法的局限、输入材料变化，还是自己对目标的表述不清。

如果实际运行得到的结果与预期不符，调整认识应依据实际结果及其发生条件。AI 对失败原因给出一段顺畅解释，可以帮助形成待查的假设，但解释是否成立，还要看后续观察。

例如小叶怀疑题目失败是因为材料缺少术语定义。他补充定义后重新处理可比材料，关注错误类型有没有相应改变。若变化符合预期，这个解释得到更多支持；若同类错误照旧，或者新的材料表明原因在别处，就继续调整。一次前后比较仍可能受到材料差异等因素影响，认识可以逐步积累，不必因为暂时无法得到完美证据而停止尝试。

记录也可以很轻：当时怎样判断，实际做了什么，得到什么结果，下一次准备据此改哪一处。这样留下来的不是一个“这个 AI 很好用”的笼统印象，而是一组与材料和流程相连的经验。

本章的引用检查、方法试用和时间安排，看起来是三类工作，背后却有共同关系：背景决定出发点，证据改变相对判断，新的判断支持下一步行动，行动又可能带来新的证据。熟悉这种关系以后，概率知识就不再只是一道算完后放下的题。

十、练习与参考分析

练习一：一句工具介绍遗漏了什么

某检查工具介绍：“我们能检出九成引用问题，所以被标记的内容有九成不可靠。”小叶正在处理本章最初设定的材料：原文不支持的概率为百分之十，检出率为百分之九十，误标率为百分之十。

请解释介绍中的推理错误，计算标记与未标记时的问题概率，并说明这两个结果能否决定直接删除哪些内容。

参考分析：

“检出九成”表示 $P(S\mid H)=0.9$，介绍中的“被标记后有九成问题”却是 $P(H\mid S)=0.9$。条件方向变了，还遗漏了原始问题比例和正常条目产生标记的路径。

问题条目贡献的标记概率为零点零九，正常条目也贡献零点零九，标记后问题概率因此为二分之一。未标记时，问题条目贡献零点零一，正常条目贡献零点八一，问题概率为 $0.01/0.82=1/82$。

两个结果适合帮助安排核查，尚不能直接代替原文判定。尤其是被标记的条目中，按模型仍有一半受到原文支持。并且本章的 $H$ 指引用关系不成立，不自动等于主张在任何语境中都为假；可能需要换引用、收窄主张，也可能需要删除，具体修改取决于核查发现了什么。

练习二：怎样让标记中的问题比例达到九成

仍设先验问题概率为百分之十、检出率为百分之九十。小叶希望标记后的问题概率至少达到百分之九十，误标率 $f$ 至多可以是多少？

如果误标率降到百分之一，是否达到要求？再说明，这一要求为什么不能保证检出所有问题。

参考分析：

标记后问题概率为：

要求它至少为零点九，得到 $0.09\ge 0.081+0.81f$，即 $f\le 1/90$，约为百分之一点一一。误标率百分之一低于这一上限，此时后验为十一分之十，约百分之九十点九一，达到要求。

这里改善的是“标记中有多少确实有问题”。检出率仍然是百分之九十，原有问题中还有一成没有被标记。标记变得更集中，不意味着所有问题已经被发现。

这项计算也依赖百分之十的先验。换成问题本来更少的群体，要得到同样的标记后比例，误标率需要进一步降低，不能只把门槛写成所有任务通用的工具指标。

练习三：很强的证据，为什么还没有让某种情况成为多数

另一批材料的先验问题概率只有百分之一。某个标记的似然比仍然为九。请用赔率计算后验，并判断“证据很支持问题存在，所以问题一定比没问题更可能”是否成立。

如果另一个信号在有问题和没问题时都以百分之六十的概率出现，它会怎样改变起点？

参考分析：

百分之一的概率对应赔率一比九十九。乘以似然比九，变成九比九十九，也就是一比十一。因此后验为 $1/(1+11)=1/12$，约百分之八点三三，仍低于一半。

证据的方向与最后的判断不是一回事。它把原先的相对赔率放大了九倍，确实支持问题存在；但出发点很低，更新后“没有这种问题”仍更可能。要从一比九十九的先验赔率升到超过一比一，需要的似然比大于九十九。

另一个信号的似然比为 $0.6/0.6=1$，因而不改变先验赔率和概率。不能因为信号本身出现得频繁，就把它当成很有区分力的证据。

练习四：两份报告算不算两次证据

首次标记后，小叶的问题概率为百分之五十。第二种检查在首次已标记群体中的检出概率为零点八、误标概率为零点二。请分别计算第二次标记、第二次未标记的后验。

如果另一份报告只按首次标记改写文字，结果又是多少？为了把第二次真实检查与复制报告区分开，小叶应该关心什么？

参考分析：

第二次标记时，两种假设的权重为 $0.5\times 0.8$ 与 $0.5\times 0.2$，归一化后问题概率为零点八。第二次未标记时，权重为 $0.5\times 0.2$ 与 $0.5\times 0.8$，结果为零点二。

单纯复制首次标记时，给定首次标记，无论真实情况是哪一种，复制报告都会出现相同意见，条件似然比为一，后验仍为零点五。

小叶应当了解第二步有没有读取新的材料、执行新的检查，是否直接照抄前一份结论，以及给出的证据能否单独核对。工具名称不同、回答更长、语气更确定，都不能自动证明新增了同等分量的证据。

本题真实检查的零点八与零点二，已经明确限定在首次标记之后。如果手头只有第二种工具在全部材料中的平均表现，还不能不加判断地代入；需要弄清筛选后群体中的表现是否相同。

练习五：又失败一次以后，怎样调整对方法的认识

在第七节的两点模型中，四次结果“通过、通过、通过、未通过”已经把高通过率模型的后验更新为 $8/11$。第五次首次结果又未通过，且任务仍符合原来的可比、固定流程与条件独立设定。

求高通过率模型的新后验，以及第六次首次通过的预测概率。为什么不能简单说“之前已经通过了三次，再失败也没什么关系”？

参考分析：

第五次未通过，在高模型下的似然为零点二，在低模型下为零点六。因此：

低模型的新权重为十七分之九。第六次通过的预测为：

这一次失败在低模型下更常见，因此使判断向低模型移动。但过去三次成功仍保留在当前权重中，并没有被删除。新的结果应该改变认识，改变多少取决于它在候选模型下的相对可能性。

如果第五次其实换成了明显更难的材料，就应先检查是否仍属于原模型，不能把对任务条件的判断省略掉。这与因为不喜欢结果而拒绝更新，是两件不同的事。

练习六：同样的概率，任务安排为什么会改变

仍采用第八节的额外时间模型：即时检查两分钟，发现问题立即修正另需三分钟，延后发现需二十分钟返工。所有条目都保留最终核查安排。

请求出即时检查的概率门槛，比较首次标记与未标记的条目。如果某种引用牵动较多内容，延后返工改为四十分钟，门槛又会怎样变化？

参考分析：

即时检查更省预期额外时间，需要 $2+3p<20p$，所以 $p>2/17$，约百分之十一点七六；相等时，两个方案在这一指标上打平。

首次标记后 $p=0.5$，即时检查为三点五分钟，延后为十分钟，优先即时检查。未标记后 $p=1/82$，即时检查约二点零四分钟，延后约零点二四分钟；按本题限定目标，把它留到既定最终核查更合算。

延后返工增加到四十分钟时，条件变成 $2+3p<40p$，门槛降为 $2/37$，约百分之五点四一。例如先验百分之十的条目，在二十分钟模型中尚未达到门槛，在四十分钟模型中已经达到。

发生变化的是行动代价，概率可以完全不变。这说明概率更新与任务安排需要衔接：认识情况帮助我们判断不同结果有多可能，具体投入与后果则决定什么行动值得做。