实验、对照与因果判断

小叶给 AI 增加了一道“先找依据，再写答案”的要求，发现这次做出的阅读卡片更可靠了。接下来，他很自然地想把这套要求保存下来，以后一直使用。

这可能是一次有价值的改进。但在保存之前，还有一个值得弄明白的问题：这次结果更好，有多少是新方法带来的？

也许新要求确实起了作用，也许这次材料比较简单，也许小叶比上次更熟悉内容，也许模型这次恰好生成得比较好。几种解释还可能同时成立。我们不必等到把所有可能性研究完才采取行动，不过，如果能够安排一次更有说服力的比较，就有机会把“碰巧顺利”变成“知道什么办法在什么条件下比较有效”。

上一章讨论了观察结果中的不确定性。本章向前追问一步：这些结果是怎样产生的？如果分配任务的方式本身有问题，把平均数算得再精确，也可能是在精确描述一种误导。实验设计的作用，就是在收集结果之前，先为因果问题创造比较条件。

**本章小叶的全部案例、时间和效果数值均为虚构教学材料，不代表任何 AI 产品的实测表现。**八份阅读材料的模型会贯穿前半章，后面的四组合实验和截止交付案例另用新一批材料。

一、先把“有没有用”变成可以比较的问题

1．因果问题里，总有一个没有直接写出的比较

“AI 有用吗”很难直接回答，因为它没有说明 AI 用来做什么，也没有说明与什么办法比较。

同样是整理课程材料，可以比较完全手工与 AI 辅助，也可以比较两种 AI 工作流程；可以关心初稿生成速度，也可以关心把成果修到可交付状态的人工投入；可以关心第一次使用时的表现，也可以关心熟练之后的表现。这些问题都有意义，但答案不一定相同。

小叶这次选定的任务是：从一份课程阅读材料中制作一张阅读卡片，卡片写出核心概念、两个容易混淆的概念之间的区别，以及支撑这些说明的原文位置。卡片需要满足预先确定的验收要求，例如核心解释没有改变原意，引用位置确实对应主张，需要保留的限定条件没有遗漏。

他准备比较两种流程：

两种流程都使用同样的原始材料输入规则、工具版本和卡片要求。流程 B 多出的准备、指令组织、阅读证据表等人工投入，都计入时间。不能一边把 A 从头计时，一边等 B 的前期准备完成之后才开始计时。

本例的主要结果变量是“达到验收标准所需要的人工投入分钟数”。人工投入包括小叶实际进行准备、发出请求、阅读、核查和修改的时间，不包括他可以离开去做其他事情的纯机器等待。若他还在意多久能够交稿，就另外记录从开始到完成的日历时间；若调用费用影响选择，也另外记录。几个量回答不同的决策问题，不必硬挤成一个含义不清的“效率分”。

这样，问题就明确了：对于这批材料，在共同的验收要求下，采用 B 相比采用 A，平均能否减少小叶的人工投入，减少多少？

2．“对照”不一定是不做事

有人听到对照组，会以为必须找一组完全不使用 AI 的人。这取决于问题。

如果小叶已经稳定采用 A，真正需要决定的是是否改用 B，那么 A 就是合适的对照。完全手工当然也可以加入，但那会增加一个比较对象，也会增加实验成本。如果手工方案根本不在当前选择范围内，先比较 A 与 B 更接近眼前决策。

反过来，如果要向从来不用 AI 的同学说明引入 AI 的整体价值，只比较两种 AI 流程就不够。它没有观察原有手工工作方式，也就不能直接告诉我们引入 AI 比原来改善了多少。

对照的价值在于提供一个明确的替代安排。所谓“效果”，总是某种安排相对于另一种安排的效果；它不会脱离参照对象独立存在。

3．先规定结果，才知道是在改善什么

假如 A 用十分钟做出一张没有依据的卡片，B 用十五分钟做出一张依据完整的卡片，直接说 A 更高效，就忽略了交付物不同。

小叶可以固定质量标准后比较时间，也可以固定二十分钟预算后比较达到标准的比例。两种实验都合理。前一种问“把事情做成，要花多少人力”；后一种问“给定人力，做成的机会有多大”。若部分任务始终无法达到标准，前一种时间指标还需要补充截止与失败处理规则，不能悄悄把失败任务删掉。

为了把本章最核心的比较关系讲透，接下来的八份材料模型先采用一个简化条件：每份材料无论用 A 还是 B，最终都能达到相同验收标准；表中的时间已经包括全部必要人工投入。后面再讨论超时、漏记和中途更换方法。

这不是要求每次小实验都建立复杂指标体系。先用一句完整的话说清任务、替代方案和结果，往往就能解决不少含混。NIST 对实验设计的介绍也把明确目标、可改变因素和所测量的结果放在实验规划的起点。

二、同一份材料的两条可能路径

1．什么叫潜在结果

设想小叶还没有开始处理第七份材料。他可以使用 A，也可以使用 B。

在教学模型中，我们假定，如果从同样的初始状态采用 A，他会投入十八分钟；如果从这个初始状态采用 B，他会投入十二分钟。那么，这份任务使用 B 的节省就是六分钟。

这里比较的是同一个任务、同一个起点下的两条可能路径。它与“第七份材料比第六份材料少花四分钟”不同，也与“小叶今天比昨天少花六分钟”不同。后两种比较还混进了任务或者时间变化。

可以给这两条路径起一个简洁的数学名字。令 $Y_i(0)$ 表示第 $i$ 份任务采用 A 时的人工投入，$Y_i(1)$ 表示采用 B 时的人工投入。括号里的零和一表示两种方法，下标表示材料任务编号。它们叫作这份任务的两个潜在结果。

本章把节省记为：

因此，正值表示 B 节省人工，负值表示 B 增加人工。我们选这个方向，是为了让“节省三分钟”直接写成正三。阅读其他资料时，有些作者采用新方法减旧方法的顺序，符号会相反，所比较的实际问题没有变化。

潜在结果为因果比较提供了明确对象，相关定义可参看 Hernán 与 Robins 的教材《Causal Inference: What If》第一章。本文采用原创阅读卡片案例，不沿用教材案例。作者提供的教材与下载入口

2．为什么不能直接把两列都测出来

下面这张表给出八份材料的两个潜在结果。它是一张供教学使用的完整模型表。

“较简单”和“较复杂”来自开始前能知道的材料特征，例如篇幅、概念数量和跨段引用情况。小叶事先知道分组，不知道表里的两列时间。

我们作为模型的读者，可以看见两列；实际做任务的小叶，对每份任务通常只能观察到其中一个结果。如果第七份材料分到 B，他看见的是十二分钟。十八分钟属于“如果当初改用 A 会怎样”的另一条路径，没有在这次任务中实现。

让小叶再用 A 做一遍第七份材料，就能补上十八分钟吗？通常不能。第二次他已经读过原文、见过卡片，也知道上次检查出了什么问题。他已经不是从原来的起点出发。测出的会是“在做过 B 之后再用 A”的时间，未必是原先那个 $Y_7(0)$。

这就是因果比较的一项基本困难：我们关心两条可能路径之差，实际却通常只经历其中一条。增加一次操作不一定能够恢复没有发生过的起点。

本模型还暂时固定其他状态，忽略不同任务之间的学习、疲劳和生成波动。它的用途是单独看清任务分配怎样影响判断；实际实验要另外处理这些变化。

3．从个体效果到平均效果

如果这八份材料都使用 A，总人工投入为一百零四分钟，平均十三分钟；如果都使用 B，总投入为七十八分钟，平均九点七五分钟。

因此，这批任务的真实平均节省为：

也可以用十三减九点七五，得到同一个结果。平均差等于差的平均，是这里能够把个体效果汇总为总体效果的原因。

但三点二五分钟不是每份材料都能节省的时间。有的节省一分钟，有的节省六分钟。一个平均效果，概括的是指定任务集合里的平均改变。

如果我们通过适当实验估计出 B 平均更好，也不等于已经知道每份具体材料用 B 都更好。本表恰好设定每份材料都受益；实际数据里的正平均值，还可能来自部分任务大幅受益、部分任务略受损。整体选择与按任务分类选择，可以是后续不同层次的问题。

4．一个真实改善如何被观察成“更差”

现在假设小叶按直觉分配：简单材料用 A，复杂材料才值得用更完整的 B。

A 处理一到四号，平均时间是九分钟。B 处理五到八号，平均时间是十二点七五分钟。观察到的节省为：

按这个平均数，B 好像每份材料多花了三点七五分钟。可是完整模型告诉我们，B 对八份材料都有改善，真实平均节省是三点二五分钟。结论为什么反过来了？

因为这次比较同时改变了方法与材料难度。复杂材料本来就更耗时，又更容易被分给 B。材料类型既参与了方法选择，也影响时间结果。在这里，它是一个混杂因素：两组时间差混入了它的影响，无法直接当成方法效果。

如果反过来，简单材料都用 B，复杂材料都用 A，观察差就会是：

这次方向对了，幅度却夸大了。两种分配都用了八份材料，都认真记录了时间，都没有算术错误。问题出在它们给两种方法安排了不同的起跑条件。

图中每一行的橙色点都在蓝色点左边，表示模型里 B 对每份材料都少用时间。右边却显示 B 的观测均值更大，因为两根柱子来自不同难度的材料集合。

日常记录仍然有用。小叶可以从这些记录发现复杂材料更费时间，也可以据此提出改进设想。但若要比较两种方法，他需要给“方法之外的差异”一个更好的处理办法。

三、随机分配为什么有帮助，又为什么不会保证一次就看准

1．让分配不再跟着人的预期走

小叶可以先列好八份材料，再随机选出四份用 B，其余四份用 A。每一种四份材料的组合被选中的机会相同。这样，难度、他对方法的偏好以及其他没有记录的材料特征，都不再被有意用于决定某份任务属于哪组。

这是一种每组任务数量固定的完全随机分配安排。八份里面取四份，共有：

种分配。这里的七十表示 B 组可能拿到的不同材料集合，不是实验必须做七十遍。

为了展示一份可复现的分配，本章用固定种子的伪随机程序，在编号一至八中抽四个编号，得到 B 组为二、四、七、八号，A 组为一、三、五、六号。固定种子用于复现示例，不是寻找有利结果；如果换种子反复抽到满意为止，实际采用的分配规则就已经变了。

根据模型表，这次实际能够看到：

于是估计的平均节省为一分钟。它与真实的三点二五分钟仍然有差距。

2．随机化的承诺不是“所有条件都完全一样”

随机分配并不会让不同材料变成同一份材料，也不会保证这一次正好把所有影响时间的特征分得完全一致。

它的重要性质是：在事先规定的分配机制下，估计不会系统地偏向某一方向。换句话说，把所有允许分配对应的估计值，按各自概率取平均，会回到真实平均效果。

在这个小模型里，可以直接看出原因。每份材料进入 A 的概率都是二分之一。A 组平均数的分母固定为四，因此，对所有随机分配求期望时：

同样，$E({\overline{Y}}_B)=9.75$。两组平均数之差的期望就是三点二五分钟。这个推导使用了期望可以逐项相加的性质，不需要假定八份材料的分组标记相互独立；实际上，固定四份进入 B 后，这些标记本来就有关联。

这就是本例中随机分配估计的无偏性。它指整个分配规则的长期平均表现，不是给某一次实验结果盖上“真值”的印章。J-PAL 的随机分配说明也区分了分配前的无偏性与有限样本中仍会存在的差异。

3．把七十种结果都摆出来

由于教学模型给出了全部潜在结果，我们能够枚举七十种分配。在每一种分配下，分别取出被分给 A 的那列时间和被分给 B 的那列时间，计算 A 均值减 B 均值。

结果中，最小的估计是负三点七五分钟，最大的估计是十点二五分钟。七十种分配有十种会得到负值，尽管模型中的真实节省为正，而且每份材料都受益。

这十种负值不说明随机化失效。它们说明八份材料仍然是一个很小的实验，材料本身的差异足以淹没部分方法差异。一次随机实验既可能估得偏低，也可能估得偏高，所以还需要上一章讲过的不确定性意识。

这里枚举的是“给定全部潜在结果时，估计随分配变化的分布”。现实中潜在结果没有全部公开，不能照搬这张表直接算出真实误差。这也不是上一章假设检验的零假设分布：本例明确设定方法有效，没有假设每份材料两种方法结果相同。

理解这个区别，就不会把“随机分配做得对”与“目前样本足够作出很精细的判断”混为一谈。前者涉及比较依据，后者还涉及差异规模和估计波动。

4．随机抽样和随机分配，分别随机了什么

随机抽样是在决定“谁进入这次研究”。随机分配是在决定“进入研究的对象分别采用什么方法”。

小叶可能只拿自己某门课的八份材料做实验，然后随机分到 A、B。这样有助于估计这批材料上的方法差异，却不自动代表所有专业、所有语言或所有学生。

也可能从大量课程材料中随机抽取一批，但之后仍然把简单材料给 A、复杂材料给 B。抽样做得比较好，并不能修复方法比较的混杂。

两步可以结合，也可以只做其中一步；关键是知道它们分别支持什么判断。这个区分可参看 Innovations for Poverty Action 的随机化教程中关于随机抽样与随机分配的说明。

四、已经知道材料难度，为什么还要把它交给运气

1．分块随机：先放在相近范围里，再随机

前面的随机分配有一种明显波动来源：某一组可能拿到更多复杂材料。小叶已经知道哪些材料较简单，哪些较复杂，没有必要忽略这个信息。

他可以在一至四号中随机选两份用 B，在五至八号中再随机选两份用 B。这样，A、B 都一定有两份简单材料和两份复杂材料；每一类内部采用哪种方法仍由随机分配决定。

这种先组成相对可比的小组、再在组内随机的安排，称为分块随机设计，这里的“块”也常被称为区组。NIST 用这种设计处理实验中已知的背景差异，例如不同批次、设备或人员条件。NIST：随机区组设计

它没有消除每一类内部的所有差异。例如三号仍可能比一号耗时，概念熟悉程度也未必相同。它只是把已经知道且有用的一部分差异先安排好，使方法比较少受这一部分偶然失衡影响。

分块之后，允许的分配数变为：

小叶可以先分别比较简单材料和复杂材料，再按目标任务构成合并。本例两类各占四份，所以总体估计为两类估计的等权平均。因为各类都按一半一半分给 A、B，这又恰好等于两组全部材料的直接均值差。

2．配对：把比较进一步放在相近的两份材料之间

假如根据事先可见的篇幅、主题和引用复杂度，小叶还能把材料组成四对：一与二，三与四，五与六，七与八。

每一对里随机决定哪份用 A、哪份用 B，不同对独立分配。这就是一种配对随机设计。它可以看成每个块只有两个对象的分块设计。

例如某次允许的分配是二、四、五、七号采用 B。这不是前面固定种子的那次分配，而是用来讲对内计算的另一个安排。得到的比较是：

四个差的平均是四分钟。这个差是相近材料之间的观察比较，不是同一材料的真实个体效果。例如最后一对观察到八分钟，不代表七号真实节省八分钟；完整表告诉我们七号真实节省六分钟。剩余的材料差异仍然存在。

配对的合理性来自“配成一对的两个任务在开始前足够相近”，不是因为计算时把它们排在同一行就会相近。先看到结果，再把有利的结果凑成对，会使比较失去原来分配设计的依据。

3．三种设计在同一模型上差多少

本例四对各有两种分配，共有十六种安排。把完全随机、分块随机、配对随机的全部允许分配都枚举出来，可以得到：

这里的标准差描述估计值随着重新分配而改变的幅度，不是每组时间的标准差，也不是把一次结果除以样本量得到的数。

三种分布都围绕三点二五分钟，但在本模型里，分块和配对明显缩小了波动。这些设计没有额外增加材料，只是使用了开始前已经掌握的信息。

也不能把这张表推广成“配对永远最好”。如果按与结果无关的特征配对，收益可能很小；如果为了找看起来很相似的材料付出大量时间，可能不划算；如果删去难配对的重要任务，还会改变研究对象。这里的结果来自本章明确设定的八份潜在结果。

对于小叶，最有用的思路是：先找出最可能影响结果、又能够事先知道的一两个差异，把它们安排进实验。无需为每份材料建立几十项档案，才有资格开始。

4．背景不同，也可能意味着方法效果不同

从完整模型还可以看出，B 对简单材料平均节省二点二五分钟，对复杂材料平均节省四点二五分钟。

这不仅是说复杂材料本来更费时间，也是在说方法的平均作用在两类材料上不同。前者是背景水平差异，后者是效果随条件变化。二者可以同时存在。

如果以后小叶的任务变成八成简单、两成复杂，并且两类内部的方法作用保持不变，那么新任务构成下的平均节省是：

原来的三点二五没有算错，新平均数也没有否定方法有效。任务构成改变了，值得采用的程度可能跟着变化。若复杂材料的内容和工具条件也改变，仅仅重新加权还不够，需要新的观察。

这把实验与前面的经济学、管理学连接起来：因果比较帮助我们估计方案造成什么改变，实际选择还要考虑将来遇到什么任务，以及这些改变值不值得投入。

五、实验单位、重复与顺序：数清楚究竟比较了几次

1．表格的一行，不一定就是一次独立实验

前面的分配单位是一份材料任务。每份任务从规定的初始状态开始，接受 A 或 B，最后得到一个人工投入时间。这里，任务是我们施加方法的实验单位。

实际工作里，实验单位未必是一张卡片。假如小叶一次把十份材料交给同一个持续运行的 AI 工作流程，流程会共享一份不断更新的概念表，那么这十份材料的处理可能相互影响。

设第一份用 B 的材料生成了一份较好的证据索引，后面用 A 的材料也读取了这份索引。后面任务虽然被贴上 A 标签，实际处境已经受到 B 的影响。它不是“没有使用 B 的独立任务”原先应有的比较条件。

这种一个单位受到其他单位所用方法影响的现象，叫作干扰，从对照组受到影响的角度也常称为溢出。它并不意味着项目运行得不好，共享知识在实际生产中很可能有价值；只是原先的两方法比较需要重新定义。

小叶可以让任务分别使用隔离的上下文和固定资料副本；也可以把共享概念表的整个批次作为实验单位，让不同批次分别采用完整的 A 或 B。如果关心的本来就是团队共享带来的总效果，后一种比较反而更接近实际问题。选择分配单位时考虑这种相互影响，是 J-PAL 关于随机化单位与溢出的说明中的一个关键问题。

如果一共只有四个批次，每批十张卡片，虽然能够得到四十行卡片记录，随机安排的批次仍然只有四个。不能把这四十行当作四十个独立分配的批次，用普通独立观测公式制造出很小的误差范围。

2．重复运行与重复评分，是不同的信息

小叶把同一张卡片交给自动评分工具评三次，得到三个分数。这可能帮助他了解评分波动，却没有让制作流程真正运行三次。

他把同一段固定答案复制十遍再评价，也没有增加十次新的生成经历。如果问题是“方法换了之后，生成质量是否提高”，有效的信息应当来自重新执行相应生成流程，而不是复制输出文件。

再进一步，同一份材料在新的独立上下文中生成十次，主要增加了对这份材料生成波动的认识；换十份材料各生成一次，则主要增加了对材料之间差异的认识。它们都可能有用，不能因为总调用数一样，就认为证据内容相同。

例如，小叶发现某种流程偶尔会遗漏一个关键限定词。他想知道这种不稳定是否频繁发生，可以对同一材料做几次独立运行。如果想知道方法是不是只对定义清晰的短材料有用，就需要加入不同类型的材料。问题不同，重复方式也应不同。

NIST 的实验设计资料把真实重复和随机运行顺序作为设计中的基本安排。读者可以把“重复”理解为在规定条件下重新经历要研究的过程，而不仅是多得到几行数字。NIST：完全随机设计

3．先后顺序本身也会改变结果

如果小叶上午一直做 A，下午一直做 B，方法变化就与时间变化绑在了一起。下午可能更熟练，也可能更疲劳；机器等待情况也可能不同。

一种简单改进是在允许的条件下随机安排执行顺序，使两种方法分散在不同时间段。若上午、下午差异明显，也可以把时间段作为区组，在每段中安排两种方法。这样比较时，就不必完全依靠“上午下午没有别的区别”这个假设。

不过，随机顺序不能自动解决所有学习问题。尤其是同一份材料先 A 后 B，小叶会把第一次学到的内容带到第二次。反过来先 B 后 A，也可能产生不同程度的帮助。这里存在延续效应：前一次经历改变了后一次的起点。

如果前后只有一个与方法无关、对所有情形相同的熟练度变化，把 A 后 B 与 B 后 A 的顺序均衡安排，可以抵消这类共同时间影响。但如果 B 特别擅长帮助小叶理解材料，因而对随后 A 的帮助更大，简单交换顺序就未必足够。

对于包含人工阅读的任务，采用不同但事先相近的材料做配对比较，往往比反复要求同一个人“假装自己没读过”更自然。对于只比较机器输出的任务，可以固定输入、隔离运行、重复生成；但它回答的是机器流程表现，不能直接替代对人的学习与工作时间的研究。关于前后交叉比较所需的条件，可参看《Causal Inference: What If》第二章的交叉实验说明。教材 PDF，第16页

4．初次使用与熟练使用，应当有各自清楚的起点

新流程刚开始往往需要理解格式、准备模板和适应交接。如果小叶想知道今天改用 B 要付出什么，第一次使用的这些投入就很重要。

如果他想比较长期稳定运行时的效率，可以先用实验之外的材料熟悉两种流程，再开始正式比较。这样估计的是熟练程度大致稳定之后的方法差异。

两种比较都不应该把对方判为“不公平”。一次性学习成本和长期执行成本本来就是不同问题。把起点写清楚，还能与经济学中的固定投入和重复收益接起来：即使 B 每次节省三分钟，也需要知道准备它的成本要经过多少次使用才能收回。

六、一次改了两个地方，怎样理解各自的作用

1．先判断整体值不值得，再按需要拆开

小叶可能一次性给流程加入证据索引、额外复核和输出模板。若他的决策是“要不要采用这整套流程”，完整新流程与原流程的比较完全有价值。

即使这个实验做得很好，它通常也只能告诉我们整个安排的效果，不能直接说明其中哪一步贡献最大。整体更好，并不意味着每个新增步骤都有效；有的步骤可能是关键，有的只是附带，有的还会增加负担。

因此，“一次只能改变一个变量”并不是所有实验的通用起点。先比较整个候选方案，还是拆开研究各组成部分，要看小叶准备作出什么决定。

现在他已经有理由进一步探索：证据索引与额外复核，是否需要同时存在？于是考虑两项可以分别开关的因素。

X 表示“是否先列出主张与原文位置的证据索引”；Z 表示“初稿之后，是否增加一次单独的 AI 复核步骤”。无论 Z 是否开启，小叶最后都按照共同要求核查、修改，直到验收。Z 增加的是一道额外步骤，没有取消任何一组的最终验收。

2．四个组合，让“单独有效”和“一起有效”都能被观察

两项因素各有开、关两种水平，一共组成四种流程：

这种把所有水平组合都纳入比较的安排，叫作全因子设计。这里是最简单的二乘二设计。它不是说把全部可能的 AI 技巧都排列一遍，而是针对两项有理由关注的改变，补齐四种组合。NIST：双水平全因子设计

设小叶拿另一批十六份材料，事先固定流程和计时规则，随机分为四组，每组四份。下面是为了教学构造的一次观测表。它与前面公开全部潜在结果的表不同，这里只列各任务实际分配到的组合及其结果。

所有值都计入新增步骤需要的人工操作和最终修订，也假定每份都达到同一验收标准。这些均值是虚构的一次样本结果，不是四种方法已被证明的恒定真实时间。

3．交互作用：一个因素的效果随着另一个因素改变

先比较没有额外复核的情形。增加证据索引后，观察均值从十四变成十二，少用两分钟。

再比较有额外复核的情形。增加证据索引后，观察均值从十三变成七，少用六分钟。

同一个“增加证据索引”的改变，在两种复核条件下对应的差异不同。这就是这里的交互作用：一个因素的效果取决于另一个因素的水平。本文讨论的是人工分钟数的加减差异；换成比例或其他量表，交互的表达也可能变化。

如果两项改变的节省只是简单相加，单独索引省两分钟，单独复核省一分钟，那么一起使用应该从十四降到十一分钟。但这次样本中一起使用的均值是七，比这种简单相加的预测又少四分钟。

写成时间变化的差之差，就是：

也可以写为 $7-12-13+14=-4$。负号表示在时间这个结果上，两项组合带来了额外降低；若采用“节省”为正的表述，就说比简单相加多节省四分钟。

图中两条线不平行，直观显示了这次样本里的条件差异。它提示值得进一步核查交互，不能仅凭四个均值就断言总体交互已经确定。每组材料有限，重复生成也可能波动，判断可靠程度仍需与设计相符的不确定性分析。

4．平均效果有用，但可能隐藏组合条件

若把 Z 的两个水平等权平均，增加 X 的平均时间变化为：

同理，增加 Z 的平均时间变化为负三分钟。

这两个平均数能概括整个四组合实验，但如果小叶决定永远不使用额外复核，那么选择 X 时最相关的比较是十四与十二，而不是跨两种 Z 水平平均之后的四分钟。

同样，看到“复核平均省三分钟”，也不能把它理解为在任何流程中添加复核都省三分钟。它是在这个设计指定的其他条件组合中取的平均。

为什么两者可能配合得更好？一种合理解释是：索引给复核步骤提供了可定位的证据，复核因此更容易指出准确的缺口，减少小叶后面的查找与重写。这是对机制的假设，四个均值本身还没有证明它。小叶可以查看过程记录，了解错误发现发生在哪一步；如果机制判断影响下一次设计，还可以安排更针对性的比较。

5．删除步骤的实验，回答的是“在当前组合中去掉它会怎样”

如果小叶只从本次观察均值最低的完整流程 11 出发，去掉索引后变成 01，观察时间从七增到十三。他会说索引贡献六分钟。

这个说法若写成“在已有额外复核的流程中，保留索引对应六分钟的平均改善”，就很清楚。若把它写成“索引在任何流程中都贡献六分钟”，就扩大了范围。前面已经看到，没有额外复核时，对应差异是两分钟。

工程里常用去掉一个组件的办法判断组件作用，这类比较很方便，也有价值。理解交互之后，我们会更准确地读它的结论：组件作用依赖它所在的系统。并不需要把每个有用步骤强行分配一个脱离条件的固定贡献率。NIST 关于交互的说明提供了因素与组合效应的进一步讨论。

七、分组正确以后，还要把实验真正执行成原来要比较的样子

1．测量方法会参与制造结果

小叶比较两种流程做出的卡片质量。如果他知道哪张来自自己偏爱的 B，可能会对 B 的含混表达作更宽容的解释，也可能因为特别想找问题而查得更严。

一种可行安排是：给卡片换成不显示流程的编号，以随机顺序提交给核查者，同时提供相同原文和同一份判定规则。让核查者尽可能不知道分组来源，这叫作盲法评价的一种做法。它要减少的是评价过程中由预期带来的差异。

但隐藏标签并不保证完全隐藏方法。有些输出格式会暴露流程，有些任务的操作人必然知道自己正在使用哪种方法。小叶可以如实记录做到什么程度，无需为了形式宣布“完全盲测”。

若用 AI 评分，也要问评分依据是什么。一个偏好结构整齐、语言流畅的评价器，可能更喜欢有漂亮证据表的答案，却没有核对证据位置。流程标签遮住了，指标仍可能没有测到想要的内容。

因此，小叶应先确定重要主张怎样对照原文核验，再考虑谁来评价、是否隐藏来源。测量的含义不是由“人工评分”或“AI 评分”这几个字自动保证的。

2．未返回、未通过与没记录到，不能混成一回事

考虑另一批二十份任务，随机分到 A、B 各十份。小叶事先规定：主要结果是在截止时间之前交出通过验收的卡片。

这次 A 的十份都返回了，八份通过；B 只返回六份，这六份全部通过，另四份超时没有交付。

如果只看返回结果，A 的通过率是百分之八十，B 是百分之百，好像 B 更好。但按预先规定的任务交付目标，A 是八成成功，B 是六成成功，观察到的是 B 低二十个百分点。

这里 B 的四份超时不是未知的交付状态，它们已知没有在截止前交出合格成果，所以属于这个指标上的未成功。把它们删掉，会把“完成任务的能力”换成“已经返回的成果中有多大比例合格”。

如果问题改成“未返回的卡片假如生成出来，内容会不会正确”，那四份的内容质量就没有被观察到，不能把超时直接解释成内容错误。

还有一种情况是卡片在截止前返回了，但记录文件丢失，后来不知道它是否通过。这才是主要结果的缺失。需要尽量找回记录，并说明剩余缺失如何影响比较，不能仅因为它在 B 组就记为通过，也不能仅因为没有记录就断言实际失败。

3．中途换方法后，原来分组的信息仍然有用

假如部分分到 B 的复杂任务做不下去，小叶中途改用 A 救回来。结束时，如果把这些任务全部重新归进 A 组，再说 A 组更慢，很容易让 A 替 B 承担了困难任务和前期失败成本。

一种有用的分析方式，是保留原分配，比较“起初安排采用 B 的策略”与“起初安排采用 A 的策略”的整体结果，包括后来实际发生的回退和补救。这常被称为按原分配进行的意向性分析。

它回答的是分配策略在实际执行条件下的效果，不自动等于每份任务严格完成纯 B 与纯 A 的效果。如果小叶关心回退允许时哪种起始策略更好，这个问题正合适；如果关心严格执行 B 的独立作用，就需要进一步的设计与假设。

这里至少要保留三项信息：原来分到哪种方法，实际经历了哪些步骤，最终结果怎样。原分配不会替我们补回丢失的结果，也不会让相互干扰自动消失。J-PAL 的数据分析说明分别讨论了原分配效果、未遵循分配与结果流失，三者需要分清。

4．边探索边修改，与固定方案验证，可以前后衔接

小叶在试用时发现 B 的证据表太长，于是改格式；发现某个要求含混，又改指令。这是正常的改进过程。

不过，如果前四份使用旧 B，后四份使用新 B，最后合成一个没有版本说明的“B 组均值”，别人就不知道实际比较了什么。更自然的做法是把这一批作为探索记录，选定一个准备采用的版本，再用新的材料做一次相对固定的验证。

探索阶段可以比较灵活，因为任务是找到值得研究的方案；验证阶段尽量固定主要问题、流程和结果口径，因为任务是估计选定方案的表现。它们不必相互排斥，也不需要在探索开始之前就把未来所有做法锁死。

这同上一章的多次比较问题有关。试了许多版本后挑最好的一次，其数值常带有幸运成分。新材料上的验证，让原来帮助我们挑选方案的数据，与检验最终方案的机会分开。

八、把因果思路变成一项学生能够完成的改进

1．一次小实验可以从一张记录表开始

小叶不必首先搭建完整评测平台。他可以挑一项每周重复发生、结果能够具体检查的任务，写下一段比较约定：

“我比较直接起草与先列证据两种阅读卡片流程。两者使用相同材料输入规则与验收要求。先用另一些材料熟悉操作，再把本次材料按事先知道的难度分组，在各组内随机分配方法。主要记录达到标准的人工投入，同时保留截止状态、修改问题和必要调用费用。”

随后准备一张表：

字段不必越多越好。每多一项记录，都应当有助于解释结果或者支持接下来的选择。对于一个简单的个人实验，几项关键记录往往比一套没有认真填写的庞大表格更有用。

2．小实验首先改善判断，不必承担无限推广

八份材料足以帮助我们理解设计，也可能发现流程中一个明显问题，但不能据此声称所有大学生都应该采用 B。

回到前面完全随机分配、观察到平均节省一分钟的那次示例，可以把结论写成：“在这次选定材料和操作条件下，B 组平均少投入一分钟；样本很少，仍可能受材料差异影响。我会保留原验收要求，在下一批复杂材料上继续试用，并记录时间差是否主要出现在原文查找和返工环节。”

这句话同时保留了观察、尚待核查的问题和下一步行动。没有把一次结果升级为普遍规律，也没有因为证据暂时有限就否认它对行动的价值。

若改善幅度大、重复任务多、转换成本低，小叶可以先小范围采用并持续记录；若换流程代价较高，或者失败会造成大量返工，则更值得增加验证。这部分取舍来自经济学中的信息价值与试验成本，不是由统计显著与否单独决定。

3．没有随机实验时，也可以把比较问得更好

有些现成记录无法重新随机分配。例如小叶已经使用旧流程一个月，新流程也用了一个月。他仍然可以列出前后材料类型、熟练程度、验收要求和工具条件，检查变化是否主要集中在预期受到影响的环节。

这种分析能够削弱部分替代解释，也可能发现原结论完全依赖某类材料减少。但如果重要差异没有被测量或无法排除，就要把结论写成带条件的支持，而不是伪装成已经随机化的实验。

也不是把所有变量都放进统计公式就会更可靠。材料难度发生在方法选择之前，是本例要处理的背景因素；由 B 生成的证据表质量发生在采用 B 之后，可能是方法产生作用的中间环节。如果研究整体流程效果，却要求两组的证据表质量完全相同，可能把正在研究的改善路径一起排除掉。

因此，使用统计调整之前，要先理解变量在事情发生过程里的位置。软件可以帮助计算，决定“这个比较代表什么”的仍然是对任务过程的判断。

4．实验是在积累可以解释的经验

没有实验思路时，我们容易记住成功的某句话、某次设置或者某个步骤。下次失效，又只好继续收集新的诀窍。

有了本章的思路，小叶能够逐渐形成更具体的经验：先列证据在哪些材料上节省核查时间，与什么复核步骤搭配更好，哪些时间成本只是首次准备，哪些失败来自工作流程本身。

这些认识不要求他在使用 AI 之前先成为实验设计专家。每次认真安排一个比较，把方法差异与背景差异多分开一点，经验就会更容易解释，也更容易迁移到下一项任务。

九、练习与参考分析

练习一：认真计时，为什么仍然可能比错

小叶用 A 处理主案例的一至四号材料，用 B 处理五至八号材料。计时没有漏项，验收要求也相同。

请计算观察到的平均节省，解释它为什么与模型真实平均节省方向相反。再说明，把每份已有记录复制十遍，是否能解决这个问题。

**参考分析：**A 的平均时间为九分钟，B 为十二点七五分钟，观察节省为负三点七五分钟；模型的真实平均节省为三点二五分钟。观察差比较的是不同难度的两组任务，既包含方法改变，也包含材料构成差异。

复制记录不会增加新的任务经历，不会补上每份材料未观察到的另一条路径，也不会改变原有分配。即使采用更多同样的“简单给 A、复杂给 B”的任务，也可能把这个混杂比较描述得更加稳定，不能据此恢复方法本身的效果。

一个改进是让两种难度内部都有 A、B，并随机分配。它在数据产生之前改善比较依据，而不是在原有平均数后面多加小数位。

练习二：随机实验为什么没有恰好得到三点二五

采用正文随机分配结果，B 得到二、四、七、八号。请计算估计的平均节省，并解释它与模型真值不同是否说明随机分配失败。小叶能否通过重抽分组直到估计最接近三点二五来改进实验？

**参考分析：**A 的平均时间为十一点五分钟，B 为十点五分钟，估计节省一分钟，比真值低二点二五分钟。完全随机设计下，七十种允许分配的估计平均为三点二五，但每次估计仍会受任务分配影响。

实际实验没有公开潜在结果表，小叶并不知道应当挑哪次最接近真值。即使在教学模型中能够这样挑，它也不再是原先七十种等可能的分配规则。实验之前按已知特征规定分块，可以有依据地改善设计；看到结果后挑选喜欢的分配，是另一回事。

练习三：顺序变化能够冒充多大的方法效果

考虑一个新的极简模型：同一任务无论首次使用 A 还是 B，人工投入都是十分钟；只要已经处理过一次，第二次就因熟悉内容降为六分钟，两种方法本身没有差异。

先 A 后 B 会观察到多少节省？先 B 后 A 呢？将两种顺序均衡安排，可以支持什么结论，又还需要什么条件？

**参考分析：**先 A 后 B 时，A 十分钟、B 六分钟，观察节省四分钟；先 B 后 A 时，A 六分钟、B 十分钟，观察节省负四分钟。顺序完全可以制造与方法无关的差异。

在题目规定的“第二次统一少四分钟、与首次方法无关”模型里，两种顺序等权平均得到零，抵消了共同熟练度影响。但如果 B 首次使用会比 A 教会小叶更多东西，后续影响就可能不同，不能套用这个抵消结论。实际安排可考虑不同而相近的材料，减少同一内容重复阅读造成的延续效应。

练习四：为什么去掉组件测出的六分钟不是固定贡献

使用四组合案例的数据。请说明增加证据索引在有、无额外复核时分别对应多少时间变化，计算交互差，并评价“证据索引这个步骤固定贡献六分钟”的说法。

**参考分析：**没有额外复核时，从十四降到十二，节省两分钟；有额外复核时，从十三降到七，节省六分钟。按新时间减旧时间计算，交互差为负六减负二，即负四分钟。

六分钟对应的是“已有复核时，再增加索引”的观察比较。把这个结果移到没有复核的流程，就丢掉了产生它的组合条件。四组合数据还只是一次虚构样本，交互差是否稳定，需要更多相应证据；但理解比较的条件，不必等到样本很大才开始。

练习五：百分之百通过，为什么未必更能完成任务

另批任务中，A、B 各分配十份。A 返回十份、八份通过；B 返回六份且全部通过，另外四份在截止时没有交付。主要指标事先定义为“按时交付合格卡片的比例”。

请比较两组。若 B 的四份其实已按时返回，只是审核记录丢失，分析需要怎样改变？

**参考分析：**原题 A 的任务成功比例为百分之八十，B 为百分之六十，B 比 A 低二十个百分点。只在返回结果中计算，会得到 B 百分之百、A 百分之八十，方向相反，因为那是条件在“已经返回”的另一项指标。

若四份已按时返回，只是审核记录丢失，就不能当成已知未成功。假定其余信息不变，B 十份中的通过数量至少六份、至多十份，对应百分之六十到百分之百。这不足以确定 B 比 A 高还是低。应尽量找回记录，并保留尚不能确定的部分；不能让软件默认把空白当作失败或通过。

练习六：为什么一个总体平均数不能直接搬到下一门课

假定后续证据已经支持：在当前条件下，某流程对简单材料平均节省两分钟，对复杂材料平均节省六分钟。下一门课预计四分之三的材料较简单、四分之一较复杂。

若两类内部效果能够迁移，预计平均节省多少？如果原实验只涉及小叶一个人，能够直接宣称其他同学也会获得同样收益吗？

**参考分析：**按新任务构成加权，平均节省为 $0.75\times 2+0.25\times 6=3$ 分钟。这不是简单把两个类平均再平均；两类在将来任务中的占比不同。

三分钟依赖两类效果在新课程里仍然适用。若新课的材料语言、引用方式或任务要求改变，原来的分类可能不再足以解释效果。其他同学的熟练程度和核查方式也可能不同。小叶可以先说明自己的条件和记录，让同学用一小批自己的任务检验，而不是把单人实验直接变成全体学生的收益保证。

本章资料与计算说明

正文按相关位置链接了潜在结果教材、NIST 实验设计手册，以及 J-PAL、IPA 的方法说明。阅读这些材料时，可以优先查潜在结果、随机分配、区组与交互等本章已经使用的概念，无需先学完所有高级因果推断方法。

八份材料的七十种、三十六种和十六种分配均由程序完整枚举；估计方差另用有限总体公式、独立区组和独立材料对的方差计算交叉核对。四组合差异、任务成功率和练习加权均已计算复核。三张图是原创教学图，图中的数据没有来自实际 AI 测评。