小叶要把一批活动资料整理成可以检索的条目。他让 AI 从每份资料中提取活动名称、日期、主要事项,再统一放进表格。二十份候选结果很快生成了,接下来却需要他逐份核对。

如果现在就把二十份全部查完,当然可以知道准确的工作量。但小叶还要安排今晚其他事情,希望先检查几份,估计这批资料大约需要多少核验时间、首次结果有多少能通过关键字段检查。

这个问题很常见。我们试用一种 AI 工作方法时,很少一开始就掌握所有任务的结果,却又需要尽早作出安排。抽样与估计研究的,就是怎样用部分观察认识更大的范围,并理解这种认识能做到什么程度。

本章的任务、数据和工具表现均为教学虚构。先从一批范围清楚的资料讲起,再讨论怎样把思路用到不断出现的新任务上。

一、先确定自己要认识哪一个整体

1.“这个方法怎么样”还需要落到具体对象上

小叶可能提出几种不同的问题。

他可以问,这二十份已经生成的结果,平均每份还需要多少分钟核验与修订。也可以问,自己下个月将处理的活动资料,采用同样方法以后通常需要多少时间。还可以问,这个 AI 对所有大学生的各种资料整理任务,效果究竟如何。

这三个问题需要的观察范围明显不同。第一问只涉及当前固定的二十份结果;第二问还涉及未来资料的构成、流程是否变化;第三问则包括不同的人、材料、要求与使用方式。

统计中,把希望认识的全部对象称为总体。总体并不一定很大,当前二十份结果也可以构成一个总体。这里的关键是它对应什么问题。

本章主例先把总体固定为这二十份已经生成并保存的候选结果。每份结果对应一份源资料,没有把重新生成的第二次结果混在里面。这样可以清楚地区分:我们不了解全部结果,是因为只抽查了一部分,而不是因为抽查途中又不断改变了结果本身。

2.一份资料、一页文字、一个字段,是不同的单位

小叶从二十份结果里选出五份,这里的抽样单位就是一份结果及其对应资料。

如果他改为随机检查五十个字段,单位就变成字段。字段较多的资料可能进入更多观察,统计出来的字段合格比例,也不等于整份资料全部关键字段合格的比例。

例如,一份结果有三个关键字段,活动名称正确、日期正确、主要事项错误。按字段算是三项里两项正确,按“整份关键字段全部合格”算,这份结果没有通过。两种记录都可以有用,但回答不同的问题。

小叶希望估算逐份核验工作量,所以主例以整份结果为单位。实际分析前说清这一点,后面的平均、比例、样本量才有确定含义。

3.两个目标量分别定义

对第 份结果,记 为小叶完成核验并作必要修订的主动投入时间,单位为分钟。它不包含此前生成结果的等待时间。

再记 为首次关键字段是否全部通过检查:全部通过记一,否则记零。这个判断针对修改前的候选结果;修改完成后当然可能已经合格,但不能据此回填首次通过状态。

首次通过的结果也需要核验,因此 不意味着时间为零。复杂材料可能要花很久查证,最后发现 AI 原来就写对了;简单材料即使有错误,也可能很快修好。

我们要估计的整体量包括平均时间、总时间和首次合格比例。指标先定义,抽样才知道应当收集什么。

二、从哪里抽,会影响你最终认识到谁

1.抽样框就是实际用来抽取的名单

小叶希望从二十份结果中抽查,但电脑上可能有两个目录:一个放可直接读取的文本资料,另一个放扫描资料。如果他只把第一个目录交给 AI 生成抽样名单,扫描资料就完全没有进入选择范围。

统计中,把实际用于识别和抽取对象的名单或结构称为抽样框。它可以是一张表,也可以是有清楚编号的文件清单。

总体是想认识的对象,抽样框是实际从中挑选的对象。两者如果没有对应上,后面再精细地计算平均值,也不能自动补上那些从未有机会进入样本的资料。关于总体、抽样框及遗漏、重复等问题,可见 加拿大统计局对调查样本的说明。

2.重复条目也会改变机会

假设某一份源资料有三个不同文件名的副本,其他资料各只有一个文件。如果按文件名等概率抽取,这份资料就占了三个位置。

这种抽样回答的是“目录中文件条目”的情况。若小叶原本想让每份不同资料有相同机会,就需要先识别副本,保留与任务相符的唯一编号。

也可能反过来:三个副本分别经过三种不同处理,当前问题就是比较这些处理结果,那么它们应当作为不同对象保留。去重与否,取决于到底在研究源资料、处理过程还是处理后的结果,不能仅凭文件名相似决定。

3.随手挑选与随机抽样有什么差别

小叶先打开几个熟悉的文件,可以很快发现表格字段有没有设计好。这对探索流程很有帮助。

但熟悉、短小、排版整齐的资料容易被先选中。若用它们的平均核验时间代表整个混合批次,就需要额外解释,为什么这些资料能够反映那些不熟悉、较长或格式复杂的资料。

概率抽样则把选择机会纳入设计。每个目标单位有已知的正概率被选入,我们可以利用这个选择规则研究估计会怎样变化。有关概率抽样、设计成本和初步探索的区别,见 加拿大统计局的抽样设计指南。

随机抽样并不会使一份样本自动拥有总体的全部特征。它提供的是一套可分析的选择机制,让我们有办法讨论估计的性质。

4.本例采用不放回简单随机抽样

现在把二十份不同结果编号为一到二十,抽五个不同编号。同一份在这次抽样里不会被重复抽到,这叫不放回。

简单随机抽样要求,每一种由五个不同编号组成的集合,被抽到的概率都相同。这比“看起来选得分散”“每组随便挑几份”更具体。定义与有限总体下的估计方法,可见 宾夕法尼亚州立大学的抽样课程。

二十份中选五份,一共有:

种不同集合。这里的组合数符号表示只看选中了哪五份,不把核验顺序不同算成另一个集合。理想的简单随机设计中,每个集合的概率都是一除以一万五千五百零四。

这套规则保留了一个重要可能性:有时抽到比较费时的几份,有时抽到比较省时的几份。后面的估计波动,正是从这里产生的。

三、把一批完整结果和一次样本放在一起看

1.为了教学,先让我们看见全表

下面列出二十份结果。前十二份来自可直接读取的文本材料,后八份来自扫描材料。编号是资料标识,表格按类型和时间整理展示,不是小叶随机抽取的先后顺序。

为了单独看清抽样的作用,先把每份的核验修订时间视为固定值,不另外加入疲劳、熟练度或处理顺序带来的变化。

编号 材料类型 核验与修订时间 ,分钟 首次关键字段合格
1 文本 2 1
2 文本 2 1
3 文本 3 1
4 文本 3 1
5 文本 3 1
6 文本 4 1
7 文本 4 1
8 文本 4 1
9 文本 5 1
10 文本 5 1
11 文本 6 0
12 文本 7 0
13 扫描 6 1
14 扫描 8 1
15 扫描 8 1
16 扫描 10 0
17 扫描 10 0
18 扫描 12 1
19 扫描 12 0
20 扫描 14 0

全表显示,文本材料的总时间为四十八分钟,扫描材料为八十分钟,共一百二十八分钟。整个批次平均每份:

首次通过的共有十四份,因此实际比例为:

这些是我们为了讲课而知道的总体值。处在“先抽五份”的小叶,并不知道未检查那些行的时间与是否合格。不能一边假定他只有样本,一边又让他用全表答案挑选最合适的五份。

2.一次实际抽号得到什么

本章用一个简短的 Python 过程抽取编号:

可复制模板
import random

rng = random.Random(2026)
selected_ids = sorted(rng.sample(range(1, 21), 5))
print(selected_ids)

在本章核验使用的环境中,输出为:

可复制模板
[4, 11, 17, 18, 20]

这里先建立编号一到二十的范围,从中不放回抽五个,再排序方便展示。排序不会改变被选中的集合。random 模块及 sample 的行为见 Python 官方文档。

二〇二六是为了复现这次演示而保存的种子值。使用相同的代码、列表和兼容环境,可以重现抽号过程;长期保存时也应直接保存最终编号,避免依赖不同软件版本的具体抽样序列。

在实际任务中,应先确定抽样规则再观察结果。若不断更换种子,直到样本平均值看起来满意,最终使用的就不再是原先那次未经结果筛选的随机样本。

3.样本给出了一个偏高的时间估计

抽中的五份记录为:

抽中编号 材料类型 核验与修订时间,分钟 首次关键字段合格
4 文本 3 1
11 文本 6 0
17 扫描 10 0
18 扫描 12 1
20 扫描 14 0

它们共用四十五分钟,平均九分钟;两份首次通过,样本通过比例为五分之二,即百分之四十。

总体二十份结果与抽中的五份
图 P08-01|总体二十份结果与抽中的五份

图中圈出的点偏向较费时的一端,因此样本均值九分钟高于总体的六点四分钟。样本通过比例百分之四十,也低于总体的百分之七十。

这些偏离并不来自算错数字,也不自动证明抽样过程有问题。即使所有五元集合机会相同,当前这五份仍然可能被选中。

学习抽样,要同时理解两件事:选择过程是否符合设计,以及这一次结果离总体有多远。不能把方法的合理性解释成每一次都刚好准确。

四、从观察值到估计:公式究竟在做什么

1.参数、统计量、估计量与估计值

总体平均时间六点四分钟、总体比例百分之七十,是描述这个固定总体的参数。在实际估计时,这些参数尚不知道。

从样本里算出来的均值、比例、最大值等,称为统计量。当我们用某个统计量估计总体参数时,它就承担了估计量的角色。关于估计量作为样本函数的基本定义,见 ProbabilityCourse 的点估计章节。

以平均时间为例,采用的计算规则是:

这里括号下标表示抽中的第几项,不是原资料编号。抽样以前,选中的值可能不同, 也会不同;抽样完成以后,把三、六、十、十二、十四代入,得到的九分钟就是本次估计值。

可以把估计量理解成一套计算办法,把估计值理解成这套办法对当前数据给出的具体答案。办法有怎样的长期性质,与一次答案是多少,是相连但不同的两个问题。

2.比例也可以看成平均

对于零一变量,样本比例为:

本例分子为二,分母为五,所以得到零点四。它既是首次合格的样本比例,也是对总体比例的一种估计。

这种写法很有用:平均时间与合格比例看起来是两个问题,但在数学上都可以通过样本平均来处理。区别在于一个变量记录分钟,另一个只记录零或一。

不过,总体比例是当前二十份已经生成结果中的比例。若小叶要把零点四当作未来某次新生成的成功概率,还需要说明未来任务与当前批次怎样对应,不能省略推广的这一步。

3.从平均估计总量

若用九分钟估计本批每份的平均核验投入,那么二十份总时间的点估计为:

估计总量的方法很直观:先用样本认识每份平均,再乘总体份数。

抽中的五份已经检查完,实际用了四十五分钟。此时剩下十五份,按相同样本均值估计的剩余投入为:

已发生的四十五分钟加估计的一百三十五分钟,仍为一百八十分钟。我们事后知道,实际剩余时间为一百二十八减四十五,即八十三分钟,因此本次估高了五十二分钟。

这段比较也说明,总量估计应与进度口径对应。不能把二十份的估计总时间一百八十分钟,当作五份做完后还要额外投入的时间。

4.一个数值可以帮助行动,但还需要理解它的波动

小叶目前可以据此判断,核验可能是一项需要较大时间块的工作,先安排一部分并继续记录。他不必等全部信息出现才行动。

不过,“估计一百八十分钟”只有一个点,尚未说明可能波动多大。接下来要研究的,就不是再算一次这五个数的平均,而是换成别的合法样本以后,同一个计算办法会给出哪些结果。

五、抽样分布:估计值本身也有分布

1.同一总体,可以产生许多样本均值

仍然从固定二十份中选五份。若选中编号一到五,样本均值是二点六分钟;若选中四、十一、十七、十八、二十,均值是九分钟;若选中二、六、九、十四、十九,均值是六点二分钟。

总体没有变化,采用的平均公式没有变化,变化的是进入公式的那五份资料。

把所有一万五千五百零四个合法集合都列出来,分别计算均值,再按各集合出现的概率汇总,就得到样本均值的抽样分布。它描述的对象已经从“某一份资料要多少分钟”,变成“按这种方法抽五份以后,平均数会是多少”。

两种分布不要混淆。原始资料时间分布反映任务之间的差别;抽样分布反映估计量在不同可能样本之间的差别。

2.无偏是在平均意义上对准目标

本章实际枚举了全部组合。所有五份样本均值再取平均,结果恰好为六点四分钟,等于总体均值。这体现了简单随机样本均值的无偏性。

这里不是说每一组都算出六点四,也不是说“多抽几组,再挑最接近六点四的那组”。无偏指估计量在规定抽样机制下的期望等于目标参数。

为什么成立,可以从每份资料的入选机会看。任意一份进入五份样本的概率都是五除以二十,即四分之一。平均地看,样本时间总和就会包含全部一百二十八分钟的四分之一,为三十二分钟;再除以样本量五,得到六点四分钟。

若用 表示第 份是否被选中,选中记一,未选中记零,这个推理可以写成:

它利用的是各单位的入选概率,不要求不放回抽出的五个值彼此独立。原始值相同的两份资料,仍是不同编号,也各有自己的入选机会。

无偏估计的定义及其与单次结果的区别,见 ProbabilityCourse 的估计量评价章节。

3.把样本量增加到十份

从同一二十份里不放回抽十份,共有十八万四千七百五十六种不同集合。各集合均值的期望仍为六点四分钟,但分布更集中。

五份样本的均值可以低至二点六、高至十一点六;十份样本的均值范围缩到三点五至九点三。这里的范围来自本例全部组合,不是任何任务都通用的上下界。

更多样本与抽样框遗漏对估计分布的不同影响
图 P08-02|更多样本与抽样框遗漏对估计分布的不同影响

图中前两幅都从完整二十份中随机抽取,虚线标出实际总体均值。十份样本对应的分布更集中,说明较大的样本在这个设计下减少了抽样波动。

第三幅故意只从十二份文本资料中抽十份。均值看起来更稳定,却集中在四分钟附近,偏离了小叶真正关心的整体六点四分钟。下面分别解释这两种变化。

六、偏差与方差:偏向哪里,散得多开

1.偏差衡量估计是否系统地偏离目标

设我们要估计一个固定参数 ,采用估计量 。偏差定义为:

若只在十二份文本资料中随机抽样,样本均值的期望是文本总体的四分钟。把它拿来估计全部二十份的六点四分钟,偏差就是:

这是相对于全部二十份的目标而言。如果目标本来就是文本资料,四分钟正是正确的总体均值,同一抽样方法便不存在这里所说的范围偏差。

所以,“有偏”需要说明针对哪个目标。数字没有自己携带适用对象,估计的好坏取决于它被用于回答什么问题。

2.方差衡量估计值在自身平均位置附近怎样变化

方差则考察:

在仅文本的十份样本设计中,均值围绕四分钟的波动很小。直观上,十二份里已经看了十份,文本资料本身又比较接近,所以不同样本不容易产生很不一样的结果。

但这种稳定没有让扫描资料进入观察范围。即使把十二份文本全部核验,均值也仍然是四分钟。若问题始终是全部二十份,扩大同一遗漏名单中的样本不能补上那八份扫描资料。

这正是图中第三幅的含义:结果既可以稳定,也可以稳定地偏离所问目标。

3.把两种偏离放到同一个评价里

一种常见的总体评价是均方误差:

它看估计离真实目标有多远,并把偏离平方后取平均。对具有有限二阶矩的估计量:

定义与分解可见 ProbabilityCourse 的均方误差说明。这里的两个部分,一部分来自围绕自身中心的散布,另一部分来自自身中心与目标的位置差异。

本例从完整总体抽五份的均值估计无偏,方差约为一点九四八四平方分钟,所以均方误差也为这个数。

仅从文本抽十份时,均值方差只有约零点零三九四平方分钟,但相对整体的偏差平方为 ,均方误差约为五点七九九四平方分钟。虽然看了更多份,而且结果更集中,对原先整体目标的估计反而更差。

这个例子不需要学生记住四位小数。它希望建立的是一个判断习惯:看见“记录更多、数字更稳定”,还要确认新增记录是在帮助认识原来那个目标。

4.无偏不是评价方法的唯一标准

如果只随机看一份资料,再用它的时间估计总体平均,这个估计同样无偏。任意一份机会相同,长期平均仍会对准六点四分钟。

但是,一份可能两分钟,也可能十四分钟,波动显然比较大。若小叶有能力合理地多检查几份,通常可以获得更稳定的均值估计。

实际选择方法,还要结合成本、误差会怎样影响行动,以及数据有哪些难以解决的限制。偏差、方差、均方误差提供的是不同观察角度,不是让所有工作都必须追求某一个公式指标的最小值。

七、标准误:估计的波动,与任务的波动

1.样本标准差描述五份任务有多不一样

当前五份时间为三、六、十、十二、十四分钟,均值九。偏离均值的平方和为:

按常用样本方差口径,除以 ,得到:

这个标准差反映抽中的各份任务时间如何分散。它不是“五份平均时间的误差为四点四七分钟”。

对一份新资料作时间安排,单项任务差异仍然值得关注;对整批平均时间作估计,则要看平均值自身的抽样波动。

2.标准误是估计量的标准差

把样本均值的抽样方差开平方,得到的就是这个均值估计的标准误,记作 。

在完整二十份中抽五份的设计下,我们已经能枚举所有可能样本,因此可以算出真正的抽样标准误,约为一点三九六分钟。它描述所有可能五份样本的均值在六点四附近怎样分散。

如果抽十份,这个标准误约为零点八〇六分钟。两者与前面直方图的宽窄对应。

然而,现实中的小叶没有全表,不能直接算出所有样本。他需要用已经抽到的数据估计标准误。

3.有限总体、不放回,需要考虑已经看了多少

先定义有限总体的一种方差记法:

这里明确使用 分母。它与此前等概率抽一个总体单位时按 定义的方差略有不同,只要公式口径一致即可。

在从固定 个单位中不放回简单随机抽 个的设计下:

这个有限总体公式与用样本方差进行估计的方法,可见 宾夕法尼亚州立大学关于简单随机抽样的讲解。

括号中的部分体现:总体固定,已经看的比例越高,未观察部分带来的抽样不确定性越少。若把二十份全部看完,,这一项为零,当前批次均值就不再因为“抽中了不同一部分”而变化。

这时消失的是本批的抽样误差。检查是否准确、时间记录是否一致,以及将来换一批任务后的表现,仍属于其他问题。

4.用当前样本估计标准误

小叶不知道 ,可以在这个设计下用样本方差 替代它,再开平方:

对当前五份:

这个估计值与我们借全表算出的真正标准误一点三九六不同,因为标准误本身也是根据有限样本估出来的。

一点七三不是已经测出的本次实际误差,也不是误差必定小于它的上限。实际误差是九减六点四,为二点六分钟;小叶当时并不知道六点四,因而不能直接知道这个误差。

标准误让他开始量化估计会有多大起伏。如何进一步形成区间、怎样解释区间的覆盖性质,将在下一章展开。

5.样本增大,通常怎样换来更稳定的估计

另设一个适合描述持续新任务的简化模型:每次观察彼此独立,来自相同分布,该分布标准差为四分钟。此时样本均值的标准误为:

观察十六次,标准误为一分钟;六十四次为半分钟;二百五十六次为四分之一分钟。样本量变为四倍,标准误才减半。

这给学习和试用提供了成本直觉。增加观察有帮助,但想把估计变得更精细,往往需要越来越多的记录。因此,小叶可以根据当前决定需要多精细来安排试用,而不必为一个粗略时间规划无限增加样本。

在独立同分布且方差有限等条件下,样本均值会随样本量增加,以概率意义逐渐接近总体均值,这体现了估计的相合性。它不意味着每多记录一条,当前数字就一定单调地更接近真实值。

如果观察不断重复同一份错误材料,或者目标任务的分布已经改变,单纯增加次数就未必符合这个模型。上一章对共同成分的分析,正好帮助我们判断这里的条件是否适合当前工作。

八、分层抽样:主动照顾不同类型,再按总体合起来

1.知道类型差异,可以进入抽样设计

小叶知道,这批资料包含十二份文本、八份扫描。即使还没有检查结果,他也已经掌握这个构成。

如果希望两类都得到一定观察,可以先分成两个互不重叠的层,再在每层内部随机抽取。这就是分层抽样的基本思路。每个抽样单位属于一个层,各层合起来覆盖所问总体。

分层有时能让估计更稳定,也方便分别了解某个重要类型。它的效果取决于划分是否与目标变量的差异有关,以及如何分配样本,不能只凭“分过组”就认为一定更好。定义、总体加权和相关计算,见 宾夕法尼亚州立大学的分层抽样课程。

2.两层各抽三份,不等于总体各占一半

现在建立另一个抽样情景,与前面的五份样本分开。设文本层和扫描层各自不放回简单随机抽三份,两层的抽取相互独立。假设得到:

分层样本编号 材料类型 核验与修订时间,分钟 首次关键字段合格
3 文本 3 1
7 文本 4 1
9 文本 5 1
13 扫描 6 1
16 扫描 10 0
20 扫描 14 0

文本样本均值四分钟,扫描样本均值十分钟。若直接把六条时间相加除以六,就得到七分钟。

但这六份样本中两类各占一半,原总体中两类占比却为百分之六十与百分之四十。直接平均,给耗时更高的扫描层赋予了比原总体更大的比例。

按照总体构成,应当这样合并:

下标 st 只是表示这里采用分层估计。公式的内容是各层均值按其在总体中的份额加权。

分层样本构成与总体权重
图 P08-03|分层样本构成与总体权重

图中要分清两个比例:抽了多少决定样本里的构成,各类在总体中有多少决定合并整体估计时的权重。

3.从“每份代表多少”理解权重

文本层抽中的三份代表该层十二份结果,每份样本对应的扩张权重为十二除以三,即四。扫描层抽中的三份代表该层八份结果,每份权重为八除以三。

因此,总时间估计也可以写成:

这与先算分层均值六点四再乘二十完全一致。

权重的意义不是说某份资料真的变成了四份,而是把样本中的观察扩张到它所代表的总体范围。如果一种类型被主动多抽,合并时就需要按照设计,把它放回合适的总体比例。

4.一次恰好算准,不是分层必然精准

这次两层样本均值恰好等于各层总体均值,所以整体六点四也正好算准了。这是所列样本的巧合,并非分层方法每一次都能给出真值。

看看首次合格比例就能发现区别。文本样本为三份全通过,扫描样本为三份中一份通过,分层合并为:

实际总体比例是百分之七十。分层估计仍有误差;如果直接平均这六份,通过比例又会变成六分之四,约百分之六十六点七。

同一份样本,对平均时间恰好算准,对通过比例却未必算准。这也提醒小叶,抽样设计需要服务于真正关心的指标。若特别关心某一类少见错误,可以给相关类型更多观察机会,同时明确总体估计怎样加权。

5.方法改进来自匹配,而非形式更复杂

本例文本和扫描的时间差异比较明显,分层能控制样本里两类份数的变化。我们枚举所有两层各抽三份的组合,得到分层均值的标准误约为零点六六四分钟。

这个数是本例具体总体与分配下的结果。它不能直接推广为所有六份分层样本的精度。如果分层依据与耗时没有关系,或者某个重要层抽得太少,效果就会不同。

小叶可以先利用已经知道、确实与工作相关的类型信息,采用简单的分层办法;没有必要为了形式复杂,额外建立许多难以判断的小类别。

九、抽中了以后,还要看实际观察到了什么

1.计划样本与取得结果的样本可能不同

另看一批资料。小叶按规则选了十份,目前完成八份的质量核验,其中六份通过、两份未通过。余下两份的资料附件暂时打不开,还没有完成核验,尚无法判断是否通过。

他可以准确报告“已经核验的八份中,六份通过”。这个比例是百分之七十五。

但如果用这个百分之七十五估计原来十份的通过比例,就需要额外假设那两份缺失结果与已核验部分足够相似。若难打开的资料恰好也更难被 AI 正确处理,只看已核验的部分,就可能高估这十份的通过比例。

抽样以后,哪些记录成功取得测量,属于估计过程中另一层需要关注的选择。调查中的非响应和测量问题,也有类似结构,见 加拿大统计局对调查误差的解释。

2.先保留未知,可以得到明确但有限的判断

仅对已经选中的十份而言,若两份未知全部不通过,则共有六份通过;若全部通过,则共有八份通过。因此,这十份的通过比例目前在百分之六十到百分之八十之间。

这是由两份未知状态得到的逻辑范围。它不是总体比例的置信区间,更不能覆盖这十份以外所有未抽取的资料。

小叶可以保留两份的编号和待核验原因,继续处理附件或采用其他核验渠道。这样,后续补齐结果时,原先样本与新增信息还能对应起来。

如果任务的验收标准本来就是“在规定时间内交付可用结果”,没有取得结果本身也可以是一个应记录的失败状态。若问题是已经生成内容是否准确,尚未完成核验则应保留未知。采用哪种记录方式,取决于最初定义的目标。

3.抽样合理,也可能量错

即使十份都抽得合理,若一部分时间用秒记,另一部分用分钟记,平均值也会失去原来的意义。若先修好内容再判断“首次是否通过”,首次合格比例就会被改写。

这类问题不能靠扩大样本量解决。更多单位重复同一种计量错误,可能只会让错误结果更稳定。

对小叶而言,一张简单的记录表就能帮助减少这些问题:保留原资料编号、抽中状态、实际完成核验状态、首次结果判断、主动核验修订时间,以及确有必要的类型信息。

这些字段不要求很复杂。它们的价值在于让计算对应真实发生的事情,也使 AI 在汇总时能够区分未抽取、已抽但待核验、已经核验不通过等不同状态。

十、样本数量,也要和观察层次一起理解

1.三份材料各问十次,与三十份材料各问一次

小叶想了解一种提取方法在不同材料上的适用性。他可以对三份材料各生成十次,获得三十次回答;也可以对三十份不同材料各生成一次,同样获得三十次回答。

第一种安排有助于了解同一材料下重复生成的变化,但材料范围只有三份。第二种安排覆盖更多材料,却没有为每份材料留下很多重复观察。

两个“三十次”包含的信息结构不同。判断跨材料表现时,不能仅因为回答表有三十行,就把第一种安排当作观察了三十份不同材料。

上一章已经说明,共享同一材料的结果可能存在依赖。本章进一步看到,这种依赖会影响样本设计:为了认识哪一层的差异,就需要在相应层次上获得观察。

2.成组抽取有成本上的理由

实际工作中,打开一份较长资料、理解其内容,需要准备时间。在同一份资料里多核验几个条目,可能比不停切换到新资料便宜。

因此,先抽几份资料,再检查每份里的多个条目,是有实际成本优势的设计。统计中有整群抽样、多阶段抽样等方法来处理这种安排。成组抽取与组内关联对估计波动的影响,可见 加拿大统计局的抽样设计说明。

这里无需立即学习全部复杂公式。先认识到每一行来自哪个组,保存资料编号,并根据问题分配观察,就已经能减少很多误判。

如果目标是估计条目层面的整体合格比例,还应考虑不同资料包含的条目数,以及这些条目获得观察的机会。对每份资料给相同权重,与对每个条目给相同权重,也可能得到不同答案。

3.用于改方法的例子,与用于估计表现的例子

小叶在十份材料上不断试验,发现某条规则会漏日期,于是修改提取要求,再试、再改,直到这十份表现很好。这些材料为方法改进提供了实际帮助。

不过,最终方法已经利用了它们暴露的问题。若接下来希望了解方法面对新材料的表现,可以再取得一批符合目标范围的新材料,固定当前方法后进行观察。

这样做是在增加尚未用于这轮调整的证据。它不要求把改进过程中所有旧记录丢掉;旧记录仍然能说明哪些错误被发现、怎样被修复,只是不能把“反复针对这十份修改后的表现”直接说成“对未见材料的表现”。

类似地,AI 生成的虚构测试资料可以帮助探索特殊格式和边界情况,但它们代表的是所构造的测试范围。若要估计真实资料库中的类型比例或实际工作量,还需要从真实目标对象中取得相应观察。

4.把抽样变成持续认识工作的方式

回到开头的二十份资料,小叶现在可以把已用的四十五分钟记为完成部分,把剩余十五份约一百三十五分钟的估计作为今晚安排的初步依据。他会为核验留出较大的一段时间,并在继续核验时更新剩余投入;这个点估计还不足以保证具体的完成时刻。

AI 可以帮助生成抽样代码、检查编号是否重复、汇总均值与比例、按类型加权、画出数据。小叶需要提供的是目标范围与判断标准,并检查计算是否遵循所选设计。

如果下一步要改进对整批的估计,他可以继续从未核验编号中随机抽取,并按相同口径更新记录。若只是想专门了解扫描资料的困难,也可以有针对性地查看这一类,但要分清这种观察与前面的整体估计。

抽样与估计的价值,是让有限观察更有方向。我们仍然会面对不完整的信息,但能够更清楚地知道:现在认识到了谁,用了什么办法,还有哪些差异尚未进入观察。

十一、练习与参考分析

练习一:整份合格七成,字段正确也是七成吗

二十份结果,每份都有三个关键字段。已知十四份的三个字段全部正确,其余六份各有至少一个字段不正确。能否得出全部六十个字段中,正确比例恰好为百分之七十?

参考分析:

不能。十四份全对,提供四十二个正确字段;剩下六份虽然都未整份通过,但每份还可能有零、一或两个正确字段。

因此,正确字段最少为四十二个,最多为四十二加十二,即五十四个。字段正确比例可以从 到 ,无法仅凭整份通过数量得到唯一值。

整份合格比例衡量“三个关键条件一起满足”,字段比例衡量“单个位置有多少正确”。小叶若要安排逐份交付检查,前者很有意义;若要定位某种字段的错误,后者及分字段记录更有帮助。

这个问题发生在统计对象的定义阶段。后面采用再复杂的估计公式,也不能替我们决定到底在统计整份还是字段。

练习二:继续随机多查一份,估计怎样更新

在原来的五份样本之后,小叶从剩余十五份中等概率再抽一份,恰好抽中编号一。这份用两分钟,首次关键字段通过。求六份样本的均值、通过比例、本批总时间估计和剩余十四份的时间估计。

参考分析:

六份已经实际使用 分钟,通过数量为三。更新后:

总体二十份的时间点估计为:

剩余十四份的点估计为:

实际已用四十七分钟加剩余估计,与总估计一致。新增一份较省时资料,使均值下降、通过比例上升,但这不是以后每多查一份都会发生的固定方向。

题目明确从剩余对象中等概率抽取,所以可以看作继续扩展随机样本。如果是因为编号一看起来容易而特意挑它,就需要重新考虑选择机制,不能只照搬原设计的解释。

练习三:更稳定的数值,为什么仍可能更差

对全部二十份的平均时间目标,方法甲从完整总体抽五份,均值估计的方差约一点九四八四;方法乙只从十二份文本资料抽十份,均值估计的方差约零点零三九四。方差单位均为平方分钟。

乙的方差小得多,是否说明它对本批整体平均时间的估计更好?

参考分析:

甲的均值期望为六点四,针对当前整体目标无偏。乙的均值期望为四,与目标相差负二点四分钟。

因此,甲的均方误差约为一点九四八四;乙约为:

这里乙虽然稳定,对同一目标的均方误差却更大。它在文本材料中的覆盖已经很充分,但完全没有观察扫描材料。

如果小叶转而只问文本材料平均需要多久,乙的目标就变了,原来那项负二点四的偏差也不再存在。比较方法时,必须先让两种方法回答同一个问题。

练习四:标准差和标准误分别告诉我们什么

原五份样本的时间偏离平方和为八十,样本量五,总体量二十。求样本标准差和采用有限总体校正的均值标准误估计。若二十份全查完,是否意味着每份任务耗时都变得相同?

参考分析:

样本方差为 ,样本标准差为 分钟。

均值标准误估计为:

前者描述样本里单项任务的差异,后者估计抽样均值会有多大起伏。

全部查完后,当前总体均值不再有因只抽一部分而产生的随机波动;原来两分钟、十四分钟等任务差异仍然存在。知道一个平均值,并不会让每份任务都变成平均耗时。

另外,这个标准误估计不是本次误差的上限。若需要给平均时间或总投入报告更完整的不确定性,还需使用与抽样设计相符的方法,下一章会继续展开。

练习五:样本构成与总体构成怎样对应

分层案例中,两层各抽三份,文本样本均值四分钟、扫描样本均值十分钟。为什么直接平均得到七分钟,而对原总体的分层估计是六点四分钟?

若另一个目标批次有百分之八十文本、百分之二十扫描,并暂时沿用这两个层内均值估计,新批次平均时间估计是多少?

参考分析:

七分钟按样本中各一半的份额计算,即 。原总体中两类占百分之六十和百分之四十,所以整体估计应是 。

另一个批次按新的总体构成计算:

新数值的变化来自类型构成,不能解释为工具本身变快。并且,沿用四与十两个均值包含一个额外判断:新的同类资料与旧样本在所问工作上足够可比。

如果新扫描资料清晰度、任务要求或核验方式变了,就应取得相应新观察,再更新层内估计。权重可以调整已知构成,但不能代替对层内变化的了解。

练习六:两份尚未核验,怎样报告结果

另一批任务抽中十份,其中八份已核验,六份通过;两份尚未完成核验。请分别回答:已核验部分的通过比例是多少?这十份真实内容的通过比例可能在什么范围?若当前交付要求是“已经核验并合格”,现在有多少份满足要求?

参考分析:

已核验部分的比例为六除以八,即百分之七十五。对全部十份的内容质量,两份未知可能都不合格,也可能都合格,因此目前能给出的逻辑范围为百分之六十到百分之八十。

若交付要求同时包含已经核验与合格,当前满足要求的就是六份,占所抽十份的百分之六十。两份未知不满足“已经核验”这一条件,但这不等于已证明其内容错误。

三个答案针对不同问题,彼此并不矛盾。小叶应保留这十份的原编号与核验状态,补齐未知信息,而不是把两份从表中悄悄删除。

百分之六十到八十只描述这十份中两个未知状态造成的范围。它没有处理未抽中资料带来的抽样不确定性,因而不是更大总体的区间估计。