上一章讨论希望实现什么、准备做什么,以及工作以后发生了什么。这一章继续往前走:当小叶把任务交给同学、AI 或一组工具以后,怎样判断事情做到了哪一步,怎样知道收到的成果是否可以接受?
本章的人物、活动、人数、时间和检查结果均为原创教学设定。不同场景中的小叶用于帮助理解,不要求把所有案例拼成同一段经历。具体比例与门槛只服务于案例,不能直接作为其他项目的通用标准。
一、一百张卡片交回来了,应该算完成吗
小叶正在为校园开放日整理活动信息。他希望第一次来学校的人能够找到适合自己的活动,知道何时到哪里、是否需要报名。组织方提供了活动资料,小叶请 AI 将其整理成一百张卡片,放进一个可以在手机上查看的页面。
每张卡片包含五项信息:活动名称、适用对象、地点、时段、报名方式。AI 很快交回文件,告诉他:“一百项已全部完成,信息完整,排版清晰。”页面也确实能打开,卡片数量正好一百。
小叶抽看几张,感觉不错。不过,当他逐条对照组织方确认的资料时,发现其中六张卡片地点写错,另外四张时段写错。十处错误分别落在十张不同的卡片上;其余字段都符合本轮资料。这意味着,有人可能看着一张格式完整的卡片,走向错误的地点,或在活动结束以后才到场。
小叶又找来第一次接触页面的同学,安排二十次独立查找任务。任务有明确的对象和问题,例如替一位只能下午到校的来访者,找到能够参加的摄影体验,并说清时间、地点和报名要求。最终十五次顺利完成,五次没有在约定条件内得到完整、正确的答案。
现在可以写出好几种看上去都像“完成率”的数字:一百张卡片都已生成,是百分之百;五百个字段有四百九十个符合资料,是百分之九十八;一百张卡片有九十张五项全部符合,是百分之九十;二十次查找任务成功十五次,是百分之七十五。
这些数字并没有谁在算术上撒谎。问题在于,它们回答的不是同一个问题。生成了多少、字段是否符合依据、整张卡片有没有错误、读者能否顺利办成事情,是几个相互关联而又不相同的观察角度。
如果小叶只告诉 AI“完成一百张”,它交回一百张便满足了最容易识别的条件。若小叶真正关心的是来访者能否使用,就需要进一步说明:哪些信息必须有依据,什么情况需要停下来确认,页面需要支持怎样的查找,交付时要提供哪些检查结果。
这不是要求一个普通活动先建立庞大的管理制度。它只是把“我觉得应该差不多了”变成大家可以共同理解的判断依据。任务越容易批量生成,这一步就越有价值,因为数量增加的速度,可能快于人发现问题的速度。
二、把指标、观察值和验收标准放回各自的位置
1. 指标告诉我们看什么
指标是为了判断工作状态而选择的观察量或观察维度。例如,“五项信息全部符合确认资料的卡片比例”,就把注意力放在整张卡片的信息质量上。“首次使用者完成查找任务的比例”,则把注意力放在使用过程上。
同一件事可以有多个指标。生成卡片的数量没有因此失去意义:小叶需要知道还剩多少活动没整理,数量可以帮助安排后续工作。但当它被拿来证明全部内容已经可以发布时,就承担了自己无法承担的作用。
我们不必为“指标”“度量”“测量值”等词建立一道严格的学科围墙。本章的实用区分是:先说清观察什么,再说具体看到了什么,最后说明据此如何决定。这样即使团队使用的术语稍有差别,也能避免混淆。
2. 观察值是某次检查实际得到的结果
“整张卡片全部符合资料的比例”是指标,“本轮检查为九十张除以一百张,即百分之九十”是观察值。后者离不开具体对象和检查时点。
如果小叶后来修正了十张卡片,旧观察值仍然描述修正前的那一版。不能因为文件名还是同一个,就把旧检查结果自动贴给新内容;也不能因为新内容已经修改,就把过去的记录改成一直没有出过错。
保留这些区别很有实际用途。以后再出现问题,小叶可以追溯究竟是首次生成时就有误,还是资料更新以后页面没有跟着改。不同原因需要不同处理方法。
3. 目标值表达我们希望达到什么水平
如果小叶提前提出“二十次查找任务至少成功十八次”,十八次或百分之九十就是本轮目标值。它和实际得到的十五次不同,也和衡量成功的具体方式不同。
为什么是十八次?需要结合使用场景、当前能力、失败影响、可投入的改进时间来解释。本章可以给定这个教学目标,但读者不应把百分之九十当成由管理学自动推出的答案。若另外一个任务直接影响重要的提交时间,或者失败后有很容易使用的人工帮助,适合的要求可能不同。
4. 验收标准告诉我们怎样作出接收决定
验收标准通常包含具体要求与检查方法。有的要求可以用一个比例表达,有的需要明确的事实判断,例如“所有活动的地点和时段已对照本轮确认资料,已发现的错误全部修正并复核”。
对开放日页面,小叶可以把这一条设成发布前必须满足的条件,再把查找任务的表现作为判断页面是否需要继续调整的依据。页面外观是否整齐也可以检查,但它不能抵消地点错误。
因此,验收不总是把全部项目相加得到一个分数。它可能先检查几项必须成立的条件,再对可以取舍的方面作出判断。接受某一批内容、要求修正、只接收其中已经确认的部分,都是可以清楚表达的结果。
管理学中,建立标准、取得实际表现并进行比较,是绩效评价的基本关系。可参看 OpenStax 对绩效衡量与评价的介绍。本章在此基础上讨论学生与 AI 协作中的具体做法。
三、一个“准确率”,需要把哪些意思说明白
1. 先确定检查的对象是什么
“准确率达到百分之九十八”听起来很清楚,实际可能仍然不够清楚。它是在说字段、卡片、回答次数,还是一组用户任务?如果对象不同,分子与分母就不同。
在本章开头,五百个字段中只有十个错误,所以字段符合比例是:
但十个错误分散在十张卡片上,一百张里只有九十张没有任何字段错误,所以整张卡片全部符合的比例是:
两者都算得对,第二个更接近“读者拿到一张卡片时,会不会遇到已知的信息错误”这个问题。它仍然没有直接告诉我们读者使用时的成功概率,因为不同卡片被查看的频次可能不同。

再另设一种同样包含十个错误字段的情景:错误集中在两张卡片上,每张五项都错。此时,字段符合比例仍为百分之九十八,整张卡片全部符合的比例却变为百分之九十八。这说明,不知道错误分布,就不能仅凭字段比例推出有多少张卡片可以放心使用。
这个例子不是要求所有项目都按最细单位统计,而是让小叶知道:一个漂亮的汇总数,可能隐藏不同的实际处境。检查单位应当与当前判断的问题相接。
2. “符合”必须有比较依据
对活动地点而言,“读起来合理”“这个楼名确实存在”,都不是足够的依据。卡片需要与这项活动的确认地点一致。对适用对象而言,写得热情也不代表符合要求;如果活动只开放给已经报名的来访者,就不能改成所有人都可以直接参加。
这里的准确不是由语气决定,也不是由 AI 在回答末尾写了“已核查”决定。小叶需要知道检查时用的是哪份资料、它适用于哪个日期,以及材料有冲突时采用了什么确认结果。
有些信息暂时查不到。这时应把它记录为待确认,不能因为没有发现反例就算作已经符合。与此同时,待确认也不一定等于已经错误。这两个状态对后续行动的要求不同:前者需要取得依据,后者需要修正内容。
3. 完整与正确可以分别检查
一张卡片的五个字段都不为空,可以说结构完整;如果地点填错,它仍然不是信息正确的卡片。反过来,已经写出的四项可能全部有依据,但缺少报名要求,读者仍可能无法决定下一步怎么办。
如果任务允许某些活动不需要报名,可以明确写“本活动无需报名”,而不是把空白一律解释成不需要报名。字段的有无和字段表达的状态,就不容易被混在一起。
对 AI 的要求也应对应这种区分。它可以先检查缺项,再逐项整理依据,最后列出仍不能确认的信息。单纯让它“再检查一遍质量”,可能得到另一个很流畅的总评价,却没有足够线索告诉小叶哪里需要处理。
4. 时间范围和版本也是定义的一部分
开放日开始前,活动地点可能调整。周三依据已确认安排写对的卡片,周五可能已经过时。小叶需要说明本轮接收的是“截至周五下午三点确认资料的版本”,并把三点以后发生的变更另行记录。
这并不保证三点以后世界不再变化,而是让大家知道这次检查覆盖到哪里。没有这个边界,合作双方可能一方认为自己按最新材料完成,另一方却拿更晚收到的通知指出未达标,争论很难找到共同起点。
四、分母里的那几个人,会怎样改变判断
1. 改变工作坊的记录条件,看看分母的作用
上一章,小叶组织三十人参加工作坊,希望至少二十四人能够处理一份新名单、解释去重依据并核对汇总结果;三十人都留到最后,观察到十八人达标。现在另设一场规模与目标相同的工作坊,改变记录条件,用来考察缺失信息会怎样影响判断。
在这场另设的工作坊中,十八人提交的结果符合要求,六人已经提交但还没有达到要求,另六人提前离开,没有提交本轮检查材料。于是,收到材料的二十四人中,有十八人达标。
如果小叶写“提交者达标比例为十八除以二十四,即百分之七十五”,这是一个正确而有明确范围的观察。如果他把它写成“全体参与者已有百分之七十五达标”,就改变了它的含义。
对最初的三十人,目前有证据确认达标的是十八人,比例为百分之六十。那六位没有提交的人尚未确定,不能直接算作已经学会,也不能在讨论真实学习状态时一律宣布他们没有学会。

最初目标是有证据支持至少二十四人达到条件。当前的十八份达标结果尚不足以确认这个目标实现了。小叶需要进一步取得缺失记录,或者继续提供支持,而不是通过删除六个人,把目标变成只讨论已经提交的人。
2. 不知道,不等于可以忽略
仅根据现有记录,三十人中真实达标人数可能从十八人到二十四人:下限是假设六位未提交者都没有达标,上限是假设他们全部达标。对应比例是百分之六十到百分之八十。
这只是由已知状态给出的可能范围,不是统计学上的置信区间,也不是说各种情况同样可能。我们没有得到足够的信息去分配这些情况的概率。
小叶真正有用的下一步,是了解为什么缺失。有人可能临时离场但已经掌握方法,有人可能因为不会做而没有提交。如果未提交者中不会做的人较多,只看提交者,就可能高估全体参与者的学习表现。原因需要了解,不能凭喜欢的解释补上。
同样的道理适用于 AI 帮忙处理的问卷、报名记录、作业反馈。遇到缺失值时,先明确缺的是什么、影响哪个判断,再决定是否需要补充。没有必要每次都做复杂统计,但不能让缺失悄悄从报告里消失。
3. 次数、人数和任务数要分别看
假设一个报名页面有十位同学各尝试一次,其中两位失败后各重试一次并成功。最终十个人都完成了报名,系统一共记录十二次尝试,其中十次完成。
按人计算,最终完成比例是十除以十,百分之百;按尝试计算,每次尝试的完成比例是十除以十二,约百分之八十三点三。前者告诉我们最后有没有办成,后者还暴露了过程中发生的失败。
如果小叶要判断有多少人需要后续帮助,人数口径更直接;如果他要定位页面是否容易失败,尝试记录也很有用。两者不应互相冒充,更不能拿这一周的人数比例去和上一周的尝试比例比较。
英国政府服务手册在讲完成率时,特别要求说明事务的开始与结束,并把中途放弃、失败等情况纳入相应分母。这里借用的是明确范围的思路,而不是要求校园项目照搬政府服务的具体规则。完成率衡量说明
五、比例很好看,为什么仍然不能接收
1. 有些缺陷不能靠其他优点抵消
小叶为开放日页面拟了一个评分表:信息质量占一半,易用程度占四分之一,视觉呈现占四分之一。某个版本的信息质量得八十分,另外两项都得一百分,加权以后是九十分。
如果团队只规定总分达到九十分就接受,这个版本便可以通过。但假如它的信息扣分恰好来自地点和时段错误,页面再漂亮也无法把来访者带到正确的活动现场。
这不说明加权评分一概没有价值。问题在于,小叶把一个“不应通过其他表现抵消”的条件,放进了允许相互补偿的算式。在评分之前,应先识别这类条件。
他可以先要求本轮已知地点、时段错误全部修正并复核;满足以后,再比较两种页面在查找便利、视觉层次和维护成本上的取舍。这样的顺序更符合任务实际需要。
2. 同样一次错误,影响可能差别很大
一张卡片的标题少了一个不影响理解的修饰词,和把下午两点写成上午十点,不能仅因为各占一个字段就认定影响相同。
指标可以先帮助发现问题,接下来的处理仍需要认识问题的后果。小叶可以区分会使来访者做错行动的信息问题、会明显阻碍理解的问题,以及不影响当前使用的小瑕疵。类别不用很多,只要能帮助安排修正顺序。
这里也不能反过来把所有事情都划为严重问题。若任何标点、间距和措辞偏好都拥有同样的阻断作用,工作便可能一直无法交付。重要程度需要由具体使用场景解释,而不是由检查者当时的情绪决定。
3. 最低要求与继续改进的方向可以同时存在
对一次校内活动,一个页面也许已经满足本轮接收条件,但仍有值得改进的地方。例如手机上的标题层级可以更清楚,某些活动的介绍可以更生动。这些改进不必全部挤进发布前的最后一小时。
把它们明确记为后续改进,并不意味着忽略质量,而是承认当前有不同阶段和资源条件。最低要求帮助决定能否进入下一阶段,改进方向帮助决定以后把时间放在哪里。
与此相应,通过验收也不等于它在所有场景里都完美。它表示按照已经说明的用途、范围和检查方法,这一版成果获得接收。这个结论越具体,后续协作越容易保持一致。
六、不容易用数字表示的质量,怎样讲清楚
1. “清楚”“有深度”“有创意”也可以展开讨论
小叶让 AI 写一段活动介绍,提出“简洁、生动、有吸引力”。这几个词表达了方向,却未必足以让双方对同一段文字作出相近的判断。
一个版本可能用了很多形容词,另一个版本可能直接写出参加者可以亲手完成什么。前者读起来热闹,后者更方便来访者决定要不要参加。究竟哪个更好,要回到介绍服务的读者和当前用途。
小叶可以把“有吸引力”展开成几个可讨论的问题:读者能否看出这项活动有什么具体体验?有没有一个与活动内容相符的细节让人产生兴趣?有没有为了显得精彩而许诺材料没有支持的效果?
这些问题不一定要各打二十分。团队可以对着具体文字讨论,给出理由和修改建议。能被检查,不等于必须被压成一个数字。
2. 用具体表现描述质量层次
对于“活动介绍是否足够帮助读者行动”,小叶可以准备这样一组描述:
| 观察到的表现 | 当前判断 | 后续处理 |
|---|---|---|
| 读者能说明自己是否适合参加,并找到时间、地点、报名要求;没有自行猜测关键条件 | 已支持本轮使用 | 检查其他要求后决定是否接收 |
| 主要内容可理解,但某个关键条件需要向组织者额外询问 | 仍需补充 | 找到缺失条件的依据,补写或明确查询方式 |
| 读者容易误解参加条件,或据此选择错误的时间、地点 | 当前不能用于发布 | 优先修正错误并重新检查 |
这里的层次由表现来区分,而不是由“优秀、良好、合格”几个词互相解释。看到不同结果的人,可以指出自己依据了表中的哪一类表现。
这种描述仍然需要判断。例如,什么叫关键条件,要看使用者下一步做什么。只想了解活动氛围的人可能不急于报名,但准备当天下午直接过去的人,需要知道是否接受现场参加。若任务对象不同,描述也应调整。
3. 先一起看几份样例,发现标准里没有说清的地方
假设小叶和一位同学分别评价同一段介绍,小叶认为可以发布,同学认为缺少信息。继续争论“你要求太高”或“你不够认真”,往往解决不了问题。
他们可以把分歧落到具体位置:小叶假定读者已经看过活动总表,同学假定读者只会看到这一张卡片。原来,两人对使用条件的理解不同。若卡片将被单独转发,报名方式便应能从卡片本身或其中的明确入口找到。
共同检查几份样例,可以在批量制作前暴露这种分歧。最好既看一份容易判断的合格样例,也看一份明显有问题的,再讨论一份处于边界的。它们不必组成复杂的标准库,三份实际材料就可能有很大帮助。
4. 稳定的判断与对的问题,缺一不可
如果每次用同一套方法都会把“字数越多”判为“解释越深入”,结果可能相当稳定,却没有真正测到解释质量。反过来,大家都同意应该看读者理解,但检查方式每天变化,也很难比较改进前后的表现。
评价中常用“效度”讨论是否测到了想测的内容,用“信度”讨论在合适的重复条件下结果是否可靠、一致。对小叶而言,先记住这两个问题即可:我们看的是不是关心的东西?同样的材料在相同条件下,会不会因为判断方式含糊而得到完全不同的结果?CDC 的证据收集指南也把评价问题、指标、数据来源和资料质量联系起来讨论。
这并不要求审美和创意变成没有分歧的考试答案。对于合理的审美差异,可以保留不同意见,并说明各自偏向哪一种表达效果。标准的价值是帮助合作,不是抹去判断本身。
七、谁说“已经检查过”,和真正检查了什么
1. 自我报告可以帮助整理,不能独自证明结果
小叶请 AI 自查开放日卡片,它返回了一份很详细的说明:“已检查全部字段,没有发现问题。”这份说明可以作为接下来核对的线索,但如果里面没有对应资料、检查范围和具体发现,小叶仍然不知道它实际比较了什么。
可能的情况包括:AI 检查了是否存在空白字段,检查了文字是否通顺,或者只是根据自己生成的内容再次判断有没有明显矛盾。即使这些检查认真执行,也没有自动完成“对照活动确认资料”的工作。
更有帮助的返回内容,是逐条列出活动编号、对应资料的位置、不能确认的字段和发现的冲突。这样,小叶可以顺着结果去验证,而不必从一句总体评价重新猜测。
2. 检查者需要能够接触判断所需的材料
若地点变更通知只在小叶自己的聊天记录里,负责审查的 AI 没有得到这份通知,它就无法据此发现旧地点已经失效。把审查要求写得再严厉,也不能补上缺失的事实。
同理,如果一个同学负责看手机端排版,却只拿到文字文档,没有看到最终页面,他就无法确认标题是否被遮挡、按钮是否能够点击。验收方法需要与所要判断的性质相匹配。
AI 可以参与结构检查、材料比对、问题归类和检查报告整理。对于具体实现,能够真正读取文件、打开页面或执行程序的工具,还可以提供相应观察。小叶要看的是观察从哪里来,而不只看检查者叫什么。
3. 多一个检查者,价值来自多了什么证据
请第二个 AI 审查,有时能发现第一个遗漏的地方。但如果它拿到同样缺失的资料,又沿用同一种错误假设,两份一致的评价仍可能共同偏离事实。
因此,增加检查者以后,可以问:这次增加了独立的来源比较、不同的操作条件、真实的使用观察,还是只增加了一次对同一段文字的评价?这些不同安排提供的帮助不一样。
对开放日页面,资料核对与新来访者的任务观察互相补充。前者能够检查活动信息是否符合依据,后者能够发现入口难找、措辞含糊等使用问题。两者有交叉,但不能互相替代。
4. 看见失败过程,比只得到一个低分更容易改进
二十次查找任务里有五次没有完成。只有“成功率百分之七十五”,小叶知道尚未达到预期,却不知道该改哪里。
小叶进一步整理本轮的任务记录,发现两次失败是因为活动类别名称与读者习惯不一致,一次是因为报名入口藏在展开区域里,另外两次是因为卡片时间信息错误。有了这些具体记录,下一步就知道从哪里改起。
他可以调整分类名称和入口呈现,修正时间信息,再安排新的任务观察。每一类修正都有对应的问题依据,团队不必把所有页面重新美化一遍。
这里记录的任务完成情况,也只支持这次观察条件下的结论。二十次任务不是所有未来用户的完整代表,更不能凭一次结果证明 AI 已经让全校效率提高了多少。小规模观察仍然有价值,只是它的用途应当与证据范围相称。
八、在不同时间点,看不同层次的信息
1. 提前出现的信号,能帮助我们及时行动
开放日开始以后,来访者有没有顺利找到活动,是较接近实际结果的信息。但如果小叶直到当天结束才第一次发现地点材料还没有确认,已经来不及帮助当时走错路的人。
因此,他在制作过程中也可以看一些提前出现的信号:还有多少活动缺少确认资料,关键字段已经核对到哪里,新来访者是否能够看懂样例卡片。这些信息帮助判断工作是否有条件按时完成。
我们常把对未来表现具有提示作用的观察称为领先指标,把实际结果发生后取得的观察称为滞后指标。名称取决于所讨论的结果和时间关系,不是某个数字天生属于一类。
例如,样例卡片通过检查,对“样例是否合格”已经是结果;相对于“整批页面当天能否支持来访者使用”,又可以是一条提前信号。小叶只需知道它现在帮助预测或判断什么,不必纠结唯一分类。
2. 提前信号需要不断和后续表现对照
如果团队连续几次看到“卡片全部生成”,但每次都还需要很久才能修正并发布,那么生成完成就不适合作为已经接近交付的充分证据。
小叶可以进一步观察从生成到接收通常还卡在哪里。也许不是文字生产慢,而是资料确认不及时;也许卡片信息已经准确,但页面里的活动分类一直让新人困惑。
这与经济学部分的瓶颈讨论相接。指标能帮助把注意力放到限制整体完成的地方。若它只展示最容易增长的数量,就可能让大家忽视那个真正限制交付的环节。
3. 平均数可以有用,也可能漏掉一部分人的经历
考虑另一组独立的页面查找观察:十次任务中,八次各用一分钟,另外两次各用十一分钟,最终全部完成。平均用时是三分钟,中间位置的两次观察都为一分钟,因此中位数是一分钟。
若只说“大家一般一分钟就能找到”,那两次很长的查找过程容易被忽略。若只说“平均三分钟”,也无法知道是人人都在三分钟左右,还是少数任务特别困难。
小叶可以同时说明:十次都完成,八次在三分钟内完成,另外两次各用了十一分钟。这个简单描述就足以提醒他查看哪类问题困难,不一定需要立刻引入复杂分布模型。
测量任务完成与完成时间,是服务使用观察中常见的做法;同时看实际过程,可以帮助解释数字。GOV.UK 对服务效果观察的说明提供了这一基本思路。
4. 生成速度与完整工作耗时分别回答问题
AI 两分钟生成一批文字,小叶又用四十分钟补资料、修内容,再用十八分钟导入和检查页面,那么这次完整工作投入不能直接写成两分钟。
如果三段由小叶顺序处理,且这些时间均按本次占用计,合计是一小时。若生成期间他可以正常做别的事,人的实际投入又可以另行计算。与经济学部分一样,时间指标要说明算的是机器运行、人投入,还是从开始到交付的经过时间。
这不是要掩盖生成速度的提高。两分钟本身可以是有用的观察。只是小叶在判断本周还能承接多少工作时,更需要知道完整交付占用了多少资源。
九、检查方式会怎样改变人和 AI 的工作
1. 被明确要求的部分,通常更容易获得注意
小叶要求同学每人整理二十张卡片,却没有说明是否需要合并重复活动。于是大家自然会优先寻找容易写的条目。一场活动的几个相似介绍,可能被分别整理成多张,卡片数量很快达到目标,实际覆盖的活动却没有增加那么多。
这未必出于恶意。同学可能只是按已被强调的条件完成工作,而小叶在心里默认的“二十项不同活动”没有说清楚。指标的不完整,会让合作中的努力方向出现偏差。
对于 AI,也可以发生类似的结果。如果反复强调“务必达到一百条”,却允许没有依据时自行补全,输出可能更贴近数量和形式要求,却更难满足真实的信息需要。这里不需要假设 AI 有人的计件动机;明确给出的生成要求,本身就会影响它如何组织回答。
2. 数字可以变好,工作却没有实质改善
如果小叶要求“每张卡片必须有三个来源”,AI 可能把同一份活动说明的三个页面都列上。链接数量增加了,却不一定增加了支持地点和时间的有效证据。
如果要求“每次答复必须在三十字以内”,有的答复会很简洁,也可能把必要的报名限制删掉。如果只看“没有投诉”,团队可能把反馈入口放得很难找到,数字下降而实际困惑仍然存在。
这些例子说明,观察量和真正关心的性质之间需要有关系,而且这种关系可能随着工作方式改变。不能因为一个指标原先有用,就认为无论怎样围绕它安排任务,都始终代表同样的质量。
管理控制也可能因为不合理的目标和要求而引导出不合适的行为,可参看OpenStax 对控制要求影响成员行为的讨论。本章的卡片与 AI 情景是原创迁移,不把人类组织中的动机解释直接套成 AI 的心理活动。
3. 处理办法不是不断增加指标数量
发现数量会失真,便增加字数;发现字数会失真,又增加来源数、图片数和段落数,这样很容易得到一个越来越复杂的表,仍然没有接近读者真正需要什么。
小叶可以保留少数有用的观察:不同活动的覆盖情况、关键事实的核对状态,以及代表性使用任务的表现。出现异常时,再回到具体材料和过程里追问。
衡量体系不可能预先穷尽所有情况。让数字和真实样本保持联系,比幻想设计一个永远不会被误解的总分更实际。与此同时,允许成员提出“这个要求正在妨碍任务”的证据,能够帮助及时修正不合适的标准。
4. 示例帮助理解,检查仍要覆盖新的情况
小叶在制作前提供了三张好卡片,帮助 AI 和同学理解风格。这是有用的共同参照。但若最后只检查这三张已经反复修改过的样例,就不能据此推断其他卡片也同样合格。
可以另外挑选具有不同条件的活动:需要预约的、不需要预约的、上午与下午分场的、地点发生过调整的。检查这些情况,是为了了解方法在目标范围内能否使用,不是故意设计与真实任务无关的陷阱。
如果之后为修正问题又使用了这些材料,下一轮扩大范围时还应留意新情况。示例、练习材料和最终观察,各自承担什么作用,小叶应当心里有数。
十、验收也占用资源,怎样安排才合适
1. 检查要配合错误影响和工作规模
如果小叶只需要把一份已经核实的小名单改成表格,快速对照原文和检查总人数,可能已经足够。如果要生成一百张独立活动卡片,且不同来源经常更新,检查范围就需要扩大。
决定检查多少时,可以先看几个具体问题:错误会造成什么后果,哪些地方容易出错,能否在发布前发现,遗漏以后是否容易纠正。它们帮助安排注意力,不要求每次写一份复杂的风险报告。
对地点和时段,小叶可能选择逐项核对;对纯展示性的颜色和间距,可以先看典型页面和不同屏幕条件。选择不同方式应当有理由,不能把不方便检查的地方一概标成已经通过。
2. 抽查没有发现问题,不等于全部没有问题
从一百张卡片中选取十张,全部符合要求,这条记录能够支持“抽到的十张没有发现相关问题”。要把结论扩大到整批,需要进一步考虑如何选取、问题是否集中在某类活动,以及容许的遗漏程度。
如果这十张都是小叶刚刚手工修好的,结果对其他九十张的帮助很有限。如果选取能够覆盖不同资料来源和不同活动条件的卡片,观察可能更有针对性,但仍不等于逐张核对。
概率统计部分会继续展开抽样与不确定性。这里先保留一个管理上的基本做法:在报告里说明实际查了哪些内容、采用什么方法,把已经检查的范围与尚未检查的范围分别写清。
3. 尽早看一小部分,可以减少整批返工
小叶不必等一百张全部完成,再第一次告诉协作者报名方式写得不清楚。他可以在三张覆盖不同情况的样例出来后先讨论,再继续制作。
提前看样例能够发现共同理解的问题;最后看完整交付能够检查这一批实际成果;使用以后再看反馈,能够发现之前没有覆盖到的情景。这些检查发生在不同时间,目的也不同。
如果任务已经很熟悉、输入格式也稳定,就不一定每一小批都需要人工停下来确认。重复设置相同检查点,也会占用双方注意力。检查安排应随着经验和证据调整。
4. 修改标准时,说明是改要求还是改成果
假设开放日临时增加了二十项活动,团队原定范围只有一百项。小叶需要把新增范围、资料取得时间和交付要求一起讨论,不能既坚持原来工期,又把新增内容默认为原来就承诺过。
相反,如果原来一百项中已经有十处地点和时间错误,不能在看到结果后把“关键事实符合资料”偷偷改成“整体看起来差不多”,再宣布已经按原标准完成。
合理调整需要说明发生了什么变化、从哪个版本或时点开始采用新的要求,以及过去的结果仍按什么口径解释。这样既给现实变化留空间,也保留合作双方可以信赖的记录。
十一、把本章知识放进一次完整的任务交代
1. 先让对方理解用途,再说明接收依据
小叶可以把开放日卡片任务这样交代给 AI 或同学:
这批卡片面向第一次来学校的开放日来访者,需要帮助他们选择活动,并知道时间、地点和报名方式。请按已列出的活动编号整理一百项,每项保留活动名称、适用对象、地点、时段、报名方式。使用本轮提供的确认资料;资料缺失或冲突时,列入待确认清单,不自行补成确定事实。
先交三张能够覆盖不同报名和时段情况的样例,方便核对理解,再继续整批制作。交付时附活动编号与依据的对应关系,说明缺项、冲突、已经修正和仍待处理的内容。生成完成与检查完成分别报告。
发布前,地点和时段等影响来访者行动的信息需要完成核对,已发现的错误修正后再复核。页面还需要支持新使用者完成事先说明的查找任务:在三分钟内找到符合给定条件的活动,并正确说出相应时间、地点和报名要求,不由组织者替他指出答案。本轮安排二十次独立任务观察,至少十八次符合条件作为本轮接收要求之一;观察时记录未完成原因。
这里给出了一个具体的三分钟条件,用来补全本章开头提到的约定检查方式。小叶需要在实施之前说明它,而不是看到十五次成功以后临时改出一个条件。三分钟、二十次和十八次都是本教学场景的给定安排,具体项目可以另行确定。
2. 让返回结果支持决定,而不只是宣布好消息
按照开头这一次检查,当前状态可以这样写:一百张初稿已生成;五百个字段均已对照本轮确认资料;九十张卡片五项全部符合,另外十张有地点或时段错误,尚待修正;二十次查找任务十五次达到条件,五次没有达到,已记录原因。
这份说明没有抹去已经完成的工作,也没有用“整体不错”掩盖尚未满足的条件。小叶据此可以安排内容修正和页面调整,并知道本轮还不能按既定标准接收。
同时,不应把九十张信息符合直接写成“九十张已全面通过验收”。这些卡片通过的是本轮字段核对,页面查找任务却尚未达到接收要求。信息核对与使用观察需要分别报告,不能拿其中一项的通过替代另一项。
3. 保留证据,下一步才容易接上
小叶不需要把所有聊天过程复制给下一位协作者。更有用的是保留当前版本、活动编号、依据位置、问题记录与本轮接收决定。下一位同学看到这些内容,就知道从哪里开始修正,哪些事项需要重新确认。
如果只是把“请把页面做得更好”交给另一个 AI,它可能主要调整字体和配色,因为当前没有足够信息告诉它真正的问题。清楚的验收记录,也是在向后续工作传递上下文。
当修正完成,再核对受影响的内容,并考虑相关变化是否波及其他位置。比如活动时段既出现在卡片里,也出现在首页筛选条件里,就需要一起更新。任务分解和依赖关系将在后面的章节进一步展开。
本章的核心做法可以逐渐变成小叶的习惯:看见一个“已经完成”的声明,先明确它完成了哪个对象、依据什么条件、有什么观察支持,然后再决定接受、修正还是继续了解。这种判断不需要每次写成正式表格,却能持续影响他怎样使用 AI 和组织协作。
十二、练习与参考分析
练习一:同一个百分之七十五,能说明什么
小叶安排一项面向五十名已报名同学的学习练习。三十六人提交材料,二十七份达到要求,剩余十四人尚未提交。他准备写“本次学习达标率百分之七十五”。这句话应该怎样修改?
**参考分析:**二十七除以三十六确实是百分之七十五,但范围是提交者。完整的表述可以是:“五十名报名者中,三十六人已提交,其中二十七人达到本轮要求;提交者达标比例为百分之七十五,全体报名者中已确认达标的比例为百分之五十四。”
还应记录九人已提交未达标、十四人状态待确认。下一步既可以支持已经发现困难的人,也可以了解未提交的原因。不能为了让百分比高一些而删除未提交者,也不能在缺少依据时断定这十四人全部没有学会。
练习二:文件存在,是否证明这批图片已经可用
小叶请 AI 制作一批活动指引图。检查脚本显示文件数量正确,每个文件都能打开;AI 据此说“全部验收通过”。小叶准备把图片直接放进活动页面。现有检查够不够?
**参考分析:**文件存在且能打开,证明了交付结构的一部分条件,尚未证明图中的地点、箭头、文字和活动信息正确,也没有说明在最终显示尺寸下能否看清。小叶需要根据用途补上相应检查。
例如,先对照活动安排核对指向,再在页面实际使用尺寸下查看重要文字。对已有检查应准确命名为“文件检查通过”,而不是否认它的作用。问题出在把局部检查扩大成了整体接收结论。
练习三:九十分的版本,为什么仍然需要修正
小叶收到的页面在综合评分中达到九十分,但报名入口指向了另一场活动。有人认为:“标准就是九十分,总分够了就应该用。”应该怎样处理?
**参考分析:**先修正会导致用户办错事情的入口,再复核相关位置。总分的补偿关系不适合处理这一类缺陷。若原标准没有说明这种情况,团队需要承认标准存在遗漏,说明为什么补充条件,并与协作者协商由此产生的安排。
既不能因总分够高而忽视实际问题直接发布,也不能假装新增条件原先就已经明确。接收决策与合作中的责任判断需要同时诚实:成果现在需要修正,标准本身也需要改进。
练习四:平均两分钟,是否足以判断查找顺畅
另一次查找观察中,八次任务全部完成。七次各用一分钟,一次用九分钟。小叶报告平均两分钟;同学据此认为没有必要再看具体记录。你会怎样分析?
**参考分析:**总时间十六分钟,平均确实为两分钟。但若关心三分钟内能否完成,八次里只有七次满足,比例为百分之八十七点五。那次九分钟可能暴露某一类用户问题,也可能只是一个不适合直接推广的特殊情景,需要看记录才能判断。
这里不应把平均值宣布为错误,也不应看到一次长用时就断言整个页面很差。更完整的观察,是同时说明总体完成情况、时间分布中的差异,以及较慢那次发生了什么。
练习五:创意任务一定要变成计分表吗
小叶请 AI 为摄影体验活动写开场介绍。他希望表达有新意,但不愿把创意变成“必须三个比喻、五个形容词”。可以怎样建立有帮助的接收依据?
**参考分析:**先说明对象与用途,例如让第一次参加的人理解现场会做什么,并愿意投入接下来的体验。可以共同看几个不同风格的版本,讨论哪种细节产生了兴趣、哪处表达只是热闹却与活动无关。
活动事实和参加方式需要准确;在此基础上,可以保留比喻、叙述顺序、语气等方面的探索空间。评价可以附理由和示例,无须给每种修辞计件。标准帮助识别表达效果,同时给不同的好方案留出余地。
练习六:没有资料的字段,应怎样交回
小叶收到一批卡片,其中几个报名要求没有来源,AI 暂时填成“无需报名”,并在报告里说没有发现错误。另一位 AI 阅读卡片后也表示同意。这能支持接收吗?
**参考分析:**两次同意没有补上活动报名要求的依据。应把这些字段改为待确认,取得资料后再填写;必要时先接收不受影响且已经满足相应条件的部分,并清楚标出当前交付范围。
待确认不是已经证明错误,但也不是已经核查正确。报告应呈现这种状态,让小叶决定找谁确认或如何调整安排。继续增加对同一份卡片的无资料评价,无法代替所缺的信息。
下一章《计划与任务分解》继续讨论:明确目标和接收依据之后,怎样把工作组织成能够逐步完成、相互衔接的任务。