第一批 AI 场景怎样排序？同时评估频率、价值、标准化程度、数据条件、风险与可逆性

排序结果不是一张1—18名榜单

岚桥物流有1,480名员工、12个运营站点。E01式盘点得到18个AI候选：业务呼声最高的是“自动批准运费发票”，演示效果最好的是“全公司物流知识助手”，客服想生成延误回复，报价团队想检查重量、区域和附加费。季度项目可用建设容量只有12人周，业务专家只能在固定窗口参与。

项目组没有让部门投票，也没有计算“价值25%+风险20%”总分。六道硬性放行门槛先把18项分成9项可比较、3项补基线、3项补数据治理、3项停止或重构。9项再按任务证据分入三类业务结果：客户结果、交易质量和低风险采用；最后选择延误回复草稿5人周、报价一致性检查4人周、会议行动包2人周，保留1人周处理评估缺口和意外。

得分最高并不等于最先做，低风险也不等于有价值。第一批组合要同时产生业务结果和组织能力：版本化知识/引用、结构化规则检查、真实使用者的人工确认与反馈。其余场景有负责人、缺口、下一证据和复核日期，不因未入选就从清单消失。

公司、任务、成本、样本和结果均为虚构教学案例。本文不是适用于所有企业的排序公式，也不替代安全、隐私、劳动、行业、采购、法律或财务判断；高后果场景须由相应专业人员与受影响方参与。

现状清单不能直接变成优先级

E01的27个工具或38类工作流只是现状清单，不能直接把“使用人数多”变成试点。一个常用会议助手可能无需新建AI项目，一个少见但昂贵的理赔任务可能值得先补数据；一个热门消费型工具也不代表企业应采购同类产品。

本篇不选择具体模型、供应商或RAG方案；那是在场景任务、输入、评估和边界确定后的后续决定。若候选卡已经写“用某厂模型建智能体”，项目组先去掉解决方案，重新问当前任务与非AI替代方案。

先把“智能客服”拆成一项可判断的任务

“智能客服”可能是搜索政策、草拟回复、判断赔偿、发送邮件或直接创建退款，不能作为一个候选。延误回复被改写为：客服收到国内标准件延误询问后，系统从当前事件、公开追踪状态和有效服务政策生成带来源草稿；专员核对客户/运单/政策后手动发送，不判断赔偿、不承诺时限、不调用退款。

任务合同暴露了一个重要问题：若主要时间花在三个系统切换，非AI统一事件视图可能比生成模型更可靠。试点可同时测试“规则模板+统一输入”和“AI草稿”，不能把所有改善归给模型。

宽场景拆分后数量可能增加，但比较对象更真实。“自动批准运费发票”拆成只读异常提示、证据汇总、审批建议和最终批准；前两项可候选，最后一项本轮停止。拆分不是绕过治理，而是把可逆学习与不可接受动作分开。

项目组还为每张任务卡附一份“最近五件工作”证据。提出人不能只描述理想流程，而要带来五个连续发生、未经挑选的实例，逐件标出谁触发、在哪个系统取数、出现过哪些人工判断、输出被谁消费、发生错误后怎样发现。延误回复的五件里有一件缺少到站扫描、一件客户同时询问赔偿；这立即证明“所有延误都能自动答”是假范围。报价检查的五件里有一份旧版附件、一份把公斤写成磅；这使单位转换、附件版本和人工定价成为明确测试，而不是上线后的意外。

任务合同另存当前非AI路径的成本与改善空间。延误回复可先比较三组：原流程、统一事件视图加固定模板、统一事件视图加AI草稿。若第二组已经把9.6分钟降到7.4分钟，而AI组只到7.2分钟，AI的边际贡献只有0.2分钟，并不拥有全部2.4分钟差值。报价检查也先执行确定性规则；模型只处理附件候选与冲突解释。这样既防止把接口改造功劳记给AI，也让项目在模型不通过时仍能交付可用的流程改善。

没有当前事实的场景只能进入“准备”

A表示直接运行/责任证据，B表示有限样本或可复算估计，C表示工作坊意见；它不是风险或价值分。样本口径、日期与缺失保留。活跃时间的120件不能替代3,200总量，但能用于估计处理时间并做敏感性区间。

三个“准备基线”候选分别缺少翻译返工、销售跟进真实使用与需求报告下游决定记录。项目组给数据负责人两周补齐，不把“大家都浪费很多时间”写成年度百万元价值；若补不到，任务可能不值得为测量而建设。

基线也记录目前正确停止：客服把危险品或赔偿问题升级的比例不应因AI下降得越多越好。项目只追求无必要升级减少，必须分失败类型，不能把升级率当单向效率指标。

时间基线不只报一个中位数。120件样本按普通延误70件、资料缺失25件、赔偿或危险品升级15件、其他边缘10件分层，并保留P50、P80与最大值；3名观察员用统一起止定义，暂停等待客户回复的时间不计活跃处理，却仍计入周期时间。若工具只改善普通70件，项目不能把结果外推到全部3,200件。正式试点用相同分层权重回算总体，同时单列每层结果，防止总体中位数变好却把少数高后果任务拖坏。

返工也要建立事件链。一次客户再次来信可能来自回复错误、物流状态继续变化、客户没读邮件或本来就追问赔偿。160件编码样本由两名专家盲标，先约定“可由首次回复避免”的定义，再报告一致与分歧；无法确定的案例保留状态未知。只有可避免重复联系的比例下降，才支持草稿改善客户结果。把全部448次重复联系都归因于文本质量，会把上游物流波动误算成生成系统收益。

六道硬门决定能否进入试点

六门必须同时通过。负责人愿意开会但不给专家时间不算负责人；文件存在但版本/权限不清不算数据就绪；一句“人工复核”若没有复核对象、证据、位置和留痕不算遏制。

放行门槛结果可随证据变化。设备异常编码因为历史标签不一致，先放数据治理；修完分类法与抽查后可重审。自动付款最终批准即使数据完整，仍因直接改变资金且本轮没有安全撤回设计而停止；只能重新定义只读异常提示。

每个放行门槛由证据负责人与质询评审人分别签字。业务负责人不能独自判定自己场景通过：数据门由资料负责人核对权利、版本和访问，遏制门由风险或运营人员实际演练错误输出怎样被拦，可评估性则由未来承担判定的专家确认样本量与评分标准。质询会议不讨论“喜不喜欢AI”，只问哪条证据能推翻通过。若客服界面没有强制展示运单号、事件时间与政策版本，审核者无法在处理量压力下发现错配，遏制就保持准备，而不是因为有人坐在屏幕前自动通过。

通过也带有效期。报价规则在费率季更新后重验数据与评估，人员任务在劳动政策改变后重验影响，资料许可或供应商处理地点变化后重验权利。候选记录写明有效截止日与重审触发器；过期证据不能复制到下一季度继续沿用通过状态。这个机制使优先级成为可更新的决策账本，而不是一次工作坊留下的永久排名。

18项候选都要留下决定理由和下一动作

9+3+3+3=18。停止不是宣称任务永远不能用AI，而是本轮没有可接受上下文。重构产生新候选 ID并保留父子关系，不能把“自动批准”悄悄改名“辅助审批”却维持同一动作。

候选负责人要在决策记录中签收缺口和日期。两周后仍没有负责人或证据的准备项标为暂缓，不长期占据“下一批”制造虚假的候选池。

六个比较维度保留各自的证据单位

频率不设置跨企业通用的“3,000次=5分”；3,200封回复与290件理赔不能只比数量，因为单位、后果与专家时间不同。价值也分容量、周期、质量、客户、风险，不强行折成人民币；可以合理货币化时保留公式与范围。

标准化高只说明适合定义接口，不保证值得做；数据就绪也不保证允许用途；可逆性高不能抵消资料权利失败。维度是比较语言，不是互相兑换的积分。

为了让两名评审对“强或弱”有同一含义，每个维度附观察锚点。频率记录近12周分布与峰值，不接受年度总量除以12；价值至少连到一个有负责人的业务结果并列出替代解释；标准化要用双人独立标注测关键字段一致；数据条件要求随机样本覆盖、缺失和版本，而不是展示最佳文档；可控性必须用注入错误演练发现率；可逆性要写恢复动作、最长窗口、受影响对象和成本。评审仍可有判断，但分歧会落在可追问事实，而不是“我给4分、你给3分”。

多维对比还要保留表现最差的切片。例如整体资料覆盖92%，但新开站点只有71%，就不能只显示92%；报价附件总体占16%，若某地区达到43%，该地区必须单独限制或补修复。一个场景可以在普通分布上表现良好，却在峰值或特定人群上薄弱。组合选择使用最相关的运营切片，防止平均值把真正部署边界抹平。

价值必须连到业务结果和反事实

延误回复当前3,200件/月、抽样活跃时间 9.6分钟。若统一事件视图+AI草稿将中位数降到7.2分钟，容量差为3,200×2.4/60=128小时/月；低情境2,560件×1.2/60=51.2小时，高情境3,840×3.0/60=192小时。报告展示三种情境，不只展示128。

报价“少55次返工”不能再乘0.7天宣称省38.5个工作日，因为返工可能并行，延迟也不是劳动时间。试点分别测更正循环、准时报价和客户等待；货币影响需要毛利/流失的额外因果证据。

会议行动约34小时只是释放容量，是否变成业务价值取决于行动完成、会议质量与时间去向。价值卡写负责人计划如何使用释放时间，90天后比较，不把模型生成分钟当收益。

试点经济记录采用“增量成本—可证实容量—结果变化”三栏。增量成本包含5人周建设、48小时客服专家、资料接口、评估运行、培训、支持和后续维护；容量只按实际采用率计算。若12名客服只在40%的合格案例中使用，即使每件节省2.4分钟，也不能按3,200件计算128小时。若处理时间下降但事实修改率从6.5%升到8%，项目先判定质量保护指标失败，不能把节省时间折价后仍宣布净收益为正。不同单位的结果保持并列交给负责人判断，不伪造一个统一投资回报率小数。

反事实由分阶段发布建立。前两周只优化统一输入和模板，取得非AI对照；随后在同类案例中交替显示模板或AI草稿，按站点、人员经验和案例难度分层。由于运营不是随机临床试验，报告明确排班、旺季与学习效应等限制，并检查两组基线是否可比。若无法可靠分组，就用中断时间序列加人工审计，并把因果置信度降级。优先级所需的是足以决定扩大、修改或停止的证据，不是把相关性包装成精确收益。

标准化要看稳定核心和异常分布

专家一致性用样本测，不问“流程是否标准”。项目让三名专家独立标30例；若同一关键字段分歧高，先澄清评分标准或允许多个有效，不训练模型学习多数人的偶然习惯。18%的异常标签分歧让编码建议只能保留原事件与候选理由，不可自动写回主记录。

非AI规则也参与比较。报价的单位、区域和附加费校验高度确定，应先用规则引擎；生成模型只解释冲突或从非结构附件提取候选。把所有步骤标AI会增加不可预测性和评估负担。

30例专家一致性测试不只计算一个百分比。关键字段分成事实抽取、规则适用、例外理由和允许输出：三名专家对事实字段29/30一致，但对“协商费率是否覆盖燃油附加费”只有22/30一致，项目便把前者纳入规则检查，后者要求定价专家确认。分歧会议产生可版本化评分标准和反例，不强迫所有合理判断只剩一个标签。下一次规则或产品数据更新后，用原30例加新失败例回归，观察一致性是否因定义漂移而下降。

标准化还区分任务稳定与环境稳定。会议行动字段看似固定，但不同团队对“口头建议是否算承诺”理解不同；延误政策字段稳定，物流事件却可能迟到；维修记录模板固定，设备型号和缩写持续变化。因此卡片分别写稳定接口、允许变化、检测变化的方法与负责人。只有系统能识别超出已知分布并转人工，稳定核心才真正可用。

数据条件不等于“有很多文档”

92%/84%不是合格率：它们只描述本轮样本中可取到必需输入。缺失案例必须进入回退并计入分母；若产品只展示能检索的92%，会虚构性能。附件修复工作算入4人周，不当作免费前置条件。

数据准备还有时间窗口。今天当前的策略下月可能失效，试点保存输入版本和生效时间；访问权限从源继承，不建立一个全员可见副本。知识助手因任务过宽、版本和权限不清进入准备，而不是靠向量库演示越门。

风险可控与可逆性必须分开

“人在回路”只有在审核者看到原始证据、知道检查标准、有时间、有否决权且动作尚未发生时才算控制。若系统一次生成500封回复，主管只抽5封，不能说500封都经过人工批准；若界面默认接受并隐藏状态未知，人工存在也可能只是橡皮图章。

可逆性记录恢复窗口和成本：草稿未发可删除重做；报价已发可更正但影响信任与交易；付款执行后还涉及追回、对账与供应商权益。项目先选择外部影响前可拦的形态，不把“事后能道歉”当高可逆。

不确定性要写进每个结论

项目组不把目标与基线放在同一列称“预计节省”。目标在试点前是可证伪假设；输入量、采用率、人工复核与维护任何一项变化都会改经济结果。置信度C但风险低的任务可用小样本学习；置信度C且高后果的任务先补证据，不以试点替代必要治理。

决策记录保存反证。例如客服专家担心草稿让新人过度信任，会议负责人认为人工确认可能抵消节时；这两项成为评估和采用观察，不在讨论会后删除。排序质量取决于是否看见关键状态未知，而不是所有单元格都填满。

不算加权总分，先否决，再比较支配关系

流程分四步。第一，硬性放行门槛否决；第二，在相同通道比较是否存在支配——A在所有关键维度不差且至少一项证据更强，B就不应先占资源；第三，根据本季度明确目标按顺序看结果、控制、数据与努力；第四，用组合约束处理共同能力与专家容量。

admit(scene) = all(owner, task, baseline, data, eval, containment)
compare within same lane:
  reject dominated alternatives
  preserve trade-offs and unknowns; do not average them
portfolio constraints:
  build <= 12 person-weeks
  customer expert <= 60h
  pricing expert <= 48h
  new external-action pilots = 0
  risk/unknown buffer >= 1 person-week
objective order for this quarter:
  1) measurable customer/quality result
  2) critical failure controllable before impact
  3) reusable organizational capability
  4) effort and adoption fit

字典序顺序在看候选结论前由指导小组确认。本季度优先客户首答与报价质量；下季度若战略是风险降低，顺序可能改变。公开顺序比任意权重更能解释为什么低分维度没有被高价值抵消，也允许不同管理目标产生不同合理组合。

支配只在相似结果通道使用。会议行动包与报价检查解决不同结果，不能说一个“全面支配”另一个；它们进入组合取舍。非支配前沿也不代表全做，只表示剩余选择需明确价值判断。

四个热门候选为什么走向四种结果

知识助手不是因为技术难而输，而是没有可比较任务；付款自动批准不是因为价值低，而是动作越过本轮风险容忍。延误回复与报价检查均通过，前者建立版本化证据与引用，后者以规则检查创造质量结果，两者可以共存而非争一个总分。

若用旧权重，付款自动批准可能凭2,100笔/月与高财务价值盖过可控性；知识助手可能凭“全员覆盖”得到高频率。硬性放行门槛让这些虚构优势不能进入加权计算。

12人周之外，还要计算专家与评估容量

人周含设计、数据接口、评估、日志、运行手册与修复，不只写代码。报价附件16%非结构化的修复计入4人周；客服策略版本和检索准备计入5人周；会议包2人周也含同意、确认与反馈。把“已有平台”写成零开发会漏掉真正工作。

专家时间按节点预订，不能假设随时可用。若客户专家实际低于48小时，回复试点缩小样本或延长，不从评估删边缘案例；若安全复核出现高严重问题，1人周缓冲优先处置，不拿来加第四个场景。

三套可行组合不能只按候选名次选择

组合B频率高，但异常标签18%的分歧会让首轮大量时间花在分类法修复上，可先保留为数据项目。组合C的风险控制价值强，但理赔与财务专家复核发生在同一月末窗口，专家容量冲突。组合A覆盖客户结果、报价质量与低风险采用，专家群体不同，且两项核心能力可供下一批复用。

A没有填满12人周。1人周是明确工作：未知来源修复、严重评估失败、日志或回滚；若第4周仍未使用，也只可用来扩回归样本/文档，不启动新试点。留缓冲是可交付性设计，不是低效。

三套组合还经过“拿走一个资源”的压力测试。若定价专家容量从48小时降到24小时，A不是让报价试点少评一半，而是把它保持离线、将4人周中的2人周转为主数据修复，并在下个窗口重审；若客服专家降到36小时，回复样本缩小使用范围但保留160件离线评估与20个停止案件。若安全审查发现共同身份控制缺陷，三个项目全部暂停相关实测，缓冲用于修复，不能把缺陷拆成三个低严重度事项。

项目组也记录被选择组合对下一批的真实期权价值。回复试点只有在产出可复用的源版本接口、引用评估集和权限测试时，才为知识类任务创造期权；报价试点只有沉淀规则负责人、变更通知和错误分类法时，才帮助发票异常。所谓公共能力必须列出接口、负责人、维护成本与第二个已确认使用者，不能用“平台化”给当前项目虚增价值。若共享承诺没有落地，季度复盘会下调下一批相关候选的数据条件。

入选三项在组合中承担不同角色

会议包价值低于前两项，却用2人周验证用户是否理解草稿、是否真正确认负责人/截止日期、支持是否可承受。若只做两个复杂后台试点，项目可能获得离线准确率却不知道真实工作如何采用。它不自动发送、不创建任务；参与者确认后才放行。

三个项目有独立负责人和停止，不打包成“一体化Copilot”。共同能力通过版本化接口复用；一个试点失败不自动拖停另两个，但跨客户资料或身份控制等共享控制失败会暂停全部相关场景。

开发前先填好延误回复试点章程

95%是本案例对普通可纠正引用关系的试点门，不允许5%关键错误；20个停止案件必须20/20正确升级。模型草稿缩短时间却提高重复联系或压低正确升级，不通过。评审中位数目标是从9.6降至7.2分钟的假设，不是供应商保证。

样本按最近12周连续案例分层并去标识，不只挑资料完整的问题；缺事件、政策冲突、相似运单和社会工程文本进入边缘组。专家先独立标注，分歧由裁决记录，不把多数票自动当作唯一正确答案。

160件样本在开发前冻结案件 ID与分层规则，100件普通样本覆盖各站点和新人/资深人员常见流程，40件边缘样本覆盖缺扫描、状态倒序、政策切换日、同名客户与附件诱导，20件停止样本覆盖赔偿、危险品、疑似欺诈和跨客户资料。开发者可看训练/调试子集，但最终门禁子集由评估负责人保管；修复失败后新增该失败的邻近反例，不能反复调同一件直到通过。所有比例同时给分子、分母和95%门的具体定义。

人工复核不只计点击“接受”。日志记录专员是否打开原始事件、是否核对政策版本、修改了哪些事实或承诺、用了多长时间、最终发送/升级/放弃以及原因；界面把状态未知与引用缺失置于可见位置，不把AI文本设成无摩擦默认。每周抽取接受未修改、重度修改和放弃三组案例，由专家回看是否出现自动化偏见。培训强调系统是草稿工具，主管不得用接受率考核员工，否则采用指标会被组织激励污染。

八周阶段门允许扩大、限定、修正或停止

报价评估有180份，其中60份带历史错误/边缘单位；会议有60场合成/获准转写，其中20场含隐含负责人或冲突到期。每项都保存正常、边缘、停止与反例，不能用同一“准确率”横比。

项目级结果要看12人周的实际消耗、专家小时、共同控制失败、支持负担与是否得到可复用资产；业务结果仍按各场景分母判断。试点没有达到门槛也可以有序关闭，只要清楚证明哪个假设失败、恢复人工流程、完成资料和访问退出，并更新候选记录。

复用这套排序方法，先写任务卡，再讨论组合

NIST AI RMF操作手册的“情境映射”部分建议定义任务、目的、最低功能、收益、预期环境、非AI替代方案、人工监督与潜在影响，也强调更窄的任务更容易映射收益与风险；“风险管理”部分支持根据评估决定是否继续部署，“风险测量”部分强调在社会技术环境中解释测试与指标。官方页面同时说明AI RMF 1.0与操作手册正在更新，本文只借鉴问题结构，不把六道门或12人周当成NIST要求。GOV.UK效益指南支持在早期建立经济模型、做敏感性分析、审查假设与交付成本，并用实际数据决定继续、改变或停止；这里只借鉴测量逻辑。ISO/IEC 42001官方概览用于说明AI管理系统的持续管理背景，本文不声称企业已经取得认证。

• NIST AIRC：AI RMF Playbook — Map
• NIST AIRC：AI RMF Playbook — Measure
• NIST AIRC：AI RMF Playbook — Manage
• NIST：AI Risk Management Framework
• GOV.UK：Measuring the benefits of your service
• ISO：ISO/IEC 42001 AI management systems

今天选一个最受欢迎的候选，删掉解决方案名称，把它写成触发、输入、输出、后续行动和非 AI 替代方案。若负责人、基线、数据权利、专家评估或外部影响前拦截有一项答不出，就把下一动作交给明确负责人，不打分；只有通过六门，才拿它与同一业务通道的候选比较。