看穿 AI 供应商的演示与承诺

先看结果：演示第一名在真实任务中垫底，报价最高的反而三年总成本最低

岚川工业准备采购合同审查助手，年处理约48,000份采购、销售和经销合同。甲、乙、丙三家供应商分别用12份提前准备的文件演示：条款定位迅速、风险摘要完整、界面流畅。业务高管现场打分，甲96分、乙91分、丙87分；三年基础报价分别为180万元、220万元和260万元，甲最低。

采购团队没有据此定标，而是用180份未提前提供的真实文件、四种权限角色、每小时300份峰值、一次故障恢复、一次版本变化和一次完整导出重新验证。结果次序完全反转：丙在关键义务识别、失败拒绝、权限、峰值和退出上通过；乙可整改；甲在关键条款遗漏、角色越权、超时和导出不完整上失败。

丙没有获得三年采购承诺。企业只批准90天、96万元受限试点，付款与六段验收绑定；任何严重权限串读、关键义务漏检超门槛或无法完整导出，都能暂停并退出。管理层购买的是可验证、可运营和可退出的服务，不是演示时的“智能感”。

本案例为教学用途，公司、合同、供应商、人员、报价、样本、比例、性能和结果均为虚构教学数据，不是行业基准，也不构成采购、招标、会计、数据保护、网络安全或法律建议。企业应由商业、法律、安全和业务人员按适用制度决定采购程序与合同责任。

先划清演示与真实验证各自能够证明什么

演示只能证明“这条准备好的路径曾经走通”，不能证明企业场景可运营

供应商演示通常由最熟悉产品的人、在最稳定的环境里、用提前清洗的样本完成。它可以帮助管理者理解交互和候选能力，却不能证明真实资料、普通用户、峰值、失败路径和持续更新下仍然成立。

若演示出现错误，供应商常会说“正式配置后会改善”；若演示顺利，又会说“已证明价值”。两种说法都跨越了证据边界。购买方应把每次展示记录成已验证的版本、样本、配置、操作人和范围，只对该范围作结论。

现场最有价值的要求不是再看一个成功样本，而是让供应商展示：输入资料缺页时怎么提示、权限不足时怎么拒绝、没有依据时是否停下、人工改判后记录在哪里、服务中断后怎样恢复。

先写验证章程：供应商在同一任务、同一资料和同一停止条件下比较

岚川在邀请演示前建立验证章程，由合同运营负责人而非供应商定义任务。章程锁定业务目的、文件范围、角色、严重度、对照、样本保管、评价人员和淘汰门槛，避免每家供应商展示自己最擅长但彼此不同的内容。

供应商可以质疑任务是否公平，但不能为自己删除困难样本。若产品明确不支持扫描件，可以选择拒绝并正确转人工；“有边界的拒绝”比在不适用资料上自信输出更合格。

评价人在结果解盲前看不到供应商名称，减少品牌和销售关系影响。演示评分不与真实验证评分平均，因为两者证明的对象不同。

把“合同审查准确”拆成可验收任务，平均分才不会掩盖关键漏检

合同审查不是一个准确率。岚川把任务拆成文件识别、条款定位、义务提取、风险分类、来源引用、拒绝升级和人工改判留痕。每项有分母和错误代价。

关键发现率只看50个可能造成付款、独家、责任上限、自动续约或资料使用后果的要点；普通发现率另看150个要点。一个系统找对大量低影响格式问题，不能抵消漏掉责任上限例外。

人工基线也要记录。两名专家在200个发现点上首次一致172个，28个经裁定形成最终答案。真实任务不是永远有唯一答案，因此争议和证据限制必须进入评价记录，不能把供应商与一个未经复核的“标准答案”比较。

180份真实样本要由购买方保管，不能在演示前被供应商调教

样本包来自最近12个月已脱敏合同，由项目外人员抽取。120份是常规文件，30份为扫描或版式异常，15份中英混合，15份含补充协议、冲突版本或手写改动。供应商只提前知道类别和数量，不拿到具体文件。

另有30份隐藏回归样本不参与首轮排名，用于验证供应商整改和版本更新，防止团队针对180份已知文件过度调参。生产期每月再随机抽取真实任务，测试不是采购结束后停止。

脱敏不能破坏任务特征。若把金额、主体关系和日期全部替换成无意义字符，就无法验证金额门槛、关联方和自动续约。样本管理员记录每项替换及其是否改变答案。

用同一批真实任务验证质量、权限、峰值和变化

同一批盲测让排名反转：不能只报一个总准确率

180份文件包含200个已裁定发现点，其中50个为关键要点。三家供应商在同一隔离环境、同一时间窗运行，不能临时由后台专家改答案。结果按关键发现、普通发现、错误警报、引用和人工时间分别报告。

如果只看全部发现率，丙比甲高15个百分点；真正决定淘汰的是甲的关键发现率只有62%，低于75%淘汰门槛。乙78%未达到试点要求的90%，不能直接进入生产，但没有触发淘汰项且整改范围明确，保留为替补。

复核时间由12名普通合同运营人员完成，不用供应商专家速度。它包含核对来源、处理错误警报、改判和升级；供应商界面响应时间不等于任务完成时间。

要求系统正确失败：拒绝、人工介入和恢复比又一个成功答案更能说明成熟度

30份版式异常文件中有8份缺关键页。丙对7份明确报缺页并转人工，1份错误继续；乙对4份报缺，4份给出不完整结果；甲只报1份缺页，其余7份都生成完整口吻的摘要。甲的界面最顺滑，却把未知隐藏起来。

岚川规定任何外部发送、合同修改和审批仍由人执行。人工控制不是页面上有一个“确认”按钮，而是确认人看得到依据、拥有时间、可以拒绝且拒绝不会被绩效惩罚。

若失败率集中在扫描件，公司可以先排除扫描件而不是淘汰整套服务；但允许范围必须写进合同和界面，不能把限制藏在培训材料里。

权限要用四个真实角色现场验证，安全问卷上的“支持细粒度控制”不算通过

测试团队创建采购经办、销售经办、法务复核和系统管理员四类账号，放入跨区域、并购和员工合同等受限资料。操作脚本包含搜索、批量导出、链接转发、离职账号和管理后台查看。

甲出现两项严重的跨角色资料串读，触发淘汰，不再用平均功能分补偿。乙的管理员正文权限需整改，丙进入受限试点但仍要用真实身份系统验证撤权和审计。

供应商提供的认证或测试报告可以作为证据之一，不能替代企业自己的使用情境。数据流、分包方、支持人员访问、保留期限和模型训练用途都要与合同一致。

峰值测试要同时看处理量、排队、失败和账单，平均响应速度最容易误导

岚川平日每小时约80份，季度末峰值可能达到300份。三家演示都用单份文件显示8秒内出现摘要，但批量测试后差异明显。测试统一文件大小、并发、网络和20分钟持续窗，并记录重试是否重复计费。

企业不要求所有任务11分钟完成。采购时真正需要的是季度末关键批次在业务截止前完成、超时可见、重复动作受控、费用可预测。丙的320份/小时覆盖300份需求并留6.67%余量，仍需在生产期监测增长。

合同中的服务水平要以业务任务定义：哪些文件进入分母、计划维护是否排除、批量失败怎样补救、连续两个窗口未达时谁能限流或退出。只承诺接口可用性99.9%不能保证合同任务按时完成。

版本变化是长期风险：采购验收不能只测某一天的好版本

第45天，测试团队要求三家模拟模型或解析器更新。甲默认自动更新且无法保留旧版；乙提前14天通知，可在7天内回退；丙提供30天双版本窗口、隐藏回归结果和分范围切换。

隐藏30份回归样本中，丙的新版本全部发现率由87%升至89%，但中英混合关键发现从14/15降到12/15。总体变好不能自动发布，岚川保留旧版处理混合合同，并要求供应商修复后重测。

合同必须把重大模型、规则、资料处理和分包变化定义为受控变更。若供应商说底层模型属于商业秘密，企业仍可要求结果切片、通知、影响说明和回退能力，而不是要求泄露其全部实现。

集成演示要拆掉供应商的临时人工后台，确认真正由谁完成每一步

演示中甲供应商把一份合同拖入系统，30秒后出现漂亮摘要。日志复核发现文件先被销售工程师转入专用队列，两名后台人员修正了版本关系。人工支持本身不一定有问题，问题是供应商把它描述成产品自动完成，报价也未包含生产所需人员。

采购团队要求供应商在企业控制的测试环境重做端到端流程，临时人员不得接触未授权内容。乙和丙都披露了有限人工支持；甲无法重现演示速度，因此演示数据退出验收证据。

“有接口”也不等于能运营。接口版本、速率、事件重放、身份映射、错误语义和停用路径必须逐项验证，不能等合同签完才发现集成依赖专业服务包。

把价格、未来承诺、尽调和退出放回同一张决策桌

三年全成本把低价次序再次反转：席位只是价格表的一行

甲三年基础软件报价180万元，丙为260万元。财务按真实用量加入存储、扫描识别、集成、专业服务、企业复核、失败补救、版本回归和退出后，三年总成本分别为520万元、460万元和430万元。

丙软件费用比甲高66万元，却因复核、集成、失败和退出少156万元，总成本低90万元。该结论仍要随真实用量更新，不把预测写成保证。

价格比较还要统一口径：席位是否含访客、重试是否收费、扫描页数怎样计量、资料保存多久、测试环境是否收费、峰值是否触发更高套餐、停用后导出和删除是否另付。无法解释的“无限使用”按合同限制而不是销售口头说明建模。

“路线图将支持”只能作为未来选择，不能进入今天的合格分

甲承诺下季度支持完整导出，乙称半年内提供分范围回退，丙计划增加更多语言。这些都可能实现，但采购评分只计当前可验证能力。未来能力进入差距表，写所有者、最迟日期、验收和未交付后果。

没有日期、可验收结果和后果的路线图不是承诺。若未来能力是企业采购的必要条件，正确动作是等待或把合同做成条件生效，而不是先签三年再相信销售关系能推动产品团队。

演示中的“可以定制”同样要拆开：标准配置、付费专业服务、产品改造和客户自己开发的责任完全不同。每类都应给出时间、费用、维护和升级影响。

供应商尽调要追到证据、分包方和运行责任，不能止于一份是非问卷

岚川把安全、资料处理、模型供应、业务连续性和事件响应问题分为“回答、证据、现场验证、合同义务”四层。供应商回答“是”只表示应继续索证，不自动得分。

购买方不需要获得供应商所有内部机密，但必须取得足以判断自己剩余风险的证据。无法提供的项目标为“尚不能判断”，并据风险决定限范围、补偿控制、合同条件或淘汰，不能默认通过。

尽调不是签约前一次活动。供应商被收购、更换模型、增加分包方、改变资料地点或发生事件时，应触发重新判断。证据要有日期和适用产品，集团层面的认证未必覆盖此次服务。

退出演练在签约前做一次：能下载一份文档不等于企业拿回了自己的工作

第70天，岚川要求三家在24小时内导出30份合同的原文件、版本关系、提取结果、来源位置、人工改判、审批、访问记录和配置。导出后由未参与部署的团队在独立环境重建案件。

甲无法完整导出，触发淘汰；乙需补身份和审批；丙的30份全部重建，两个字段编码存在说明缺口，7天内修正后通过。企业同时要求删除证明，但不把供应商一纸声明当作所有分包副本已经清除的绝对保证，仍核对合同与处理链。

退出条款写明格式、字段、时间、费用、协助、完整性、删除、分包责任和过渡期。若真正退出时才第一次尝试导出，企业几乎没有谈判筹码。

用90天验收和合同条款把验证结果变成可执行责任

90天验收把六类证据和六段付款绑定，不能到期只开一次“总体满意”会议

丙供应商的96万元试点分六段，每段有输入、验收人、门槛、付款和失败动作。未通过可在限期内整改一次；严重越权和未经批准的外部动作不等待整改，立即暂停。

盲测结果为关键46/50=92%、引用169/180=93.89%，通过对应门槛；峰值320份/小时，复核5.1小时/100份，也通过。任何一段通过不补偿另一段失败。

付款不是惩罚工具。企业按完成证据支付，供应商也清楚何时验收；购买方若延迟提供样本或身份环境，时间表按责任记录调整，不能把自己的阻塞算成供应商失败。

把验证结果写进合同：范围、分母、变更、补救和退出缺一不可

试点通过后，正式合同不能只引用销售建议书。岚川把任务范围、指标定义、资料责任、人工边界、服务水平、变更、事件、费用和退出写入附录，并确定文件冲突时的优先顺序。

业务结果不宜全部转嫁给供应商，因为企业资料、人员和流程同样影响结果；但供应商应对承诺功能、处理行为、披露、服务和协助负责。双方责任应可区分，不能用“共同努力”消除所有可验收义务。

合同还要写明哪些材料只是信息、哪些构成承诺。路线图、演示录像和问卷回答若是采购决定的重要依据，应转化成附录条款，而不是签约时被整合条款全部排除。

评审会只处理可证事实和剩余风险，不让销售演示重新主导决定

最终评审由业务负责人主持，采购、法务、安全、架构、财务和普通用户参加。会议顺序是淘汰项、真实任务、运行负担、全成本、路线图差距、退出和剩余风险，不再重播演示。

会议决定为：淘汰甲；给乙30天用隐藏样本证明关键发现率并补管理员隔离，保留替补资格但不付款；与丙签96万元、90天协议，不承诺三年最低消费。业务负责人接收复核安排，安全负责人保留权限暂停权，采购负责合同证据化。

若丙在真实运行中低于门槛，企业可以缩小到常规电子合同、补资料、切回人工或退出。选择供应商不是宣布它“最好”，而是在当前场景、证据和条件下选择剩余风险最可控的一项。

从反例出发，建立购买方自己控制的第一轮验证

反例与今天的动作：不要把采购变成一场由供应商出题、打分和解释的考试

反例企业让每家供应商自选5份文件、自报准确率、现场解释错误，再由高管按观感打分。胜出者承诺半年后支持权限和导出，企业为折扣签三年。上线后扫描失败由员工手工修、管理员能看全部资料、重试重复收费；退出时只能得到固定版式文档。采购材料里每个问题供应商都曾回答“支持”，却没有样本、版本和验收记录。

今天可以先做三件事：从最近90天抽取30份普通、10份异常和10份高后果文件；让领域专家建立10个关键发现与不适用条件；要求候选供应商在购买方控制的环境中同时展示一个成功、一个拒绝、一次越权阻断和一次结构化导出。

然后把所有“支持”“可定制”“路线图会有”“准确率领先”改写成日期、范围、分母、验证方法和未通过动作。凡是无法改写的，只能作为销售说明，不能进入合格分或合同价格。

成熟的供应商选择不是更怀疑技术，而是让优秀供应商也得到公平、可重复的证明机会。演示可以激发想象；真正决定付款和扩大范围的，只能是企业自己的任务、失败、成本与退出证据。

来源与使用边界

• NIST AI风险管理框架核心强调在接近部署条件的情境中开展可记录、可重复的测试评价，包含不确定性、比较基准、独立审查、生产监测和安全失败。本文借用这些评价原则，不把自拟样本、分数或90天条款写成NIST规定；页面于2026-07-22核验，AI RMF 1.0正在修订。
• NIST人工智能测试、评价、验证与确认说明说明可靠测量与评价对于可信AI产品和服务的重要性，并提及任务、挑战问题、测试环境和有意义数据集。本文的合同案例和指标均为教学设计，不代表NIST认证或产品认可。
• 英国政府AI采购指南覆盖准备、资料评估、选择评价、合同实施和持续沟通，并提醒AI功能与后果可能在部署后才显现。它适用于英国公共部门背景，本文仅借鉴全生命周期采购与证据化要求。
• 英国政府AI手册在采购部分强调从问题、资料、限制、隐藏成本、持续支持、知识产权和避免供应商锁定等方面明确需求。本文未把英国政府程序当作一般企业强制规则。
• 美国网络安全和基础设施安全局软件采购指南说明介绍按采购情境询问供应商、生成可共享结果并贯穿软件采购周期的风险审查。本文只将其用于校准供应商尽调和合同问题，不声称合同审查案例符合美国政府采购要求。
• 美国联邦贸易委员会关于误导性AI主张的执法说明展示AI营销主张需要有事实依据的执法背景。本文不据此判断任何真实供应商违法，具体广告与合同责任应由适用法和专业人员判断。