先看结果:把“召回率”放到后面,600题中先修掉版本、权限和无负责人资料

泊岚酒店集团有14,000名员工、286家酒店,知识助手接入了46个资料源、约184万份文件。试运行时,采购专员问:“华东区一家酒店更换客房电视,单店合同86万元,谁审批?”系统在0.8秒内找到一份标题高度相关的《采购授权办法》,回答“区域总经理即可”,并给出链接。

问题在于,这是一份2023年的PDF副本,已于2025年1月1日被替代。现行政策规定,普通更新超过50万元要进入集团投资委员会,并由中央采购组织比选。系统“搜得快、链接对”,业务结论却错了。

团队没有先更换嵌入模型,而是抽查了12,000份候选资料。结果发现:2,760份没有内容负责人,2,040份缺少可计算的有效状态,1,560份是脱离文档家族的副本,720份的索引访问权限与来源不一致;这些类别可以重叠。团队先补齐资料负责人、权威等级、文档系列、版本、生效时间、适用范围、查询时权限和主张级引用,再对600个真实形态的问题进行盲测。

评估结果 之前 控制重建后
支持的正确答案 366/600 438/480 可回答=91.25%
过时/已替代答案 92 包含于26个错误或不完整答案;现行版本门槛已应用
未授权证据/答案 54 0 已披露;12 正确停止
引用未支持主张 48 逐主张审核;失败项保留在26个错误和6个不安全回答中
不支持/无法回答的答案 40 72个正确不答、30个转负责人、6个不安全回答
正确系统行为 不可比 438+72+30+12=552/600=92%

控制重建后的600题中,有480题在用户权限和现行资料下可以回答:438题回答正确且证据充分,26题错误或不完整,16题因系统或延迟失败。另外120题本来就不应直接回答:72题正确说明资料不足,30题转给负责人解决冲突,12题在权限门被正确停止,仍有6题给出了无证据答案。这6题足以阻止团队把系统扩大到自动操作或客户外发。表中的92%表示“系统行为正确”,不是模型准确率。

公司、文件、问题、金额、阈值和结果均为虚构教学案例,不对应真实客户、法规或政策。真实政策权威性、劳动/隐私、记录保留、访问权、法律解释和行业责任由组织相应负责人与专业人员决定。

本文只修“资料能否成为答案证据”:不提前决定全文/向量/混合检索、OCR或上下文拼装

E12会比较全文、向量、混合与重排序,E13会讲OCR/表格/附件/入库,E14会讲上下文组合,E15会讲持续发布/撤回。本文的入场条件更早:即使完美检索把一份文件排第一,如果它没有负责人、不是权威来源、用户无权、版本已失效或段落不支持主张,答案仍然错。

层级 此处问题 移交至后续设计
来源治理 谁负责、哪份有权威、当前/撤回是什么 爬虫/摄入只接已承认来源
权限 此人此刻可看哪个资源/片段 检索带安全过滤器
版本/适用性 哪个系列/版本/日期/区域/任务有效 索引与上下文保留这些字段
可回答性 资料是否足以回答这类问题 模型可答/拒答/转负责人状态
引用 每个主张由哪一版哪一节支持 UI与评估验证主张证据
检索机制 尚未决定 E12按问题类型选择

文章也不把知识助手变成政策审批人。它可以指出当前普通采购门槛、引用原文并列未知条件;最终分类“是否应急、是否框架合同、是否拆分采购”、预算与审批由有权限的人和现行流程决定。答案状态是咨询,不能形成付款/合同动作。

项目参与者至少有内容负责人、业务解释负责人、来源系统负责人、访问负责人、记录/法律、安全/隐私、知识产品/搜索、评估和用户代表。AI团队不替内容负责人宣布哪份政策有效,也不因工程方便扩大ACL。

“搜得到却答不对”至少有七种故障,更换模型只可能碰到其中一部分

故障类别 可见症状 根证据 首位负责人/操作
所有权 无人确认内容/更新 负责人为空/未激活 业务分配或排除
权威性 部门笔记压过集团政策 来源权威等级冲突 策略负责人裁决
访问权限 答案泄露受限附件 来源权限≠索引/查询权限 访问负责人停止/重建
版本 使用被替代旧PDF 系列/已替代/状态缺失 记录/内容修复
适用性 总部规则答给特许酒店 区域/实体/日期/角色不匹配 业务范围元数据
证据 链接相关但没支持数字 主张→段落审核失败 答案/引用设计
可回答性 资料矛盾/缺条件却强答 未解决/未知/决策任务 弃权/澄清/负责人路由

还有OCR、切块、查询理解、重排序和模型合成故障,但不能用它们覆盖治理缺口。故障分类进入案例账本;每个案例只在有证据时归根本原因,可多标签。否则所有错答都会被写成“提示词不好”,内容团队永远不修源头。

同一答案可能叠加三类错误:旧政策副本无负责人,索引保留其过宽ACL,模型把“区域≤100万”与新政策日期拼在一起。只调重排器也许降低出现率,却没有使旧副本失效或权限正确;下一问题仍会复发。

停止条件要按后果区分。访问权限泄露、把撤回政策当成现行政策、关键数字没有证据,都要立即停止受影响的来源或任务;普通措辞不完整则进入修复队列。不能用600题的平均分,把54次权限问题淡化成“只扣9分”。

负责人不是文件上传者:内容责任、业务解释、系统、访问和记录责任必须分开

责任 已填充角色 可问责决策
内容负责人 集团采购制度负责人 当前文本/生效/已替代/复核
解释负责人 采购治理负责人 阈值/适用性/冲突/例外路由
来源系统负责人 策略门户产品负责人 可用性、导出、事件、版本编号
访问负责人 采购数据/访问负责人 组/资源/字段访问控制列表及复核
记录/法律 记录管理员 + 法务 记录副本/保留/冻结/撤回证据
知识产品 助手产品负责人 已确认范围、用户界面、服务目标、反馈、停止条件
评估 独立任务审核员 案例/评分标准/失败/承认

上传者可以是秘书或自动同步账号,不代表有权解释政策;来源系统负责人保证系统,不决定内容;访问负责人管理权限,不决定门槛;AI 产品负责人只能在已批准范围呈现。职责表给主要、备份、有效期和离职/转岗触发。

2,760份无负责人不全部人工追认。先按业务使用、资料风险、问答量和替代来源分:高使用政策暂停回答并在10个工作日找负责人;低使用说明性材料可标未验证、只做搜索;有权威替代的旧副本撤出答案语料库;无业务价值的退场。不能为了覆盖率给“知识平台主管”当万能负责人。

负责人接受的不是一个名字字段,而是一组服务义务:确认文档家族、现行状态、适用范围、冲突与例外、复核日期、撤回方式和用户反馈处理时限。每次确认都保留决策记录;负责人没有回应时,资料按预先规则过期,不能永久有效。

接受流程不能只在表格里填一个姓名。候选负责人先收到该系列近90天被问次数、当前候选版本、冲突副本、适用实体和未关闭失败;他可以接受、指定更合适责任人,或说明该资料不应继续服务。接受后系统记录责任开始时间、备份和下一复核日。若负责人转岗,身份事件触发重新确认;在交接完成前,高风险系列缩成只显示已核验原文,不能继续生成确定性结论。

每月负责人复核只要求处理有变化或有影响的项目:新增版本是否属于同一系列、无负责人副本是否仍被召回、过去30天哪些答案因缺条件被拒、哪些引用打不开、哪些反馈实际是政策冲突。这样业务负责人不是被迫重读全部文件,而是在一张影响清单上做有限决策。决策记录至少保存输入证据、选择、理由、生效时间和批准角色,方便后来解释为什么当时允许回答。

资料清单要同时看来源、文档家族、副本、访问权限、使用和答案影响

集团的46个来源包括政策门户、合同库、部门网盘、培训站、服务工单、邮件归档与本地共享盘。184万只是可见文件数,不代表184万条独立知识。同一项政策可能同时存在网页、PDF、邮件附件、培训摘录和本地下载,单个附件还可能包含多个独立实体。

清单层级 关键字段 为何文件数量不足
来源 负责人、系统、接口、事件、访问权限、导出、服务目标 爬虫只能看到能力边界
集合/站点 业务范围、用户组、默认访问权限 文件夹继承与例外并存
文档家族 稳定主题和政策编号 多格式、多版本属于一个系列
版本/实体 内容哈希/状态/生效/取代 同名不代表同版
副本/衍生 源实体/转换/位置 复制可能脱离更新链
段落/表格 部分/页/行/权限 引用与细粒度权限
答案影响 问题/主张/失败/最后使用 治理按后果排序

12,000样本按来源、类型、年代、地区、权限和问答使用分层,不宣称2,760/2,040等是全集团真实比例;它们只作为教学盘点结果。每个问题从回答追踪反查被用资料,再与库存连接,避免治理团队只清理没人问的漂亮目录。

影子资料源也要进入清单。员工个人网盘或聊天附件若被助手意外搜到,应先停止摄入和检索,并通知负责人,不能把“大家都在用”当成权威依据。来源系统无法提供稳定编号、访问权限或删除事件时,只能缩小到公开或内部低风险用途,或者不把它作为答案证据。

盘点作业按“发现—归一—归属—处置—复核”执行。先从连接器清单、索引记录、答案追踪和用户反馈四条路径发现来源;再用稳定对象编号、内容哈希和系列关系合并网页、PDF与附件,并由内容、访问、系统三类负责人分别确认。处置只有准入、限制、隔离、退役四种,不设含糊的“以后再看”。复核时则把来源导出数量与索引数量、删除事件与残留记录、权限样本与查询决策逐项对账。

例如政策门户报出8,420个有效对象,索引却有8,617个记录,不能把197个差额都叫重复。团队抽样后可能发现92个旧表示、61个已删除但未清缓存、28个失去系列连接的附件和16个连接器重试副本。四种原因需要不同修复与证据;单纯去重会掩盖删除传播失败。盘点表因此同时保留源数量、索引数量、差额分类、最后对账时间与负责人。

资料权威性按主张类型定义,不能把所有来源粗暴排成一条全局顺序

主张类型 案例中的权威顺序 发生冲突时怎样处理
组采购阈值 当前签署的组策略→已批准通知 本地指南不可覆盖
区域程序 委托范围内当前区域规则 不得超出组策略
酒店操作步骤 该实体/版本的已批准标准作业程序 若策略冲突则升级
特定合同义务 已执行合同/含访问权限的修正案 模板/培训非证据
说明/示例 负责人批准的源自策略的常见问题解答 引用策略以支持数值/权利主张
体验/提示 清晰标记的社区笔记 绝不决定强制规则

权威性不是简单写一句“政策高于常见问题”就结束。已签署合同可以决定该合同的具体义务,集团政策决定内部授权,外部法规是否适用则要由法务判断;培训材料只能解释,不能替代现行原文。业务负责人需要按主张类型定义权威顺序,同时写明哪些来源根本不能直接比较。

排序系统可以把权威等级作为筛选条件或排序特征,但不能自己发明权威性。没有标记的部门笔记,不能先默认成最低等级,再拿来回答关键门槛;它只能用于发现线索或低风险经验,并在界面上标明“非权威来源”。若只有非权威来源,系统应回答“无法确认,请联系负责人”。

冲突决议保存冲突编号、主张、候选版本、适用范围、决定、负责人、日期和是否需要修复来源。冲突关闭前,系统应正确不答或转给负责人,不能让模型“综合两边”给出一个中间阈值。

授权矩阵还要写反例。集团政策对内部审批门槛高于区域指南,但一份已签署合同对该合同的通知期限可能比模板更直接;法务解释是否适用外部规则,不能由采购常见问题替代;酒店应急操作标准作业程序只能在政策授权的应急范围内优先。将“主张类型、可决定的范围、不得决定的范围”并列,才能避免工程团队把所有来源粗暴排成一个全局分数。

冲突关闭后不只更新解析器。若2024区域指南曾把门槛写成100万元,而负责人判定它从未有权覆盖50万元集团门槛,团队要查询历史依赖:哪些答案引用该段、哪些用户打开、是否形成采购申请、哪些评估题把错误文本当金标准。处置记录说明是修正来源、缩小适用范围还是发布新版本,并给受影响用户明确的重查提示;否则“当前答对”掩盖了过去可能仍在流转的错误。

访问权限在查询时按用户、资源和目的重验,索引看得到不代表用户可以看到

NIST SP 800-207强调,授权应针对具体资源,不能因为网络位置或资产所有权而默认信任;获得一个资源的权限,也不自动获得另一个资源的权限。知识助手据此分别验证用户与应用、来源资源、段落与字段,以及任何后续工具。这不表示案例系统实现了完整的零信任架构。

权限点 决策/证据 不安全捷径
来源采集 服务身份可以读取哪些集合 用管理员身份采集全库后只靠界面隐藏
索引记录 源访问控制列表/版本/拒绝/组纪元 只存“内部”粗标签
查询 用户/组/角色/目的/当前成员资格 用登录成功代替资源允许
检索 评分/上下文前的安全筛选 先取未授权内容再让模型忽略
引用/展示 重新授权来源链接和具体片段 引用暴露标题或片段
缓存/日志/评估 租户/用户/数据策略 跨用户复用答案/内容

查询时的权限变化要及时传播。员工入职、转岗、离职,临时项目到期,酒店归属变化和法律保留,都可能改变访问权。索引要记录权限版本和上次同步时间;一旦超过新鲜度门槛,或者来源权限无法重新验证,高敏感任务就应按故障安全原则停止。拒绝提示要让用户看得懂,但不能泄露“存在一份你无权查看的供应商黑名单”。

“答案不含原句”仍可能泄密:模型从受限附件得出结论、标题/引用、聚合数字或是否存在都可能敏感。检索前过滤比生成后脱敏更可靠;输出仍做敏感/跨案例检查,但不能把它当主权限层。

权限负面测试覆盖跨酒店、离职用户、临时组过期、受限附件、缓存命中、引用开启和管理员调试。任何关键泄露停止受影响的源/任务,追踪暴露对象与访问记录,不只删一条回答。

权限不一致时,先封住暴露面,再检查传播链。暂停受影响集合进入新的回答上下文,使可能复用旧答案的缓存失效,并保存审计证据;随后逐项比较来源权限、连接器映射、索引安全主体、查询时权限和引用打开时权限。若来源在14:05移除临时用户组,而索引到15:20才更新,就要把这75分钟记录为可测的权限新鲜度缺口,而不能只写“同步偶发延迟”。

权限缓存的键至少包含租户、用户或不可越权的权限摘要、资源权限版本和使用目的;来源权限时间戳变化时立即失效。管理员调试也要使用授权视图,不能以排障为由显示用户本不该看到的候选文本。负向回归既检查答案正文,也检查标题、摘要、来源数量、自动补全、日志和错误提示。成功标准不是“模型没有复述”,而是未授权内容从候选集开始就不存在,所有旁路也没有泄露它的存在。

版本不是文件名后缀:系列、修订版、生效、状态和适用性共同决定“当前”

字段 采购策略填写示例
文档家族编号 PROC-AUTH-GROUP
实体/版本编号 PROC-AUTH-2025-v1 / 内容哈希 h25
状态 当前;2023-v4 已取代;草稿/已撤回排除
已签发/生效 已签发 2024-12-10;生效 2025-01-01
生效截止 直至被取代/撤回事件前保持开放
适用性 集团所属酒店;正常资本支出; 大陆范围
排除项/条件 紧急情况、特许经营、框架缩减需其他规则
取代 PROC-AUTH-2023-v4
负责人/评审 集团采购治理;复核 2026-01
来源/访问控制列表 已签署策略门户对象 P884;采购内部

“最新修改时间”不是当前。旧文件迁移会得到新修改时间,未来生效政策已发布但今日尚未生效,撤回文件可能仍是最新,区域例外只在范围内优先。解析器使用业务状态/时间/范围,而不是按日期排序。

提问时间也重要。问“2024年这笔采购当时谁批”应选择历史有效版本并明确截至;问“现在”使用查询时间;无时间且规则频繁变,回答显示生效日期。文档在回答后被撤回时,答案记录仍指当时版本,但后续展示可标“来源已变化,请重查”。

文档系列建立稳定标识符。网页与签名PDF可作为同版不同表示,培训摘录是派生实体,不伪装原政策;本地下载复制连接源实体和同步时间。无法确认系列的副本不进高权威语料库。

解析器每次接收文档家族、查询时间、截至时间、实体、地区、事件条件和用户权限。它先排除草稿、已撤回资料和时间区间不相交的版本,再按适用范围和权威等级选择。若同级候选的有效区间重叠且主张不同,就返回冲突,不能简单选择修改时间更晚的文件。未来版本可以供有权限的用户提前准备,但界面必须明确标注“尚未生效”,也不能用它回答“现在怎么办”。现行版本被紧急撤回且没有替代时,系统应正确不答或转负责人,而不能退回上一版。

状态变化用事件而非覆盖字段表达:发布、批准、生效、替代、撤回、恢复、适用范围修订都保留时间、执行者、原因和前后实体。这样才能回答“2024年12月20日知道什么”“2025年1月2日为何选这版”,也能区分内容当时有效与系统后来才收到事件。放行前再检查一次状态时间戳,避免检索后到展示前发生撤回却仍把旧答案发出。

溯源图连接资料实体、变更活动和责任主体

可复制模板
Agent: Group Procurement Governance
  issues Activity: publish-2025-policy
    generates Entity: PROC-AUTH-2025-v1 (current, effective 2025-01-01)
      wasRevisionOf Entity: PROC-AUTH-2023-v4 (superseded)
      hasRepresentation: signed PDF P884 + policy web page W884
      derives Entity: FAQ-2025-02 (explanation only)
local-copy L17 wasDerivedFrom 2023-v4, last-synced 2023-06, no active owner
answer A600-117 used section 4.2 of 2025-v1 at query time

W3C PROV把溯源关系建模为实体、活动、责任主体以及使用、生成、衍生、归因等关系,PROV-O还提供修订版、引文和主要来源等表达。本文借这些概念设计最小溯源图,不要求企业必须使用RDF或PROV-O实现,也不把可追溯误认为内容一定真实。

节点/关系 本地实现字段 答案用途
实体 文档/段落/表格/版本/哈希/状态 引用确切证据
责任主体 人员、组织、软件及其角色 负责人和责任
活动 发布/批准/转换/索引/回答 复现变更
wasRevisionOf 版本族边缘 解决已废弃/当前状态
wasDerivedFrom 常见问题/复制/分块/摘要来源 降低/追溯权威
失效/撤销 事件/时间/负责人 停止未来使用
使用/生成 答案运行→段落/输出 审计/重放

转换也要有来源:OCR、表格提取、块和翻译会改变表示。引用可指用户可访问原文,同时保存段落源自;若OCR数字与原图冲突,验证器/人工回原文,不把抽取文本当主要来源。

溯源图先解决高风险文档家族,不企图一次给184万份文件建立完美本体。最小关系只要能回答当前版本、原始来源、负责人、衍生关系、撤回状态和哪些答案使用过即可;更多复杂关系等出现明确业务需要时再增加。

建图时先为每个高风险主张保留可逆链:原始签署对象→可读表示→抽取页/表→块→答案主张。每一步记录输入哈希、转换器版本、时间与校验结果。假如表格抽取把“50万元以上”误成“50万元以下”,团队可直接定位哪个转换污染了哪些段落和回答,而不是重跑整个语料后祈祷错误消失。

图也要验证断边。每日任务查当前实体无负责人、派生实体无来源、回答引用已撤销段落、系列有两个重叠当前、复制在来源删除后仍活跃等不变量;命中后进入隔离或人工处理。来源提供的是可追溯结构,不自动证明真伪,所以签署状态、权限与业务解释仍由负责人决定,工程校验只保证关系没有悄悄断掉。

适用性是版本之后的第二道门

维度 问题示例 所需证据
实体/所有权 组拥有还是特许经营酒店 酒店主记录/当前所有权
地理区域/管辖权 大陆/港澳/境外 策略范围 + 法律负责人
业务事件 普通更新/应急/修复 请求事实 + 定义
支出/类型 资本支出/运营支出/框架/订单 采购分类
金额/聚合 86万是否同项目累计 当前项目/防拆分规则
用户角色/目的 查询/审批/审计 身份/任务授权
时间 今日/截至事件 生效区间

助手不应根据模糊问题猜测这是“普通更新”。它可以给出条件化答案:“若为集团自营、大陆地区、普通资本性更新,且不属于框架合同,86万元超过50万元门槛,应提交集团投资委员会,并由中央采购组织比选。若属于应急、特许经营或框架提货,请补充说明。”这些条件来自政策本身,不是为了免责而附加的套话。

适用性字段既用于过滤,也要进入答案。元数据缺失时不能默认全局适用;高风险政策应转为澄清或交给负责人判断。用户只说“我们酒店”还不够,应用可以从已授权的酒店工作区取得实体编号,但仍要向用户显示所使用的实体,防止跨案例串用。

规则互相引用时保存依赖。主政策门槛当前,但应急程序被撤回,不能只回答正常规则后暗示应急;相关主张标未知/路由。一个文档当前不保证所有引用目标当前。

可回答性契约先决定答、澄清、拒绝或转负责人,再让模型组织语言

结果 放行门槛 用户响应/证据
回答 经授权的现行权威证据覆盖主张 答案、条件和逐主张引用
澄清 缺失实体/时间/事件/金额字段 询问最具体明确的问题
正确不答 无支持证据或只有非权威来源 说明未知内容,不虚构规则
冲突 现行权威来源意见不一 给出冲突编号并转负责人,不自行综合
拒绝 用户、资源或目的未获授权 给出通用权限帮助,不泄露资料存在
人工决策 证据存在但需人工判断或批准 展示证据并指定负责角色
系统错误 来源、权限、索引或引用服务不可用 明确显示不可用并转人工,记录服务失败

这份合同由确定性网关和任务评分标准共同执行:先过滤访问权限、状态、生效时间、权威等级和适用性,再由主张覆盖范围、冲突状态和必需字段决定结果。模型只能在获准证据集内组织语言,不能把“拒绝”改成“回答”,也不能因为两边都写得流畅就擅自覆盖冲突。

“不知道”要有信息量:缺哪个字段、查过哪些已授权系列、负责人/表单在哪里、何时重试。拒答不展示未授权标题/片段;来源中断与知识不存在分开,否则用户会创建重复政策。

可回答性本身也要有服务目标:正确回答、正确不答、错误回答和系统错误分别统计。提高回答率可能降低安全,不能把正确不答统一视为失败,再逼模型猜测。

执行时先产出主张计划,再生成自然语言。采购问题至少拆成适用实体、交易分类、金额聚合、门槛、审批角色、采购路径和例外七类主张;每一类都标明是否必需、当前是否已知、证据编号和决策负责人。只要有一个必需主张缺少现行、有权且适用的证据,结果就降为澄清、正确不答或人工决策。模型只能改写已通过的主张,不能自行新增“通常可以先采购后补批”之类经验结论。

澄清只问足以改变处理路径的最少字段。例如缺少酒店所有权和是否应急时,先问这两项,不要求用户一次填写十项表单。用户补充后重新授权和解析,不能沿用旧候选。转给负责人时,则附上可公开的文档家族编号、冲突类型、所缺决策和处理时限,不把内部受限段落塞进工单。若负责人没有在约定时限内处理,系统继续不答并升级责任链,而不是自动选择看似合理的版本。

86万元电视更新怎样从五个候选片段收敛成条件化答案

候选项 分数提示 治理决策 原因
本地PDF 2023年第4版 词汇 0.94 排除 已被替代;副本L17无有效负责人
当前策略 2025-v1 §4.2 词汇 0.83 准入 当前/权威/适用候选项
区域采购指南 2024 语义 0.88 仅解释 无法覆盖组阈值
仅限经理的供应商附录 语义 0.61 权限排除 不需要; 用户未授权
应急程序 2022 词汇 0.57 不适用/需事件 问题缺少应急事实

问题解析得到的条件是:华东地区、酒店实体未知、电视更换、金额86万元、时间为现在、事件类型未知。应用从用户当前工作区取得集团所属酒店H-117;解析器选择现行的2025年第1版。第4.2节规定,普通资本更新由酒店审批的上限为30万元,区域审批上限为50万元,超过50万元提交集团投资委员会;第5.1节规定由中央采购组织比选。旧版PDF虽然排名很高,但在生成答案前就被状态网关排除。

可复制模板
条件化回答
若H-117为集团自营、大陆地区的普通资本性更新,且不属于应急、
框架提货或应合并计算的同一项目:86万元超过50万元区域门槛,
需由集团投资委员会审批,并由集团采购组织比选。
证据:
  门槛与审批人 -> PROC-AUTH-2025-v1 §4.2 第7页,2025-01-01生效
  采购路径     -> PROC-AUTH-2025-v1 §5.1 第9页
待确认:应急、框架合同、项目合并计算,由采购负责人分类。
未使用受限供应商附录,也没有预订、付款或执行动作的权限。
步骤 已保存记录 审核员检查
身份/上下文 用户/应用/目的/酒店 H-117 正确工作区/角色
候选集 家族/版本/段落/分数 无未授权泄露
治理过滤器 访问权限、状态、权威等级、范围、时间 旧副本在回答前被排除
主张计划 阈值、审批人、来源、条件 每个主张都需要证据
生成 答案、配置、证据编号 无未支持的数字或操作
放行 建议状态/用户打开的引用 人工分类被保留
反馈 接受/编辑/负责人冲突 进入评估/修复

完整例子证明分数更高的片段不一定可用;过滤后只有当前政策可作数字证据。答案没有把状态未知条件藏在小字,也没有声称已完成审批。用户点击引用时重新授权并打开对应版/节;链接若失效,回答标引用不可用并进入来源服务等级目标。

主张级引用不是“回答后面挂三个链接”:要证明哪一句由哪段支持

引用字段 值/示例 验证
主张编号 C1 阈值/审批人 精确主张文本与范围
源实体 PROC-AUTH-2025-v1/哈希 h25 不可变版本标识
位置 §4.2/第 7 页/第 2 段 用户可定位段落
引文/片段 最小授权摘录 无未支持的周边主张
适用性 H-117/大陆/正常资本支出/当前 条件可见
权限/状态 组策略/当前 解析器证据
查询/访问时间 时间戳和权限决策编号 使用时与打开时均已授权
推导 解析后的段落→已签署 PDF P884 原始追踪

一句含两个主张可能需要两条引用。标题相关不等于支持数字,常见问题解释不一定支持法律/授权结论;评估把回答拆主张,检查蕴含/覆盖、版本、范围和权限。自动引用检查器可筛明显问题,关键主张由领域人抽审。

链接到“最新页面”会随内容变化,审计无法复现;答案记录保存版本/哈希与位置,同时给用户当前页面。来源系统无法提供不可变版本时保存合规允许的快照/哈希或记录局限,高风险任务缩范围。

引用也不能泄权。用户无权打开来源时,不应先用其内容回答再给灰色链接;若跨角色摘要获正式批准,必须有独立已发布实体/负责人/访问控制列表,而非运行时降敏猜测。

引用验收把每个主张分成直接、衍生、条件和不足。直接要求段落直接支持数字或角色;衍生允许确定性计算,但保存公式和所有输入引用;条件要求条件在答案正文可见;不足则禁止发布该主张。评审员还检查反向问题:删掉这段证据后主张是否仍凭其他证据成立,引用是否只是主题相关,页面上的表头、脚注和例外是否被截断。

链接可打开也不等于引用通过。若§4.2只写审批门槛,答案中“由中央采购比选”必须另引§5.1;若页7表格的单位写“万元”,片段必须连同单位呈现;若原文随后增加例外,固定哈希解释历史答案,当前页面提醒用户重新查询。引用开启失败达到门槛时,高风险答案转错误或只显示不可执行的历史记录,不能留下无法核验的流畅结论。

失败样本按来源、决策和用户影响闭环:不把所有错误交给提示词团队

案例 检测到的证据 立即行动 根负责人/修复
旧100万元门槛 答案使用了已取代的L17 停止该文档家族的回答并发出撤回通知 内容/记录团队修复家族关系
受限供应商备注泄露 追踪段落访问控制列表不匹配 停止来源/事件/访问复核 来源/访问重建 + 负面测试
跨组织适用的特许经营规则 适用实体缺失 澄清/标记受影响的回答 业务元数据/助手合同
引用页缺少编号 主张审计失败 回答未支持/需评审 引用规划器/评估
两条现行通知冲突 解析器判断两者权威等级相同 标记冲突并转负责人 采购负责人裁决
无策略但有流畅回答 证据覆盖度 0 弃权; 添加案例以停止放行门槛 产品/模型防护

每个事件都关联受影响的答案编号、用户、来源、版本以及是否发生外部行动;必要时通知用户重新核对。修复必须从源头一直验证到负面测试:修改访问权限后,要确认旧缓存、索引、日志和引用也不会泄露;标记已替代版本后,要重放所有依赖该版本的问题。

旧门槛事故可以这样追:09:12 负责人报告区域答案异常,09:18暂停PROC-AUTH-GROUP生成,09:31通过答案依赖找到过去30天引用L17的43个答案,10:05确认其中11个用户打开引用、3个创建了采购申请;10:40业务负责人给出纠正措辞,11:20定向通知并要求3个申请复核,14:00修复系列关系和缓存,次日以旧版、同名副本、截至问题重放后才恢复。时间线同时记录谁有权决定恢复,避免工程修完就自行上线。

影响判断区分“系统给过错误文本”和“用户据此采取行动”。前者也必须进入质量分母,后者决定通知、业务复核与可能的法律/记录流程;不能因为用户没点击点赞就假设无人依赖。权限事故还需确定谁可能看到标题、片段或推断结果,保留必要日志并限制二次传播,具体通知和保留由安全、隐私、法务与记录负责人裁定。

撤稿不是删除历史回答。历史记录标已失效/需评审,保留必要审计;用户再次打开显示来源变化。真实保留与通知义务由记录/法律决定。

失败分类进入知识修复队列:内容负责人缺失、版本图、访问权限同步、元数据与适用性、检索、引用、生成、界面与用户误解分别设置负责人、截止时间和验证方式。提示词修改若不能修复源头,就不能把问题标记为关闭。

600题评估要把“可以回答”与“不应回答”分开

切片 题数 必需行为 实际正确数
当前权威可回答 360 支持/正确/当前/范围 334 正确
历史/截至可回答 60 选择时间有效版本 52 正确
条件/适用性 60 条件/凭证据澄清 52 正确
证据不足 72 弃权 72 正确
权威冲突 30 负责人路由/无综合 30 正确
权限拒绝 12 停止/无存在/内容泄露 12 正确
对抗性未支持 6 不得生成无证据的流畅回答 0;6题全部不安全
总计 600 可回答 480/不可回答 120 正确行为 552

480 可回答中438正确,另26错/不完整、16系统/延迟;表的三种可回答切片 334+52+52=438。120不应直接答中114正确处理,6 对抗性失败。权限泄露为0,但6无证据回答仍是扩展关键停止;不能用552平均抵消。

题集按来源家族、角色、酒店类型、地区、时间、版本冲突、表格与附件、问法和严重程度切片,标准答案由业务负责人批准。评审员只看匿名输出和证据,不看模型品牌。来源、版本、访问权限、解析器、引用或模型发生变化后,都要运行相关回归。

生产影子评估还要观察每月38,000个问题中没有在题集出现过的查询及其分母,600题不具备永久代表性。新错误进入留置题集前要去重、去敏并重新授权,避免把用户隐私复制进评估库。

评审评分标准逐项打事实正确、证据充分、版本/时间、适用范围、权限、关键条件、引用可定位和结果正确;严重项不是用平均分稀释。两名评审先对60题校准,记录分歧原因并由业务负责人裁决金标准,达到预定一致性后再盲评其余题。若题目本身缺条件,金标准必须是澄清或条件化答案,不能把评审员脑内补全当成模型应知事实。

前后结果只有在题集、用户角色、查询时间、来源快照和系统失败口径一致时才可比较。本案例改造前的366、92、54、48、40按主要失败原因归类,改造后则按系统应有行为报告,因此本文没有计算一个虚假的“提升百分点”。后续版本固定案例编号并说明新增与退役题目;生产分布变化用独立报表呈现,避免为了漂亮数字悄悄删掉难题。

生产监控看“答案—证据—用户—终态”而不记录所有提示词全文

信号 最小字段 使用
需求 任务/问题类别/源家族/用户角色 覆盖/优先治理
治理 访问权限、状态、权威等级、范围过滤原因 拒绝、冲突、版本漂移
检索 已接纳候选者/排名/空 后续 E12 诊断
回答 结果、主张、引用、配置 支持、正确不答、错误审计
用户 开放引用/接受/编辑/路由/反馈 可用性, 非隐藏性能排名
来源事件 发布/取代/撤回/访问控制列表/删除 失效/重新索引/回归
事件 受影响的回答/用户/操作/通知/修复 回复/撤回

内容默认不进入通用应用性能监控系统。问题和回答快照只在获批评估、反馈或事件中按案例保存,其他情况使用哈希、类别、标识符和聚合数据。个人用量不能被用作隐形绩效排名;访问、保留和员工关系遵守组织与地区规则。

核心服务指标包括:符合条件且有证据支持的回答、正确不答、权限泄露、使用已替代资料、引用覆盖率和打开成功率、来源与访问权限的新鲜度、负责人响应时间以及系统错误。回答率只是需求信号,不能设成越高越好。

告警也要分级:权限泄露或现行关键政策回答错误,立即通知值班人员并停止受影响范围;来源事件延迟、引用打开失败进入高优先级工单;无负责人或复核逾期进入治理队列;普通空结果用于内容规划。每类告警都要有操作手册和负责人,避免46个来源各发一封无人处理的邮件。

入职按来源风险和可治理性分批:先让一个政策系列从发布到撤回全链可验证

范围 入口 退出
0 库存 46 来源/高使用频率家族 系统/内容/访问负责人 处置/风险/回答影响
1 标准策略 采购家族 2023/2025 稳定标识符、访问权限、变更事件 当前、截至、引用、撤回测试
2 五大策略家族 人力资源、差旅、信息技术、设施、采购 权威性与适用性负责人 通过600题中的相关切片
3 受控助手 3 角色/20 家酒店 培训/反馈/手册 两个周期; 关键 0
4 更多来源 仅凭来源合同 新鲜度/删除/权限服务等级目标 回归/负责人操作
5 限制/退役 影子/无主/不安全副本 依赖/记录复核 索引/缓存/访问/删除证据

来源合同填写稳定编号、负责人、权威范围、版本与事件、访问权限与过滤、资料表示、更新与删除、服务目标、记录、事故和退出方式。不能提供访问权限或撤回事件的来源,只能用于低风险搜索,或者不接入答案系统;连接器同步成功不等于这个来源已经通过准入。

接入评审逐条问十二件事:对象编号是否稳定;内容与访问负责人是谁;哪些主张有权威;版本和生效时间怎样表达;删除和撤回怎样通知;访问权限最细到哪一级;拒绝怎样传播;不同表示怎样对应;新鲜度能否测量;历史与保留怎样处理;事故怎样追踪;退出时怎样清除依赖。每一项都附一条实际对象和事件证据,不接受“接口支持权限”这种空泛回答。

来源可以按治理能力分级:A级支持高风险、有证据的答案;B级缺少实时事件,但能在明确的新鲜度范围内对账,只承载可以容忍延迟的内部任务;C级只能做公开搜索或发现线索;D级隔离或退役。升级必须补齐证据并通过相关回归,不能因为业务部门强烈要求,就临时把C级当成A级。连接器退出时要验证索引、缓存、评估副本、引用链接和答案依赖都已处置,而不能只删除配置。

首个文档家族要完整演练:发布未来版本、到期切换为现行版本、替代旧版、撤回、收窄访问权限、负责人离职和重新打开引用。只有答案、缓存和索引都能在规定时间内更新,历史记录也能解释,才扩大范围。一次全量采集成功,不能证明生命周期已经打通。

用户培训教四个状态:有据答案、条件/澄清、无法确认/冲突、权限/系统问题;教怎样看版本/条件/引用和反馈,不鼓励换问法绕权限。支持记录用户误解,反向改用户界面/合同。

上线后把每次内容变化变成可测试事件

事件/节奏 负责人操作 助手动作/证据
发布/生效 内容负责人确认范围和状态 摄入、版本门控、评估、小流量验证
取代/撤回 关联家族/原因/生效 排除未来; 使缓存失效/标记答案
访问控制列表/角色变更 访问负责人更新事件 筛选同步/负向测试
适用性变更 业务元数据/版本 受影响的案例/回归
周质量 评估/产品评审失败 路由积压/若关键则停止
月度治理 负责人/新鲜度/冲突/使用 补救/限制/退役
季度事故演练 来源/访问/产品/业务 泄露/撤回/中断/回缩运行手册

源事件没有可靠推送时用增量轮询/核对并公开新鲜度;高风险策略超过门就不答。负责人仪表盘不是催填元数据,而是列受影响问题、旧答案、用户和截止日期,让业务看到后果。

变更先跑影响查询:哪些段落/主张/答案/评估案例依赖旧实体。新政策不只重新索引,还需重测阈值、截至、条件、冲突与角色。版本切换金丝雀比较旧/新差异,由负责人确认语义,不由嵌入距离决定。

月度治理会把系列按红黄绿展示,但颜色由可行动事实构成:红色是严重冲突、权限失败或已撤回仍被使用;黄色是负责人/复核逾期、事件延迟、引用打不开或未关闭错误;绿色要求最近变更已通过回归且没有未解释断边。会议只决定修复、限制、接受有期限风险或退场四类动作,每项都有负责人、日期和验证证据,不用“继续观察”无限延期。

来源中断时也要执行预案。若中断短暂,且已有经批准、未过期的只读快照,可以在业务设定的窗口内显示“截至某时”的有限答案。若无法重新验证访问权限、版本变化频繁或任务风险高,则立即显示系统错误并提供人工渠道。恢复后先对账对象、变更事件、权限时间戳和缺口期间的答案,再解除限制。可用性不能凌驾于正确性,也不能把全库不可用误导成“公司没有这项政策”。

E15会进一步展开知识生命周期;本篇交接的前提是系列、负责人、事件、答案依赖和撤稿已可追踪。没有这些,所谓定期复核只是重新看一堆文件。

交付知识证据包:每个答案都能回答“谁、哪版、为何可见、哪句支持、何时失效”

产物/模板 最低内容
来源清单/合同 负责人/系统/权限/标识符/事件/访问控制列表/服务等级目标/退出
职责矩阵 内容/解释/访问/系统/记录/产品/评估
授权矩阵 主张类型/来源/顺序/冲突/非权威使用
文档族注册表 族/实体/哈希/状态/生效/取代/副本
适用性架构 实体/区域/事件/类型/数量/角色/时间/条件
溯源图 实体、活动、责任主体、衍生、修订、已使用答案
权限测试包 爬取/索引/查询/引用/缓存/记录负面案例
可回答性契约 回答/澄清/保留/冲突/拒绝/决策/错误
主张引用记录 主张/版本/位置/范围/访问控制列表/衍生/访问时间
评估集/报告 可回答/不可回答/冲突/权限/系统
故障/补救日志 受影响的回答/用户/根/负责人/修复/回归
来源事件/撤回操作手册 发布/取代/撤回/访问控制列表/中断/通知

W3C的PROV概述与PROV-O提供实体、活动、责任主体、推导、修订版和归因等溯源表达,支持连接文档版本、转换过程和责任关系;本文只选用相关概念,不要求采用特定技术。NIST SP 800-207支持资源级动态授权,且不因位置或所有权而默认信任;NIST AI RMF Core强调记录系统知识限制、第三方数据风险和测试数据适用性。Google SRE的数据完整性章节强调从用户角度关注数据正确性,并对关键数据使用独立验证器;本文借鉴这种完整性思路,不把知识助手的服务目标称作其标准。所有来源核验于2026-07-21。

实际开始时,不要先调整返回候选数。选一个高频政策问题,找出所有候选文件并建立文档家族;让内容负责人标明现行与废止状态、权威等级、生效时间和适用性,让访问负责人验证采集、索引、查询、引用和缓存各环节的权限。把答案拆成主张,逐条记录版本、章节、适用范围和访问决策;再用旧版、越权、冲突、缺条件和无证据反例,分别测试回答、澄清、正确不答、冲突和拒绝。只有在不该答时也能正确停下来,后续检索优化才有可信基础。