先看结果:统一的是身份、策略、证据和运行,不是强迫4,800人只用一个聊天框

岳衡工程集团有4,800名员工、11个部门。盘点发现23项AI服务,其中14个付费租户;购买1,840个席位但月度去重活跃用户只有1,120,另有27个内部应用直连6家供应商的8个模型端点。团队维护67个长效API 凭证,31个被多人共享,抽查发现43个离职/转岗后仍存在的供应商账户。

集团没有把所有产品换成一个门户。设计后的控制平面允许供应商网页、内部检索增强生成系统、批量抽取、代码助手和受限智能体继续使用合适的界面,但共同采用工作负载身份、任务与数据及操作策略、模型注册表、额度、路由决策、使用量与成本,以及事件与变更记录。需要特定租户功能的服务可以保留,只要身份、资料、动作、日志和负责人满足放行条件。

90天结果 之前 决策后
共享长生命周期密钥 31/67 0;46 服务主体/短生命周期凭证
孤立抽样供应商账户 43 0 禁用/对账后剩余
成本分摊覆盖率 81% 98.6% 直接/代理;已公开的共享规则
带有任务、数据和目的标签的请求 42% 99.2%;无效请求被拒绝,而不是由系统猜测
月度教学运行成本 145.6万元,仅含供应商 68.2万元供应商费用,加22万元平台与运维费用
提供商中断 12,400 请求 临时/手动 8,680 已重新路由;2,480 排队;1,240 失败即关闭
模型与界面选择 碎片化默认值 共同控制下的多条已批准路径

公司、用户、服务、价格、流量、错误与结果均为虚构教学案例,不是供应商性能、报价或架构处方。真实访问、日志、监控、劳动、隐私、跨境、安全、合同与行业责任,须由相应专业人员和受影响方根据具体环境决定。

90天结论不是“全员切换完成”。统一入口只有在四件事同时成立时才能扩大:业务应用能表达任务和目的,策略能守住资料与动作边界,路由器能依据任务证据选择或降级,运营团队能复现费用与失败并保留人工路径。只做到单点登录或统一账单不算完成;暂时无法接入但控制充分的供应商租户,也不应为了架构纯洁而被强制关闭。

控制平面本身也要进入AI系统与服务清单:负责人、依赖、管理员、策略与注册表版本、服务目标、资料、事件、变更和退役都要登记。它影响27个应用,错误影响范围可能大于任一模型;因此更需要小流量试运行、双人变更、备用策略和旁路限制,不能因为“只是基础设施”就跳过评估。

统一入口不等于统一网页或统一模型

平面 共同责任 可保持多样性
体验 登录、披露、支持路由 供应商界面、聊天、开发环境、业务应用
控制 身份、策略、注册表、配额、路由意图、审计/成本 护栏内的部门配置
数据 来源访问、上下文、模型/工具调用、流/批处理执行 提供商、区域、私有/云端点
评估 任务集、关键关卡、路由回退、变更记录 特定任务的评分标准/模型
运营 服务目标、事件、回退、计费对账、退役 组件负责人和值班路径

一个网页门户只能解决可发现性,不能自动统一通过程序接口调用的应用、嵌入式功能或用户自行购买的供应商租户;一个程序接口网关只能看到经过它的调用,不能控制直接登录的软件服务。架构因此保留三种接入:应用经模型网关;支持企业单点登录和管理日志的供应商界面经访问代理与目录;不能满足资料、动作和日志门的产品则保持限制或退出。

“一个模型给所有任务”也不是统一。不同任务对结构化输出、长上下文、代码、语言、私有部署、延迟和成本要求不同;强制一个默认会把高成本模型浪费在简单任务,也可能把敏感任务路由到不允许端点。共同的请求契约和决策记录比共同模型名称更重要。

三类路径使用同一个最小控制清单。模型网关路径可逐次执行完整的请求信息校验;供应商界面至少要有企业身份、租户与数据设置、经批准的使用说明、管理日志与席位,以及变更与支持;嵌入式功能由宿主应用继承用户、资料和动作边界,并把结果事件映射到清单。若某条路径缺少任务级成本,只能做较粗的分摊并标注置信度,不能伪造与网关相同的精度。

“等价控制”也要逐项取证。供应商界面不能输出网关路由日志,但可固定租户与模型、限制连接器、使用单点登录组并导出管理事件;若仍无法证明不训练、不跨租户或不外发,就缩小资料与任务范围或退出。

先把现状和工作负载画清楚

账户、应用、模型、资料、动作和费用要分别盘点

证据 观测 为何单独不足
已购席位 1,840 跨 14 个租户 重复/空闲/角色未知
独立月度用户 1,120 任务、数据与操作未知
服务 23 系列≠部署/工作流
内部应用 27 部分使用多个端点/密钥
长有效期凭证 67 负责人/目的/轮换不一致
供应商请求 每月280万次 重试、批处理与任务分母不同
供应商账单 每月145.6万元 19%无法直接分配到应用或成本中心
提示样本 未集中收集 有目的的极小化, 默认不缺失

项目把席位授权、活跃登录、应用主体、模型请求和业务任务分开。一个员工可能有3个席位,一个应用会发数千请求,一次业务文档可能重试10次;因此“请求量最高的部门最有价值”是错误跳跃。使用地图用应用/任务/结果 ID关联,而不默认收提示词全文。

31个共享键中有9个写在持续集成变量、11个存团队保险库但无个人归因、7个在桌面脚本、4个负责人已转岗。它们不是立即认定泄露,却使最小权限、撤销、费用归属和事件范围困难。43个孤儿账户先禁用、确认业务影响,再按保留/删除规则处理,不等网关建好才清理。

六张图通过稳定编号相连:服务族→租户与部署→应用与工作流→身份与凭证→供应商与模型→发票与成本中心。每个节点保存负责人、环境、任务、数据、动作、最后使用时间、合同、到期时间和处置。无法把一笔发票关联到应用时,先标记为未分配并指定调查负责人,不能按部门人数或去年预算静默摊掉。

账号清理采取禁用 - 观察 - 删除三步。43个孤儿先禁用14天并通知应用/业务负责人,3个触发遗留批量告警,迁为工作负载身份后才删除;其余保留必要审计/记录后关闭。这样“清零”不是直接删账号造成停机。席位去重也以用户是否仍需供应商专属能力为依据,不能用1,120 MAU简单认为720席浪费。

提供商请求账与网关任务账会不同:供应商按令牌/调用计费,网关按尝试/业务对象,账单含缓存、批量、重试和折扣。对账表逐供应商记录计量器差、汇率/税、承诺和状态未知;差异在分配前解决,否则统一账单只是更整齐的错误。

工作负载目录不能只写“调用大模型”

类别 月度量 交互与服务目标 数据与操作边界 候选路径
交互式草拟 180万次 流式传输;95%的请求在2.5秒内返回首个词元 公开或内部资料;仅草稿 快速或通用模型池
结构化提取 60万次 异步任务在30秒内完成 内部或机密资料;结构化输出 提取验证池
深度推理与评审 12万次 90秒内完成;专家评审 受限机密;不自动发布 高级或私有模型池
批量摘要 28万次 排期后4小时内完成 已批准语料库;内部输出 批量或低优先级模型池
总计 280万次 不设单一服务目标 无共同操作权限 由任务策略决定

280万次按业务任务尝试统计,已去除供应商内部重试;供应商账单仍按实际计费用量对账。每类任务都有负责人、合格输入、关键故障、评估集、人工与操作边界、峰值以及人工或回退路径。未知任务不能被网关猜成低风险聊天,而应被拒绝或进入受限沙箱。

目录还区分实验、内部辅助和生产工作流。同一个模型在个人沙箱中可以不承诺服务目标,但用于客户报价的生产流程时,必须有固定版本、评估、支持和外发审批。应用在请求中写入“生产”标签不会自动获得权限;注册表中的应用状态和负责人批准才是权威。

入职清单要求应用负责人回答:一个业务对象会产生几次尝试,峰值/期限怎样,输入从哪里且谁有权,输出由谁看/发布,模型能否调用工具,关键故障是什么,人工路径能撑多少,成功怎样与业务结果关联。答不出任务和操作的“通用助手”只能进低资料沙盒,不分配生产预留。

任务版本改变时,旧应用不能自动继承。例如报价规格检查v2增加客户附件和新字段,即使名字相似,也要更新数据与操作策略、评估和成本预算。目录保留v1的停用时间和使用方列表,先通知并迁移,再拒绝过期请求;否则统一入口会让旧语义永久存活。

容量配置保存工作日、时段、季节和峰值,而不是只存月均。180万次交互若集中在投标截止日,平均每秒不足1次,瞬时却可能达到数百次;28万次批量任务则可移到夜间。容量测试应使用真实追踪分布。

目标架构先做确定性策略,再做模型路由:最便宜或最快的端点不能越过资料边界

可复制模板
human/workload -> enterprise identity -> access broker / model gateway
  -> validate request envelope + app registry
  -> policy decision: task × data × purpose × action × region × user/app
     -> deny / manual / approved route set + logging/retention policy
  -> router: task eval gate -> health/capacity -> latency/cost preference
  -> provider/model adapters -> optional tools/source gateways
  -> validators + human/application release state
  -> trace/metric/log/cost/outcome events -> owned inventory and reviews
fallback never expands data, tools, action, region, or retention

策略决策点和执行点分开:中央策略服务返回允许的路由集与条件,网关/提供商代理在每次请求执行;供应商界面由单点登录/租户配置/管理日志实现可达到的等价控制。来源连接器和业务工具仍自己验证身份/权限,不能因为请求从网关来就信任全部下游资源。

路由器只在已批准集合中选择。先满足任务评估与严重门,再看提供商健康状态、容量、延迟和成本;若没有合格端点,结果是队列、人工或故障安全关闭,不用“尽力而为”越界。路由决策保存输入策略版本、候选、排除理由和实际端点,便于重现。

控制平面有三种退化模式。策略服务不可用时,生产只用短时、签名、版本匹配的上次已知良好决策缓存,涉及权限撤回/高风险操作则故障安全关闭;注册表不可用时不引入新模型,只用已缓存健康路径;遥测写入失败时普通沙盒限量继续,高后果应用停止放行。缓存生存时间、失效事件和恢复门都在运行手册演练。

数据平面组件的故障要相互隔离:某个供应商超时不能拖垮策略服务,某个资料连接器变慢不能占满全部网关进程,某个应用反复重试要由断路器切断。追踪信息传播时不能把敏感附带数据发送给所有供应商;跨边界只携带不可逆的业务编号或必要声明。架构图要给每条连接标明认证、授权、数据、超时、重试、日志和负责人,而不是只画一根“程序接口”箭头。

中央入口还要避免自成单点。两区域主/备只解决平台故障,不能解决错误策略同步;因此每次策略发布先试运行、金丝雀应用、差异检查,再扩大。破窗不是全开放直连,而是预先批准的最窄手动/直连路由,带过期、强日志和事后复核。

身份、授权和请求信息必须互相对应

人员与应用使用不同的身份生命周期

主题 凭证 绑定/声明 生命周期
员工 企业单点登录、多因素认证及必要的设备信息 用户、角色、部门、培训状态 入职、转岗与离职
已批准应用 工作负载或服务身份,加短期令牌 应用、环境、负责人、任务范围 部署、轮换与退役
持续集成与批处理作业 联合工作负载身份;可行时不存储密钥 流水线、代码仓库、环境 与运行绑定并自动过期
供应商界面 企业租户、单点登录与自动化账号同步 用户、组、许可证、策略 配置与对账
管理员 独立特权身份和加强认证 管理员角色、变更工单 限时开通;支持时即时授权
应急访问 封闭应急通道 事件、审批人、到期时间 使用后测试与审查

工作负载身份不借用开发者个人账号;生产和开发是不同委托人,不能共享凭证。短期令牌降低长期键暴露窗口,但仍需保护签发方、受众、范围与交换;供应商只支持静态密钥时放保险库、限定应用/端点/网络/额度,定期轮换并列为例外,不能称已消除风险。

员工离职同时撤供应商租户、网关组和直接授权;转岗重算任务/数据范围,不只保留“公司员工”资格。应用负责人离职触发替换或自动暂停续期。每月对账身份提供商、供应商名单、服务注册表和计费,发现差异有负责人/日期,而不是自动删掉可能在用的生产账号。

服务身份签发需要应用注册表编号、环境、任务范围、负责人及备份、资料与工具受众、额度、到期和轮换规则;生产凭证只能由部署平台交换,不能显示给终端用户。审批完成不代表永久授权:90天无使用、负责人缺失、应用退役或范围变化都会触发复核或撤销。签发、交换、拒绝、轮换和撤销都有状态记录。

共享密钥迁移期间双轨会扩大风险,所以窗口短且可量化:新身份先影子、再10%流量、100%流量、观察一个业务周期,然后旧密钥撤销并用负面测试确认无效。若回滚,重新启用的是受控保险库例外而非散落旧副本。秘密扫描找到旧键即事件分诊,不能假设撤销已覆盖所有副本。

多因素认证与设备要求按组织风险设定;管理员和高风险操作使用独立特权身份。单点登录成功也不是对所有模型、资料和动作的通行证。

授权对象是任务、数据、目的和操作的组合

策略维度 示例声明 执行与证据
执行者与应用 用户123/报价生产应用 身份提供商与服务注册表
任务 报价规格检查 v2 已批准的任务目录/评估
目的 准备内部报价草稿 用途绑定/复核
数据类别 内部/客户机密 来源分类 + 请求标签
区域/提供商 已批准区域/私有端点 注册表/适配器配置
操作 草稿/只读/不发送 工具范围/状态门控
时间/上下文 生产环境/工作队列/过期时间 权限/变更记录
义务 脱敏、记录元数据、保留30天、人工复核 网关、应用与运营共同执行

基于角色的访问控制可以给“报价分析员”基础任务,再用属性规则按客户工作区、数据类别、区域、培训、设备或案例状态进一步约束;最终资料网关仍要核对原始权限。用户自报的数据类别和自动分类器都可能出错,关键资料从权威来源继承标签,发生矛盾时采用更严格的规则或转人工,不能让较低标签解锁便宜端点。

策略既返回允许/拒绝,也返回义务:哪些模型可选、是否允许内容日志、最大上下文、需要脱敏、能否调用工具、必须人工放行、保留多久。应用若无法履行义务就拒绝,不用网关静默剥离后继续造成业务误解。

一条具体决策可以这样复核:报价应用中完成培训的分析员请求内部草稿,资料属于客户机密,受区域限制,不得用于训练,也不得直接发送。策略排除公共端点和会保留输入的供应商,只允许私有端点A与B,并要求关闭内容快照、记录资料编号、由报价经理发布。路由器只能在A与B之间比较评估、健康状态和成本;即使端点C便宜80%,也不能进入候选。

策略冲突采用拒绝覆盖并把冲突显式返回。例如部门允许通用聊天,但来源标客户机密且应用只批准内部;请求不会自动降标签,而是提示使用已批准的工作区或人工。频繁冲突进入来源/应用治理积压;不能让用户反复改标签直到通过。

策略即代码需要配套人能读懂的决策表、单元测试、回归测试、反向测试和变更负责人。测试覆盖允许、拒绝、义务、过期、撤权、状态未知、跨部门与应急访问;策略代码通过技术测试后,仍需业务、数据和操作负责人确认语义。放行后持续观察拒绝激增、路由切换和支持情况,出现异常时回滚到上一个已知良好版本。

请求信息使每一次路由决定都可验证

可复制模板
request_id, trace_id
actor_id | workload_id, app_id, environment, owner
task_id + task_version, purpose, business_object_id
data_class, source_ids, allowed_region/provider set
required_capabilities, output_schema, interaction_mode
action_scope, human_release_state
latency_slo, cost_budget, quota_bucket, priority
logging_policy, retention_policy, eval/cohort tags
requested_model? (preference only, never authority)

请求信息由应用的软件开发工具包或代理生成关键字段。用户只选择真实业务对象和目的,不能手填负责人和数据类别。结构验证在扣费或发送资料前发生;生产请求缺应用、任务、版本、数据类别或额度类别就拒绝。沙箱可进入受限的公开或内部路由,但不得静默成为生产。

business_object_id把十次提供商重试归回一项任务,成本/结果才有分母;source_ids允许检查权利/版本而不在中央日志复制全文。requested_model只是偏好,策略可排除;路由器实际选择与理由返回应用,使用户知道降级、排队或为什么不可用。

信封模式有必需/可选、来源权威和信任等级。角色/应用/环境由令牌/注册表,任务/版本由部署配置,来源/数据类由源网关,用途/业务对象由业务流程,成本/延迟由已批准的应用配置;用户不能覆盖前四类。字段冲突或签名过期在供应商调用前拒绝,并记录验证原因/负责人。

软件开发工具包只帮助生成与验证请求信息,不成为唯一入口;不受工具包支持的语言可以通过标准网络接口和合规性测试接入。工具包版本过期时先告警并阻止新功能,只有严重语义变化才强制失败。每个应用在持续集成中运行请求契约、错误、回退和幂等性测试,防止网关升级后使用方误把拒绝当成空答案。

请求信息也要最小化。不要把部门、客户、资料标签和全文都放入供应商请求头;适配器只发送推理所需内容,策略与追踪元数据留在企业域。

模型注册与路由只在已批准边界内选择

模型注册表记录的是可用条件和证据

注册表字段 示例/证据 更新触发器
端点/模型/版本 提供商-A/快速/v17 发布/变更通知
能力/限制 模式、上下文、语言、工具 基准测试 + 文档
任务评估状态 合格任务版本/关卡 回归/任务变更
数据、区域与保留期 已批准类别、位置、供应商使用条件 合同或配置变更
安全/身份 认证、私有路径、密钥/日志控制 复核/事件
延迟与容量 中位数、95分位、错误和并发 持续观测
单位成本 输入/输出/缓存/项/有效折扣 计费对账
回退兼容性 模式/行为差异 切换测试
负责人/过期时间 负责团队/复核日期 定期/负责人变更

注册表中的“已批准”始终带任务、数据和操作范围。快速模型可在普通草稿通过,却未必在报价数字、中文表格或工具调用通过;私有端点可处理机密,但质量或容量仍可能不合格。模型版本未知时不允许生产路由,除非供应商产品只能滚动版本且应用有相应金丝雀/回归与回退证据。

健康状态也不能覆盖合规状态。端点延迟正常但合同/区域证据过期,路由集移除;评估通过但事件中发现租户隔离问题,同样隔离。注册表变更触发哪些任务回归由依赖图决定,不全测也不零测。

注册表证据分为运行记录、合同与配置、官方文档和待验证声明;每项都有适用套餐与区域、核验人、日期和到期时间。供应商宣传“不会训练”只有在本租户、模型和功能的合同与配置都可证实时,才能进入数据条件。端点显示支持结构化数据,也要用本任务的输出结构进行测试,不能把功能标志当成质量证据。

模型别名不能隐藏版本漂移。供应商只提供滚动模型时,注册表记录观测版本/变更窗口、每日金丝雀和行为指纹;关键回退触发路径移除。允许版本固定也要记录支持终止和补丁责任,不能为稳定永远停在失去支持的版本。

成本字段用有效账单而非公开列表价格,记录折扣、缓存、批量、重试和货币;但敏感性仍用按需/续订情境,防承诺到期暴涨。健康/成本指标过期时路由器选择保守路径或队列,不把状态未知当最低价。

路由先看任务质量与严重风险,再看健康、容量、延迟和成本

阶段 决定性问题 故障处置
策略 端点在任务、数据、操作和区域内被允许吗 拒绝或转人工;不进入评分
任务放行门槛 冻结评估与关键失败通过吗 排除路由
模式/工具兼容性 应用能正确理解输出/错误吗 适配器修复/排除
实时健康/容量 错误/延迟/并发可接受吗 降级/队列
偏好 在已批准端点中,哪一项满足服务目标且实际成本更低 确定性选择
探索 是否在有上限群组比较候选 显式金丝雀仅限

路由规则必须有版本并可试运行。新策略先对过去一天的元数据和固定的800个评估案例产生影子决策,比较原本会选择什么、是否通过质量与资料门、成本和回退,不真正把第二份敏感内容发给另一家供应商;只有受控的小流量试验才调用候选端点。动态路由器不能以供应商自行报告的“智能评分”绕过可解释的放行门。

同一任务也可能根据长度、语言或模式复杂度分层,但切片必须在评估中有证据。若快速路径失败后升级高级,成本按业务对象合计,质量结果看最终且另记首次失败;不能只展示最终成功,隐藏大量低价尝试和延迟。

路由规则示例:普通中英文交互式草稿且上下文不超过8,000个词元时使用快速模型池;包含数字事实陈述或表格时进入通用模型池;超过上下文上限时先分块或转人工,不能随意截断;深度复核只使用私有高级模型。每个分支都有评估切片、最小样本、严重风险门、服务目标与回退。用户不能通过在提示词中写“请深度推理”来升级预算或资料范围,决定权属于应用任务。

路由器反馈闭环按故障类别处理。模式错交适配器/模型负责人,来源不足交应用/数据,质量不足交评估/模型,超时交容量,费用异常交应用/财务运营;不能所有问题都升级高级。人工编辑/结果用于定期评估,不在线训练或自动调路径,除非另有批准设计和防反馈偏差。

探索流量有明确上限,例如1%的已批准低后果群组;候选输出仍人工复核,不影响关键操作。探索结果按指定路由报告,失败不能自动再用高级后把候选记成功。达到门才更新注册表,未达门停候选而不是延长到“总会有好结果”。

容量与成本要在请求发生前受控

额度不是月底断电,而是分层管理钱、速率与风险

配额层级 控制 教学示例 超限行为
组织 总支出、供应商承诺与风险 月度预测上限100万元 发起人与财务运营复核
部门 投资组合预算与回溯 工程部门21万元软限制 通知、预测并重新排优先级
生产应用与任务 负责人批准金额加预留容量 报价生产应用9万元硬限制 队列或人工;由负责人决定
团队沙箱 实验、数据与操作限制 3万元软限制、3.6万元硬限制 仅限公开或内部沙箱
用户 防滥用和公平控制,不作为业务价值判断 每月240元软限制、360元硬限制 降速或审批;不做无提示阻断
请求 最大令牌/项/工具调用/时间 特定任务的 发送前拒绝/部分未计为成功

钱、请求速率、并发、上下文大小和工具操作是不同配额。一个批任务可能金额可承受却占满并发;一个小额智能体可能工具动作风险高。配额决策返回剩余量、重置、拒绝理由和申请路径,应用可在发供应商前停止,避免先花钱再报超额。

软限制用于通知、预测与负责人确认,硬限制保护预算/系统但不得直接打断安全关键在途动作;在途任务完成或安全检查点后停止。生产预留不能被个人沙盒耗尽,未用容量也不是鼓励生成无价值内容。例外带任务、金额/时间、审批人和过期,不把部门预算管理员变成永久超级权限。

额度层级在请求接受前给出“哪一类额度不足”。用户额度有余但应用硬上限耗尽时,不能借沙箱绕过;部门超过软限制但已批准生产仍按优先级继续,并通知预算负责人;组织或供应商承诺接近上限时,路由器只能在已经通过质量门的候选中优化。任何预算动作都不能改变数据与操作策略。

团队可申请临时突发,表单包含业务截止日期、预计量/成本、任务质量门、复核/支持容量、结束与负责人。系统签发限时配额授予并在到期恢复;实际未用自动释放。连续三次突发说明预测或架构有问题,进入容量复核,不把“紧急”永久化。

正式分摊前,先向部门展示应用、任务、质量、成本和未分配费用,允许纠正负责人和标签;财务规则另行确认。若收费促使团队隐藏调用或改用个人账号,应调整激励与支持,不能只加封锁。

速率、并发、优先级和反压共同保护服务

流量类别 优先级 准入/队列 降级
事件/人工恢复支持 0 最高 预留小池 失败闭锁并人工升级
已批准交互式生产 1 每个应用加供应商并发限制 替代的已准入端点或仅搜索
限时工作流 2 知悉截止时间的队列 部分批次/手动
沙盒交互式 3 公平共享/用户速率 较慢/软上限
计划批次 4 非高峰令牌桶 暂停/恢复/检查点
评估/回填 5 明确维护窗口 延迟且无业务影响

观测到的峰值为每秒420个请求,网关设计基线为每秒520个,并保留事件和健康余量;但供应商各自有速率、词元和并发限制,网关吞吐不等于端到端容量。队列按部门与应用公平共享,并考虑截止日期,不让一个陷入循环错误的应用占满容量;业务对象编号和幂等性控制用于防止重试造成重复业务动作。

返回429/超时时软件开发工具包使用带抖动的有界退避,不无限重试;超过任务截止日期转队列/手动并记录。批量按检查点续跑,已完成项不重做。流断开是否重试取决于应用能否识别已展示内容,不能自动拼接两份互相矛盾的回答。

容量测试模拟供应商降额、一个部门5倍突发、批任务与交互式叠加、网关区域故障。验收看P95、队列老化、公平性、成本和降级正确性,不只看每秒峰值;若降级会扩大资料/动作边界,宁可排队或故障安全关闭。

420 请求/秒峰值按类别拆为交互式 260、提取 90、批次 50、评估 20;5倍部门突发被每应用桶吸收,交互式 P95保持门内,批量延后37分钟但仍在4小时截止日期。测试同时注入10%超时,验证有界重试不会把420放大成供应商风暴。数字只描述教学负载,不是容量推荐。

队列项保存业务对象、截止日期、尝试次数、路由集合、数据与行动义务和检查点,不保存不必要的全文。重新调度前重新验证身份、资料来源和策略,因为排队期间用户可能转岗、资料可能撤权、模型证据也可能变化;旧的允许决定不能永久生效。过期任务转人工或取消并通知应用,不能无限积压。

可观测性与可靠性要从业务任务出发

追踪、指标、日志和受限内容快照承担不同职责

信号 最小元数据 默认内容处理 决策用途
追踪 追踪请求/业务对象、组件跨度、路径 无原始内容 延迟/故障路径
指标 计数、词元或项目数、延迟、错误、队列、成本 汇总 服务目标、容量与预测
决策日志 操作者/应用/任务/策略/路由/模型/版本/允许拒绝 来源编号/哈希, 非完整文档 审计/变更/回放
质量/结果 评估/队列、验证器、人工编辑/发布/结果 抽样/授权 路由质量/价值
安全事件 身份、访问、异常、操作与凭证 最小且受控的证据 检测与响应
调试快照 必要时提供精确的授权请求/上下文/输出 脱敏/受限/短有效期 复现事件/评估失败

追踪编号把网关、策略、资料来源、供应商、验证器与应用链路连接起来;指标回答规模与趋势,日志记录离散事件,三者不能互相替代。内容默认不进入通用性能监控或计费日志,避免把机密提示词复制到权限更宽的平台。需要复现时,由评估或事件工作流按案例授权快照,并记录目的、访问和删除。

日志字段也有负责人、保留与数据字典;模型/提供商的请求 ID可关联但不作为企业唯一ID。抽样不能丢掉所有错误:关键拒绝、权限、工具操作、关键验证器与事件 100%记录,普通成功按任务风险/调试需要采样。日志管道失败时,高后果外部操作停或降级,普通沙盒可继续但显示审计降级并限制范围。

员工使用数据不用于隐形绩效排名。分摊显示以应用/部门/任务为主,个体速率仅用于支持、滥用调查和公平控制;访问由职责分离,查询也留审计。真实保留/员工关系/隐私义务按地点和组织程序确定。

复现包不是“把所有内容打包”:包含信封/路由/策略/模型/适配器版本、来源编号/哈希、组件时序、错误、验证器、人类结果;只有有权且必要时附受限内容。另一个工程师在隔离环境重放固定评估/合成替代资料,先判断是系统性还是案例特有。无法重现也记录缺失信号,推动遥测字段而非永久扩大抓取。

可观测性管道自己有SLO与故障演练。采集器积压、模式不兼容、时钟漂移、提供商请求 ID缺失、计费迟到分别有告警;追踪缺跨度不等于业务失败,但必需审计事件缺失会影响高后果放行。字段版本先双写/校验再迁移,消费者不因新字段把旧事件误读。

成本分摊先算直接使用,再公开共享规则

目标路由的虚构月供应商成本可以复算:交互式180万次×0.18元=32.4万元;提取60万次×0.12元=7.2万元;深度推理12万次×1.80元=21.6万元;批量28万次×0.25元=7万元;合计68.2万元。网关、可观测性、支持与平台运维另为22万元,总月度运行成本为90.2万元。

成本视图 公式/结果 限制/操作
原供应商默认路径 280万次×0.52元=145.6万元 仅含供应商;质量与任务混合假设
路由后的供应商费用 32.4+7.2+21.6+7=68.2万元 仅含被接受的任务路由
平台与运维共享费用 22万元 不得从单位成本中消失
目标总计 90.2万元 尚未计迁移、评估与人工复核
月度运行成本差异 145.6−90.2=55.4万元 预测值,尚非已实现节省
平均技术请求成本 90.2万元÷280万≈0.322元 不是业务价值单位

直接成本按请求信息中的部门、应用、任务和环境分配;22万元共享费用采用透明规则:身份与网关基础由中央资金承担,随请求和追踪增长的部分按用量分配,预留容量分给预订应用。规则版本、折扣与承诺和未分配费用另列,不能为了达到100%覆盖而随意把未知费用摊给最大部门。

旧账中81%可以分配,19%约27.664万元找不到直接负责人;试运行达到98.6%,剩余1.4%约1.263万元进入未分配队列,并在5日内寻找负责人和分类。98.6%不是价值证明,只说明费用可解释。业务单位指标按任务选择,例如每份已验收抽取、每个合格草稿或每项完成案例,必须同时带上质量与人工复核,不能只追求每次请求成本下降。

路径优化先过质量/风险门。若快速模型需要更多重试或人工编辑,有效单位成本应加全部尝试、验证器、复核与失败;便宜单价可能更贵。供应商账单与网关计量器每月对账,差异超容忍就查缓存、批量、令牌计量或重复,不直接分摊。

单位成本表同时给技术与业务口径:成本/已批准请求用于运维,成本/已验证提取或成本/已接受草稿用于产品,成本/业务成果只在有可信关联时使用。人工复核、平台、共享支持按透明方法逐步纳入满载视图;早期直接成本与成熟总体拥有成本不可混在同一趋势线。

成本异常需要业务语境。某应用费用翻倍可能因量增长、上下文膨胀、重试循环、路径升级或价格变化;检测先分解数量×单元,再看质量/结果。自动断路器只处理明确循环/滥用或上限,合法业务增长由负责人决定扩容,不把优化等同削减使用。

分摊规则每季度版本化复核:基础平台固定分摊,可变观测成本按用量,预留容量按预订,无法合理分配的费用由中央知情保留。关键不是所有费用套同一公式,而是负责人能看懂、复算并预见影响。

可靠性按任务的端到端服务目标管理

任务指标 目标或示例 依赖与失败含义
成功接纳结果 关键有效结果, 非 HTTP200 模型/模式/源/验证器
交互式首个词元延迟 95%的请求不超过2.5秒 队列、供应商与网络
提取完成延迟 95%的请求不超过30秒 文档、资料源、模型与输出结构
批次截止时间 99% 由 4小时 队列/容量/检查点
策略与身份决策 99%的请求不超过150毫秒;具备故障安全行为 身份服务、策略与缓存
审计完整性 ≥99.9% 生产所需事件 管道/存储/模式
人工连续性 按高风险任务测试 人员、运行手册与访问

服务目标按任务和业务窗口制定,不能把所有请求平均。供应商返回成功但输出结构错误、资料缺失或关键验证器失败,不算成功结果;用户取消、策略拒绝和正常回退分别分类。错误预算耗尽时停止非必要路由变更和新应用,先修稳定性,不能用更多回退来掩盖。

一次27分钟提供商中断影响12,400请求:8,680个公开/内部且备用端点通过同任务放行门槛,被重新路由;2,480个可等待批量/低优先任务入队列;1,240个机密/深度任务没有等价边界内端点,故障安全关闭转人工。8,680+2,480+1,240=12,400。没有请求为可用性改去未批准区域/提供商。

故障转移输出可能语气、长度、模式边缘行为不同,适配器/消费者契约先回归;路由响应标降级模型/版本,应用决定是否增加复核。恢复原供应商先金丝雀,不瞬间回切全部造成惊群效应。事件后重算质量、成本、队列老化和受影响业务对象。

中断演练前定义成功:没有资料/区域/操作越界、严重结果不降、重复业务操作为0、所有12,400有单一最终状态、人工人员接得住。8,680 重路由并不天然成功,仍需检查验证器/人工结果;2,480 队列按截止日期重放,1,240 失败即关闭向用户显示原因/替代,不返回空白“成功”。

依赖预算记录IdP、策略、网关、来源、供应商、验证器、日志和应用各自可用性贡献。两个99.9%串联不是端到端99.9%;共享依赖的故障相关性也不能用简单乘法消失。SLO目标从用户任务出发,平台组件指标只用于诊断/容量。

网关不是安全魔法:凭证、提示注入、工具副作用与出站仍在各层控制

威胁/故障 网关贡献 仍需在别处使用
共享/泄露凭证 身份、范围、配额、撤销、异常 保险库/工作负载联邦/软件开发生命周期
跨租户/源访问 策略标签/拒绝/日志 源访问控制列表和租户隔离
内容中的提示注入 内容与资料来源标签、工具限制 应用隔离、解析器、人工路径与控制测试
不安全工具操作 操作范围/批准令牌 工具验证身份/幂等性/前置条件
敏感输出 路由/数据义务/验证器 应用显示/发布/脱敏
提供商保留/变更 注册表/已批准路由/变更记录 契约/配置/供应商管理
拒绝/成本滥用 速率/配额/熔断器 应用循环修复/事件响应

网关不能可靠判断所有提示词是否包含秘密,也不能判断所有输出是否正确,更不应成为唯一的资料权限点。工具收到的短期委托令牌包含应用、任务、操作和业务对象,工具仍要自行检查当前权限、参数和状态;高风险操作需要独立批准,并具备防重复与补偿机制。模型生成的文字不能提升权限范围,也不能要求网关关闭日志。

67个凭证先库存负责人、位置、范围、最后使用和轮换;共享31个逐应用替换,旧键先观察双跑再撤销,避免直接删生产。秘密扫描与计费异常发现新静态键,注册表无负责人/过期时间则阻止生产。破窗每季度演练并复盘,不能成为绕网关的日常后门。

策略/管理员、计费、评估和事件权限分离;能改路径的人不能独自改评估通过,能看调试内容的人不自动能改配额。控制平面变更有双人复核、金丝雀、审计与回滚,防止一个错误规则同时影响全部部门。

提示注入治理放在应用/源/工具信任边界:外部文档标不可信内容,指令与数据分离,工具不接受模型生成的范围,敏感动作要求结构化参数、先决条件和人工批准。网关可传信任标签、限制路由/工具并记录异常,却无法只靠关键词过滤理解所有恶意内容;任务评估包含真实来源的攻击样本。

出站策略限制供应商/工具目的地、DNS/网络和数据类别,但不把网络白名单当身份授权。连接器使用独立服务身份与最小源范围,模型无法自选新连接器。输出返回应用仍需脱敏/披露/放行,网关验证器不能为最终业务正确性背书。

滥用案例还包括账号共享、循环提示词、超长上下文、批量抓取、用沙盒处理客户资料和通过requested_model绕预算。检测结合身份、应用、任务、来源、速率和成本,处置从提示/限流/停键到事件,给正常误报申诉/恢复路径。

迁移先建立可见性,再逐批撤掉旧路径

范围 入口证据 出口证据
0 清单 23项服务、27个应用,以及账户、密钥、成本、数据与操作 负责人和当前路由 处置与优先级
1 影子运行 元数据、账单与重放;不重复调用敏感内容 请求信息映射与评估 策略与路由差异已审查
2 新低风险应用 公开或内部草稿及提取任务 身份、任务、评估与人工路径 服务目标、日志、成本与支持稳定
3 现有程序接口 67个按应用批次配置的凭证 适配器、幂等性与回退 旧密钥已撤销并完成对账
4 供应商网页 14个采用单点登录、目录与控制项的付费租户 对应套餐的管理、日志与导出能力 名单、策略与支持已对齐
5 限制或退役 重复、无主或不合规路径 负责人、记录与连续性 访问、数据、许可与删除证据

影子路由只计算“如果统一策略会选什么”,不把真实内容再发另一个供应商;用任务元数据与固定评估预测成本/覆盖范围。直接调用暂时保留时同时计量器,未登记应用进入例外清单并有过期。新应用先接,证明平台能支持,不把最关键遗留流程当首个实验。

凭证迁移每批最多5个应用,观察一个业务周期后撤销旧密钥;发现使用方依赖供应商特有的错误或流式返回语义时,就修复适配器与使用方,不能长期双轨运行。供应商界面无法经过模型网关时,通过企业单点登录、自动化账号同步、租户设置、目录、数据防泄漏控制和管理证据形成“统一控制但非统一路径”,不能假装所有调用都有同样粒度的追踪。

退役前先确认负责人、替代路径、记录、合同与数据删除,许可证到期后才释放费用。部门保留特殊产品时,须说明任务、价值、数据、操作、控制和年度复核;统一平台不是用中央偏好消灭合理差异。

迁移沟通按用户任务而非技术波次。内容作者需要知道入口或界面是否变化、旧链接何时失效、资料与模型限制、费用是否可见,以及如何转人工和报错;开发者获得软件开发工具包、数据结构、错误、路由变化与测试环境;部门负责人获得席位、预算、例外和退役清单。没有培训与支持,就不切换该批用户。

旧路径关闭前用7日双观察对账身份、任务量、质量结果、成本和SLO;双观察不是把同一敏感请求发两家,而是旧/新各自处理分配群组或用元数据。差异有负责人,严重未解释不撤销。关闭后负面测试确认键、账户、DNS/API和供应商 UI 权限均按计划失效。

迁移回退也有边界:网关故障可回已批准直连路由,但不能恢复共享键或未审供应商;供应商界面切换失败可继续旧租户至短期过期,仍保留单点登录/资料限制。回退使用被计量/审计,不成为永久旁路。

90天试点怎样证明统一入口值得继续

评估通道 案例 放行门槛/结果 路由决策
交互式草拟 320 298/320=93.1% 已支持;关键 0 快速通道符合有界切片条件
结构化提取 240 235/240=97.9% 模式/证据;关键 0 提取池已准入
深度推理/评审 120 110/120=91.7% 专家通过;关键 0 高级/仅限私有
批次摘要 120 115/120=95.8% 已支持;关键 0 批次池已准入
总计 800 特定任务的, 非单一平均值 注册表范围/版本已保存

试点选择9个应用、72万次生产请求和4个部门;99.2%即714,240次请求带有有效的任务、数据和目的标签,5,760次缺字段的请求在发送前被拒绝并修复,没有由网关猜测标签。成本分摊覆盖98.6%,31个共享密钥全部替换,43个无主供应商账户经负责人确认后禁用;46个服务主体包含27个应用在不同环境和批处理任务中的身份,不等于一个应用只对应一个身份。

质量回归发现快速模型在中英混合单位切片低于门,路由器只排除该切片并转已批准通用模型,不把整个快速端点称失败。两次应用重试循环使成本异常触发断路器,修复后从business_object去重账;没有把被限流请求从SLO/成本分母删除。

90天证据只支持把新的低风险和中风险接口应用默认接入控制平面,并继续分批迁移;外部高后果操作、未登记连接器和受限数据仍需单独准入。55.4万元只是目标月度运行成本差异情境,只有在全量迁移、质量、人工和平台实际成本稳定后,才能称为已经实现的节省。

720,000 生产请求按已分配策略分析,不能只看714,240有效标签。5,760 验证拒绝中3,940是旧软件开发工具包缺任务版本、1,120是源类别冲突、700是过期应用负责人;修复后重新提交仍计原业务对象和额外延迟。标签覆盖提高来自拒绝/修复,不是网关“自动补全”。

800例评估每通道保留正常/边缘/停止,表中通过率是任务评分标准结果而非通用准确率;所有严重为0仍受样本限制。快速交互式 22个未通过中14个是中英单位、5个引用不足、3个格式;只排除受影响切片而不让低平均分污染已证据充分的普通草稿。

试点委员会同时看用户支持、路由解释、供应商事件、凭证迁移与未分配。若成本达到目标但手动容量或质量不够,不能扩大;若成本较高但严重控制/业务价值成立,可保留并重新谈预算。统一入口是治理与运行产品,不以降费一项验收。

中央平台与业务负责人必须各自承担可停止责任

问责领域 中央平台 应用与业务负责人 独立或合作角色
身份与策略引擎 运行、架构与控制 提交准确的任务与目的 身份与安全复核
任务与评估 工具和注册表集成 提示词、数据与结果负责人 独立评估和风险质询
路由与模型 适配器、健康、成本与变更 批准路由对任务的影响 采购、供应商与安全负责人
额度与成本 计量、预测与回溯 预算、价值与异常响应 财务与云成本运营
资料与工具 通用契约 资料与操作权限 数据与工具负责人
服务目标与事件 网关、运行手册与协调 应用、人工路径与业务影响 供应商和事件团队
采用与支持 文档与接入 用户、培训与流程 变更和员工代表(按需)
退役 平台路径与证据 业务连续性与记录 采购、数据和法律人员(按需)

中央产品团队包括平台负责人、身份与策略、可靠性工程师、安全、云成本运营和开发者支持;领域评估和业务结果不能由中央团队代签。每个应用都有负责人、备份、任务版本、预算、服务目标、人工路径、事件联系人和到期时间;没有负责人时先限制,仍无人接手就按退役流程处理。

周度复核看关键风险与安全、服务目标与错误预算、供应商与模型变更、队列与额度、成本异常和未决例外;每月看单位经济模型、任务质量、支持与组合;季度进行凭证、应急访问、故障转移和退役演练。会议必须输出决定、负责人和日期,不能只看仪表盘。

平台团队也有容量门。若新应用接入需求超过评估与支持能力,就排队而不是降低任务证据;若中央网关成为业务单点,保留经批准的直连与人工连续性路径并定期演练。架构决策记录说明哪些控制必须集中实施、哪些可以在供应商租户中等价实现,避免平台为了集中而集中。

服务目录公开接入所需时间、支持等级、责任与已知限制。低风险沙箱可自助,但有资料与动作上限;生产应用需要负责人、评估、服务目标和人工路径,外部行动还要通过工具与审批门。中央团队拒绝请求时,要给出具体缺口与最小下一步,不能用“平台标准”作为不可讨论的结论。

例外登记要记录原因、替代控制、负责人、受影响的任务、数据和动作、费用、到期时间和迁移计划。季度复核不是逐项机械续期:没有使用或负责人就关闭;业务仍有需要但平台缺能力,则优先补齐;始终无法满足严重风险门,就继续限制。例外的数量与存在时间是平台产品反馈,不自动等于部门违规。

事件指挥官负责跨网关、供应商和应用协调,但业务负责人判断对客户和流程的影响并安排人工路径,安全与数据等负责人按事件参与。事后复盘使用共同的故障分类法,分别列出路径、策略、软件开发工具包、应用和供应商的行动,不能把“第三方故障”当作内部无需改进的理由。

交付一套能解释每次允许、拒绝和路由的材料

产物或模板 最低内容
服务、应用、账户与密钥清单 负责人、任务、数据、动作、用户、成本、路由与处置
工作负载目录 任务、版本、量级、交互、服务目标、评估与人工路径
请求信息 执行者、应用、目的、数据、动作、能力、成本与日志
策略矩阵 允许、拒绝、义务、区域、供应商、工具与人工要求
模型注册表 版本、评估、数据、变更、健康、成本、回退与到期
路由决策记录 候选项、排除项、实际选择、重试与结果
额度与优先级计划 资金、速率、并发、上下文、动作与异常
观测字段字典 追踪、指标、日志、内容目的、访问与保留
分摊与单位成本模型 直接、共享、未分配、质量、复核与结果
服务目标与回退运行手册 任务指标、依赖、错误预算、队列、人工与事件
迁移账簿 批次、凭证、供应商界面、旧路径、撤销、删除与许可
运营复核 负责人、节奏、变更、异常与退役证据

NIST零信任架构SP 800-207强调,不能因网络位置或所有权而隐含信任;SP 800-207A进一步讨论应用与服务身份、网关和细粒度策略。本文只借鉴身份、资源和策略原则,不把模型网关等同于零信任。SP 1800-35的多种实现示例也说明,架构仍须按组织环境选择。OpenTelemetry区分追踪、指标与日志,本文据此分开观测数据。FinOps框架用元数据分配直接与共享成本并联系业务单位;本文金额、分摊和98.6%均为教学数据。NIST人工智能风险管理框架只用于AI清单、第三方组件、生产监控、变更与应急计划的背景。

本周不要先画“所有调用进一个框”的架构。选3个真实应用,为每个填写工作负载目录和请求信息,分别列出人员与服务身份、任务、数据、目的、操作、评估、服务目标、预算、日志与人工路径;先用影子运行回答“统一策略会允许、拒绝或选择哪条路径”,再迁移一个低风险应用,并演练供应商中断和旧密钥撤销。只有当统一控制能够解释决定、守住边界并支持业务连续时,才扩大入口。