先看结果:统一的是身份、策略、证据和运行,不是强迫4,800人只用一个聊天框
岳衡工程集团有4,800名员工、11个部门。盘点发现23项AI服务,其中14个付费租户;购买1,840个席位但月度去重活跃用户只有1,120,另有27个内部应用直连6家供应商的8个模型端点。团队维护67个长效API 凭证,31个被多人共享,抽查发现43个离职/转岗后仍存在的供应商账户。
集团没有把所有产品换成一个门户。设计后的控制平面允许供应商网页、内部检索增强生成系统、批量抽取、代码助手和受限智能体继续使用合适的界面,但共同采用工作负载身份、任务与数据及操作策略、模型注册表、额度、路由决策、使用量与成本,以及事件与变更记录。需要特定租户功能的服务可以保留,只要身份、资料、动作、日志和负责人满足放行条件。
| 90天结果 | 之前 | 决策后 |
|---|---|---|
| 共享长生命周期密钥 | 31/67 | 0;46 服务主体/短生命周期凭证 |
| 孤立抽样供应商账户 | 43 | 0 禁用/对账后剩余 |
| 成本分摊覆盖率 | 81% | 98.6% 直接/代理;已公开的共享规则 |
| 带有任务、数据和目的标签的请求 | 42% | 99.2%;无效请求被拒绝,而不是由系统猜测 |
| 月度教学运行成本 | 145.6万元,仅含供应商 | 68.2万元供应商费用,加22万元平台与运维费用 |
| 提供商中断 12,400 请求 | 临时/手动 | 8,680 已重新路由;2,480 排队;1,240 失败即关闭 |
| 模型与界面选择 | 碎片化默认值 | 共同控制下的多条已批准路径 |
公司、用户、服务、价格、流量、错误与结果均为虚构教学案例,不是供应商性能、报价或架构处方。真实访问、日志、监控、劳动、隐私、跨境、安全、合同与行业责任,须由相应专业人员和受影响方根据具体环境决定。
90天结论不是“全员切换完成”。统一入口只有在四件事同时成立时才能扩大:业务应用能表达任务和目的,策略能守住资料与动作边界,路由器能依据任务证据选择或降级,运营团队能复现费用与失败并保留人工路径。只做到单点登录或统一账单不算完成;暂时无法接入但控制充分的供应商租户,也不应为了架构纯洁而被强制关闭。
控制平面本身也要进入AI系统与服务清单:负责人、依赖、管理员、策略与注册表版本、服务目标、资料、事件、变更和退役都要登记。它影响27个应用,错误影响范围可能大于任一模型;因此更需要小流量试运行、双人变更、备用策略和旁路限制,不能因为“只是基础设施”就跳过评估。
统一入口不等于统一网页或统一模型
| 平面 | 共同责任 | 可保持多样性 |
|---|---|---|
| 体验 | 登录、披露、支持路由 | 供应商界面、聊天、开发环境、业务应用 |
| 控制 | 身份、策略、注册表、配额、路由意图、审计/成本 | 护栏内的部门配置 |
| 数据 | 来源访问、上下文、模型/工具调用、流/批处理执行 | 提供商、区域、私有/云端点 |
| 评估 | 任务集、关键关卡、路由回退、变更记录 | 特定任务的评分标准/模型 |
| 运营 | 服务目标、事件、回退、计费对账、退役 | 组件负责人和值班路径 |
一个网页门户只能解决可发现性,不能自动统一通过程序接口调用的应用、嵌入式功能或用户自行购买的供应商租户;一个程序接口网关只能看到经过它的调用,不能控制直接登录的软件服务。架构因此保留三种接入:应用经模型网关;支持企业单点登录和管理日志的供应商界面经访问代理与目录;不能满足资料、动作和日志门的产品则保持限制或退出。
“一个模型给所有任务”也不是统一。不同任务对结构化输出、长上下文、代码、语言、私有部署、延迟和成本要求不同;强制一个默认会把高成本模型浪费在简单任务,也可能把敏感任务路由到不允许端点。共同的请求契约和决策记录比共同模型名称更重要。
三类路径使用同一个最小控制清单。模型网关路径可逐次执行完整的请求信息校验;供应商界面至少要有企业身份、租户与数据设置、经批准的使用说明、管理日志与席位,以及变更与支持;嵌入式功能由宿主应用继承用户、资料和动作边界,并把结果事件映射到清单。若某条路径缺少任务级成本,只能做较粗的分摊并标注置信度,不能伪造与网关相同的精度。
“等价控制”也要逐项取证。供应商界面不能输出网关路由日志,但可固定租户与模型、限制连接器、使用单点登录组并导出管理事件;若仍无法证明不训练、不跨租户或不外发,就缩小资料与任务范围或退出。
先把现状和工作负载画清楚
账户、应用、模型、资料、动作和费用要分别盘点
| 证据 | 观测 | 为何单独不足 |
|---|---|---|
| 已购席位 | 1,840 跨 14 个租户 | 重复/空闲/角色未知 |
| 独立月度用户 | 1,120 | 任务、数据与操作未知 |
| 服务 | 23 | 系列≠部署/工作流 |
| 内部应用 | 27 | 部分使用多个端点/密钥 |
| 长有效期凭证 | 67 | 负责人/目的/轮换不一致 |
| 供应商请求 | 每月280万次 | 重试、批处理与任务分母不同 |
| 供应商账单 | 每月145.6万元 | 19%无法直接分配到应用或成本中心 |
| 提示样本 | 未集中收集 | 有目的的极小化, 默认不缺失 |
项目把席位授权、活跃登录、应用主体、模型请求和业务任务分开。一个员工可能有3个席位,一个应用会发数千请求,一次业务文档可能重试10次;因此“请求量最高的部门最有价值”是错误跳跃。使用地图用应用/任务/结果 ID关联,而不默认收提示词全文。
31个共享键中有9个写在持续集成变量、11个存团队保险库但无个人归因、7个在桌面脚本、4个负责人已转岗。它们不是立即认定泄露,却使最小权限、撤销、费用归属和事件范围困难。43个孤儿账户先禁用、确认业务影响,再按保留/删除规则处理,不等网关建好才清理。
六张图通过稳定编号相连:服务族→租户与部署→应用与工作流→身份与凭证→供应商与模型→发票与成本中心。每个节点保存负责人、环境、任务、数据、动作、最后使用时间、合同、到期时间和处置。无法把一笔发票关联到应用时,先标记为未分配并指定调查负责人,不能按部门人数或去年预算静默摊掉。
账号清理采取禁用 - 观察 - 删除三步。43个孤儿先禁用14天并通知应用/业务负责人,3个触发遗留批量告警,迁为工作负载身份后才删除;其余保留必要审计/记录后关闭。这样“清零”不是直接删账号造成停机。席位去重也以用户是否仍需供应商专属能力为依据,不能用1,120 MAU简单认为720席浪费。
提供商请求账与网关任务账会不同:供应商按令牌/调用计费,网关按尝试/业务对象,账单含缓存、批量、重试和折扣。对账表逐供应商记录计量器差、汇率/税、承诺和状态未知;差异在分配前解决,否则统一账单只是更整齐的错误。
工作负载目录不能只写“调用大模型”
| 类别 | 月度量 | 交互与服务目标 | 数据与操作边界 | 候选路径 |
|---|---|---|---|---|
| 交互式草拟 | 180万次 | 流式传输;95%的请求在2.5秒内返回首个词元 | 公开或内部资料;仅草稿 | 快速或通用模型池 |
| 结构化提取 | 60万次 | 异步任务在30秒内完成 | 内部或机密资料;结构化输出 | 提取验证池 |
| 深度推理与评审 | 12万次 | 90秒内完成;专家评审 | 受限机密;不自动发布 | 高级或私有模型池 |
| 批量摘要 | 28万次 | 排期后4小时内完成 | 已批准语料库;内部输出 | 批量或低优先级模型池 |
| 总计 | 280万次 | 不设单一服务目标 | 无共同操作权限 | 由任务策略决定 |
280万次按业务任务尝试统计,已去除供应商内部重试;供应商账单仍按实际计费用量对账。每类任务都有负责人、合格输入、关键故障、评估集、人工与操作边界、峰值以及人工或回退路径。未知任务不能被网关猜成低风险聊天,而应被拒绝或进入受限沙箱。
目录还区分实验、内部辅助和生产工作流。同一个模型在个人沙箱中可以不承诺服务目标,但用于客户报价的生产流程时,必须有固定版本、评估、支持和外发审批。应用在请求中写入“生产”标签不会自动获得权限;注册表中的应用状态和负责人批准才是权威。
入职清单要求应用负责人回答:一个业务对象会产生几次尝试,峰值/期限怎样,输入从哪里且谁有权,输出由谁看/发布,模型能否调用工具,关键故障是什么,人工路径能撑多少,成功怎样与业务结果关联。答不出任务和操作的“通用助手”只能进低资料沙盒,不分配生产预留。
任务版本改变时,旧应用不能自动继承。例如报价规格检查v2增加客户附件和新字段,即使名字相似,也要更新数据与操作策略、评估和成本预算。目录保留v1的停用时间和使用方列表,先通知并迁移,再拒绝过期请求;否则统一入口会让旧语义永久存活。
容量配置保存工作日、时段、季节和峰值,而不是只存月均。180万次交互若集中在投标截止日,平均每秒不足1次,瞬时却可能达到数百次;28万次批量任务则可移到夜间。容量测试应使用真实追踪分布。
目标架构先做确定性策略,再做模型路由:最便宜或最快的端点不能越过资料边界
human/workload -> enterprise identity -> access broker / model gateway
-> validate request envelope + app registry
-> policy decision: task × data × purpose × action × region × user/app
-> deny / manual / approved route set + logging/retention policy
-> router: task eval gate -> health/capacity -> latency/cost preference
-> provider/model adapters -> optional tools/source gateways
-> validators + human/application release state
-> trace/metric/log/cost/outcome events -> owned inventory and reviews
fallback never expands data, tools, action, region, or retention
策略决策点和执行点分开:中央策略服务返回允许的路由集与条件,网关/提供商代理在每次请求执行;供应商界面由单点登录/租户配置/管理日志实现可达到的等价控制。来源连接器和业务工具仍自己验证身份/权限,不能因为请求从网关来就信任全部下游资源。
路由器只在已批准集合中选择。先满足任务评估与严重门,再看提供商健康状态、容量、延迟和成本;若没有合格端点,结果是队列、人工或故障安全关闭,不用“尽力而为”越界。路由决策保存输入策略版本、候选、排除理由和实际端点,便于重现。
控制平面有三种退化模式。策略服务不可用时,生产只用短时、签名、版本匹配的上次已知良好决策缓存,涉及权限撤回/高风险操作则故障安全关闭;注册表不可用时不引入新模型,只用已缓存健康路径;遥测写入失败时普通沙盒限量继续,高后果应用停止放行。缓存生存时间、失效事件和恢复门都在运行手册演练。
数据平面组件的故障要相互隔离:某个供应商超时不能拖垮策略服务,某个资料连接器变慢不能占满全部网关进程,某个应用反复重试要由断路器切断。追踪信息传播时不能把敏感附带数据发送给所有供应商;跨边界只携带不可逆的业务编号或必要声明。架构图要给每条连接标明认证、授权、数据、超时、重试、日志和负责人,而不是只画一根“程序接口”箭头。
中央入口还要避免自成单点。两区域主/备只解决平台故障,不能解决错误策略同步;因此每次策略发布先试运行、金丝雀应用、差异检查,再扩大。破窗不是全开放直连,而是预先批准的最窄手动/直连路由,带过期、强日志和事后复核。
身份、授权和请求信息必须互相对应
人员与应用使用不同的身份生命周期
| 主题 | 凭证 | 绑定/声明 | 生命周期 |
|---|---|---|---|
| 员工 | 企业单点登录、多因素认证及必要的设备信息 | 用户、角色、部门、培训状态 | 入职、转岗与离职 |
| 已批准应用 | 工作负载或服务身份,加短期令牌 | 应用、环境、负责人、任务范围 | 部署、轮换与退役 |
| 持续集成与批处理作业 | 联合工作负载身份;可行时不存储密钥 | 流水线、代码仓库、环境 | 与运行绑定并自动过期 |
| 供应商界面 | 企业租户、单点登录与自动化账号同步 | 用户、组、许可证、策略 | 配置与对账 |
| 管理员 | 独立特权身份和加强认证 | 管理员角色、变更工单 | 限时开通;支持时即时授权 |
| 应急访问 | 封闭应急通道 | 事件、审批人、到期时间 | 使用后测试与审查 |
工作负载身份不借用开发者个人账号;生产和开发是不同委托人,不能共享凭证。短期令牌降低长期键暴露窗口,但仍需保护签发方、受众、范围与交换;供应商只支持静态密钥时放保险库、限定应用/端点/网络/额度,定期轮换并列为例外,不能称已消除风险。
员工离职同时撤供应商租户、网关组和直接授权;转岗重算任务/数据范围,不只保留“公司员工”资格。应用负责人离职触发替换或自动暂停续期。每月对账身份提供商、供应商名单、服务注册表和计费,发现差异有负责人/日期,而不是自动删掉可能在用的生产账号。
服务身份签发需要应用注册表编号、环境、任务范围、负责人及备份、资料与工具受众、额度、到期和轮换规则;生产凭证只能由部署平台交换,不能显示给终端用户。审批完成不代表永久授权:90天无使用、负责人缺失、应用退役或范围变化都会触发复核或撤销。签发、交换、拒绝、轮换和撤销都有状态记录。
共享密钥迁移期间双轨会扩大风险,所以窗口短且可量化:新身份先影子、再10%流量、100%流量、观察一个业务周期,然后旧密钥撤销并用负面测试确认无效。若回滚,重新启用的是受控保险库例外而非散落旧副本。秘密扫描找到旧键即事件分诊,不能假设撤销已覆盖所有副本。
多因素认证与设备要求按组织风险设定;管理员和高风险操作使用独立特权身份。单点登录成功也不是对所有模型、资料和动作的通行证。
授权对象是任务、数据、目的和操作的组合
| 策略维度 | 示例声明 | 执行与证据 |
|---|---|---|
| 执行者与应用 | 用户123/报价生产应用 | 身份提供商与服务注册表 |
| 任务 | 报价规格检查 v2 | 已批准的任务目录/评估 |
| 目的 | 准备内部报价草稿 | 用途绑定/复核 |
| 数据类别 | 内部/客户机密 | 来源分类 + 请求标签 |
| 区域/提供商 | 已批准区域/私有端点 | 注册表/适配器配置 |
| 操作 | 草稿/只读/不发送 | 工具范围/状态门控 |
| 时间/上下文 | 生产环境/工作队列/过期时间 | 权限/变更记录 |
| 义务 | 脱敏、记录元数据、保留30天、人工复核 | 网关、应用与运营共同执行 |
基于角色的访问控制可以给“报价分析员”基础任务,再用属性规则按客户工作区、数据类别、区域、培训、设备或案例状态进一步约束;最终资料网关仍要核对原始权限。用户自报的数据类别和自动分类器都可能出错,关键资料从权威来源继承标签,发生矛盾时采用更严格的规则或转人工,不能让较低标签解锁便宜端点。
策略既返回允许/拒绝,也返回义务:哪些模型可选、是否允许内容日志、最大上下文、需要脱敏、能否调用工具、必须人工放行、保留多久。应用若无法履行义务就拒绝,不用网关静默剥离后继续造成业务误解。
一条具体决策可以这样复核:报价应用中完成培训的分析员请求内部草稿,资料属于客户机密,受区域限制,不得用于训练,也不得直接发送。策略排除公共端点和会保留输入的供应商,只允许私有端点A与B,并要求关闭内容快照、记录资料编号、由报价经理发布。路由器只能在A与B之间比较评估、健康状态和成本;即使端点C便宜80%,也不能进入候选。
策略冲突采用拒绝覆盖并把冲突显式返回。例如部门允许通用聊天,但来源标客户机密且应用只批准内部;请求不会自动降标签,而是提示使用已批准的工作区或人工。频繁冲突进入来源/应用治理积压;不能让用户反复改标签直到通过。
策略即代码需要配套人能读懂的决策表、单元测试、回归测试、反向测试和变更负责人。测试覆盖允许、拒绝、义务、过期、撤权、状态未知、跨部门与应急访问;策略代码通过技术测试后,仍需业务、数据和操作负责人确认语义。放行后持续观察拒绝激增、路由切换和支持情况,出现异常时回滚到上一个已知良好版本。
请求信息使每一次路由决定都可验证
request_id, trace_id
actor_id | workload_id, app_id, environment, owner
task_id + task_version, purpose, business_object_id
data_class, source_ids, allowed_region/provider set
required_capabilities, output_schema, interaction_mode
action_scope, human_release_state
latency_slo, cost_budget, quota_bucket, priority
logging_policy, retention_policy, eval/cohort tags
requested_model? (preference only, never authority)
请求信息由应用的软件开发工具包或代理生成关键字段。用户只选择真实业务对象和目的,不能手填负责人和数据类别。结构验证在扣费或发送资料前发生;生产请求缺应用、任务、版本、数据类别或额度类别就拒绝。沙箱可进入受限的公开或内部路由,但不得静默成为生产。
business_object_id把十次提供商重试归回一项任务,成本/结果才有分母;source_ids允许检查权利/版本而不在中央日志复制全文。requested_model只是偏好,策略可排除;路由器实际选择与理由返回应用,使用户知道降级、排队或为什么不可用。
信封模式有必需/可选、来源权威和信任等级。角色/应用/环境由令牌/注册表,任务/版本由部署配置,来源/数据类由源网关,用途/业务对象由业务流程,成本/延迟由已批准的应用配置;用户不能覆盖前四类。字段冲突或签名过期在供应商调用前拒绝,并记录验证原因/负责人。
软件开发工具包只帮助生成与验证请求信息,不成为唯一入口;不受工具包支持的语言可以通过标准网络接口和合规性测试接入。工具包版本过期时先告警并阻止新功能,只有严重语义变化才强制失败。每个应用在持续集成中运行请求契约、错误、回退和幂等性测试,防止网关升级后使用方误把拒绝当成空答案。
请求信息也要最小化。不要把部门、客户、资料标签和全文都放入供应商请求头;适配器只发送推理所需内容,策略与追踪元数据留在企业域。
模型注册与路由只在已批准边界内选择
模型注册表记录的是可用条件和证据
| 注册表字段 | 示例/证据 | 更新触发器 |
|---|---|---|
| 端点/模型/版本 | 提供商-A/快速/v17 | 发布/变更通知 |
| 能力/限制 | 模式、上下文、语言、工具 | 基准测试 + 文档 |
| 任务评估状态 | 合格任务版本/关卡 | 回归/任务变更 |
| 数据、区域与保留期 | 已批准类别、位置、供应商使用条件 | 合同或配置变更 |
| 安全/身份 | 认证、私有路径、密钥/日志控制 | 复核/事件 |
| 延迟与容量 | 中位数、95分位、错误和并发 | 持续观测 |
| 单位成本 | 输入/输出/缓存/项/有效折扣 | 计费对账 |
| 回退兼容性 | 模式/行为差异 | 切换测试 |
| 负责人/过期时间 | 负责团队/复核日期 | 定期/负责人变更 |
注册表中的“已批准”始终带任务、数据和操作范围。快速模型可在普通草稿通过,却未必在报价数字、中文表格或工具调用通过;私有端点可处理机密,但质量或容量仍可能不合格。模型版本未知时不允许生产路由,除非供应商产品只能滚动版本且应用有相应金丝雀/回归与回退证据。
健康状态也不能覆盖合规状态。端点延迟正常但合同/区域证据过期,路由集移除;评估通过但事件中发现租户隔离问题,同样隔离。注册表变更触发哪些任务回归由依赖图决定,不全测也不零测。
注册表证据分为运行记录、合同与配置、官方文档和待验证声明;每项都有适用套餐与区域、核验人、日期和到期时间。供应商宣传“不会训练”只有在本租户、模型和功能的合同与配置都可证实时,才能进入数据条件。端点显示支持结构化数据,也要用本任务的输出结构进行测试,不能把功能标志当成质量证据。
模型别名不能隐藏版本漂移。供应商只提供滚动模型时,注册表记录观测版本/变更窗口、每日金丝雀和行为指纹;关键回退触发路径移除。允许版本固定也要记录支持终止和补丁责任,不能为稳定永远停在失去支持的版本。
成本字段用有效账单而非公开列表价格,记录折扣、缓存、批量、重试和货币;但敏感性仍用按需/续订情境,防承诺到期暴涨。健康/成本指标过期时路由器选择保守路径或队列,不把状态未知当最低价。
路由先看任务质量与严重风险,再看健康、容量、延迟和成本
| 阶段 | 决定性问题 | 故障处置 |
|---|---|---|
| 策略 | 端点在任务、数据、操作和区域内被允许吗 | 拒绝或转人工;不进入评分 |
| 任务放行门槛 | 冻结评估与关键失败通过吗 | 排除路由 |
| 模式/工具兼容性 | 应用能正确理解输出/错误吗 | 适配器修复/排除 |
| 实时健康/容量 | 错误/延迟/并发可接受吗 | 降级/队列 |
| 偏好 | 在已批准端点中,哪一项满足服务目标且实际成本更低 | 确定性选择 |
| 探索 | 是否在有上限群组比较候选 | 显式金丝雀仅限 |
路由规则必须有版本并可试运行。新策略先对过去一天的元数据和固定的800个评估案例产生影子决策,比较原本会选择什么、是否通过质量与资料门、成本和回退,不真正把第二份敏感内容发给另一家供应商;只有受控的小流量试验才调用候选端点。动态路由器不能以供应商自行报告的“智能评分”绕过可解释的放行门。
同一任务也可能根据长度、语言或模式复杂度分层,但切片必须在评估中有证据。若快速路径失败后升级高级,成本按业务对象合计,质量结果看最终且另记首次失败;不能只展示最终成功,隐藏大量低价尝试和延迟。
路由规则示例:普通中英文交互式草稿且上下文不超过8,000个词元时使用快速模型池;包含数字事实陈述或表格时进入通用模型池;超过上下文上限时先分块或转人工,不能随意截断;深度复核只使用私有高级模型。每个分支都有评估切片、最小样本、严重风险门、服务目标与回退。用户不能通过在提示词中写“请深度推理”来升级预算或资料范围,决定权属于应用任务。
路由器反馈闭环按故障类别处理。模式错交适配器/模型负责人,来源不足交应用/数据,质量不足交评估/模型,超时交容量,费用异常交应用/财务运营;不能所有问题都升级高级。人工编辑/结果用于定期评估,不在线训练或自动调路径,除非另有批准设计和防反馈偏差。
探索流量有明确上限,例如1%的已批准低后果群组;候选输出仍人工复核,不影响关键操作。探索结果按指定路由报告,失败不能自动再用高级后把候选记成功。达到门才更新注册表,未达门停候选而不是延长到“总会有好结果”。
容量与成本要在请求发生前受控
额度不是月底断电,而是分层管理钱、速率与风险
| 配额层级 | 控制 | 教学示例 | 超限行为 |
|---|---|---|---|
| 组织 | 总支出、供应商承诺与风险 | 月度预测上限100万元 | 发起人与财务运营复核 |
| 部门 | 投资组合预算与回溯 | 工程部门21万元软限制 | 通知、预测并重新排优先级 |
| 生产应用与任务 | 负责人批准金额加预留容量 | 报价生产应用9万元硬限制 | 队列或人工;由负责人决定 |
| 团队沙箱 | 实验、数据与操作限制 | 3万元软限制、3.6万元硬限制 | 仅限公开或内部沙箱 |
| 用户 | 防滥用和公平控制,不作为业务价值判断 | 每月240元软限制、360元硬限制 | 降速或审批;不做无提示阻断 |
| 请求 | 最大令牌/项/工具调用/时间 | 特定任务的 | 发送前拒绝/部分未计为成功 |
钱、请求速率、并发、上下文大小和工具操作是不同配额。一个批任务可能金额可承受却占满并发;一个小额智能体可能工具动作风险高。配额决策返回剩余量、重置、拒绝理由和申请路径,应用可在发供应商前停止,避免先花钱再报超额。
软限制用于通知、预测与负责人确认,硬限制保护预算/系统但不得直接打断安全关键在途动作;在途任务完成或安全检查点后停止。生产预留不能被个人沙盒耗尽,未用容量也不是鼓励生成无价值内容。例外带任务、金额/时间、审批人和过期,不把部门预算管理员变成永久超级权限。
额度层级在请求接受前给出“哪一类额度不足”。用户额度有余但应用硬上限耗尽时,不能借沙箱绕过;部门超过软限制但已批准生产仍按优先级继续,并通知预算负责人;组织或供应商承诺接近上限时,路由器只能在已经通过质量门的候选中优化。任何预算动作都不能改变数据与操作策略。
团队可申请临时突发,表单包含业务截止日期、预计量/成本、任务质量门、复核/支持容量、结束与负责人。系统签发限时配额授予并在到期恢复;实际未用自动释放。连续三次突发说明预测或架构有问题,进入容量复核,不把“紧急”永久化。
正式分摊前,先向部门展示应用、任务、质量、成本和未分配费用,允许纠正负责人和标签;财务规则另行确认。若收费促使团队隐藏调用或改用个人账号,应调整激励与支持,不能只加封锁。
速率、并发、优先级和反压共同保护服务
| 流量类别 | 优先级 | 准入/队列 | 降级 |
|---|---|---|---|
| 事件/人工恢复支持 | 0 最高 | 预留小池 | 失败闭锁并人工升级 |
| 已批准交互式生产 | 1 | 每个应用加供应商并发限制 | 替代的已准入端点或仅搜索 |
| 限时工作流 | 2 | 知悉截止时间的队列 | 部分批次/手动 |
| 沙盒交互式 | 3 | 公平共享/用户速率 | 较慢/软上限 |
| 计划批次 | 4 | 非高峰令牌桶 | 暂停/恢复/检查点 |
| 评估/回填 | 5 | 明确维护窗口 | 延迟且无业务影响 |
观测到的峰值为每秒420个请求,网关设计基线为每秒520个,并保留事件和健康余量;但供应商各自有速率、词元和并发限制,网关吞吐不等于端到端容量。队列按部门与应用公平共享,并考虑截止日期,不让一个陷入循环错误的应用占满容量;业务对象编号和幂等性控制用于防止重试造成重复业务动作。
返回429/超时时软件开发工具包使用带抖动的有界退避,不无限重试;超过任务截止日期转队列/手动并记录。批量按检查点续跑,已完成项不重做。流断开是否重试取决于应用能否识别已展示内容,不能自动拼接两份互相矛盾的回答。
容量测试模拟供应商降额、一个部门5倍突发、批任务与交互式叠加、网关区域故障。验收看P95、队列老化、公平性、成本和降级正确性,不只看每秒峰值;若降级会扩大资料/动作边界,宁可排队或故障安全关闭。
420 请求/秒峰值按类别拆为交互式 260、提取 90、批次 50、评估 20;5倍部门突发被每应用桶吸收,交互式 P95保持门内,批量延后37分钟但仍在4小时截止日期。测试同时注入10%超时,验证有界重试不会把420放大成供应商风暴。数字只描述教学负载,不是容量推荐。
队列项保存业务对象、截止日期、尝试次数、路由集合、数据与行动义务和检查点,不保存不必要的全文。重新调度前重新验证身份、资料来源和策略,因为排队期间用户可能转岗、资料可能撤权、模型证据也可能变化;旧的允许决定不能永久生效。过期任务转人工或取消并通知应用,不能无限积压。
可观测性与可靠性要从业务任务出发
追踪、指标、日志和受限内容快照承担不同职责
| 信号 | 最小元数据 | 默认内容处理 | 决策用途 |
|---|---|---|---|
| 追踪 | 追踪请求/业务对象、组件跨度、路径 | 无原始内容 | 延迟/故障路径 |
| 指标 | 计数、词元或项目数、延迟、错误、队列、成本 | 汇总 | 服务目标、容量与预测 |
| 决策日志 | 操作者/应用/任务/策略/路由/模型/版本/允许拒绝 | 来源编号/哈希, 非完整文档 | 审计/变更/回放 |
| 质量/结果 | 评估/队列、验证器、人工编辑/发布/结果 | 抽样/授权 | 路由质量/价值 |
| 安全事件 | 身份、访问、异常、操作与凭证 | 最小且受控的证据 | 检测与响应 |
| 调试快照 | 必要时提供精确的授权请求/上下文/输出 | 脱敏/受限/短有效期 | 复现事件/评估失败 |
追踪编号把网关、策略、资料来源、供应商、验证器与应用链路连接起来;指标回答规模与趋势,日志记录离散事件,三者不能互相替代。内容默认不进入通用性能监控或计费日志,避免把机密提示词复制到权限更宽的平台。需要复现时,由评估或事件工作流按案例授权快照,并记录目的、访问和删除。
日志字段也有负责人、保留与数据字典;模型/提供商的请求 ID可关联但不作为企业唯一ID。抽样不能丢掉所有错误:关键拒绝、权限、工具操作、关键验证器与事件 100%记录,普通成功按任务风险/调试需要采样。日志管道失败时,高后果外部操作停或降级,普通沙盒可继续但显示审计降级并限制范围。
员工使用数据不用于隐形绩效排名。分摊显示以应用/部门/任务为主,个体速率仅用于支持、滥用调查和公平控制;访问由职责分离,查询也留审计。真实保留/员工关系/隐私义务按地点和组织程序确定。
复现包不是“把所有内容打包”:包含信封/路由/策略/模型/适配器版本、来源编号/哈希、组件时序、错误、验证器、人类结果;只有有权且必要时附受限内容。另一个工程师在隔离环境重放固定评估/合成替代资料,先判断是系统性还是案例特有。无法重现也记录缺失信号,推动遥测字段而非永久扩大抓取。
可观测性管道自己有SLO与故障演练。采集器积压、模式不兼容、时钟漂移、提供商请求 ID缺失、计费迟到分别有告警;追踪缺跨度不等于业务失败,但必需审计事件缺失会影响高后果放行。字段版本先双写/校验再迁移,消费者不因新字段把旧事件误读。
成本分摊先算直接使用,再公开共享规则
目标路由的虚构月供应商成本可以复算:交互式180万次×0.18元=32.4万元;提取60万次×0.12元=7.2万元;深度推理12万次×1.80元=21.6万元;批量28万次×0.25元=7万元;合计68.2万元。网关、可观测性、支持与平台运维另为22万元,总月度运行成本为90.2万元。
| 成本视图 | 公式/结果 | 限制/操作 |
|---|---|---|
| 原供应商默认路径 | 280万次×0.52元=145.6万元 | 仅含供应商;质量与任务混合假设 |
| 路由后的供应商费用 | 32.4+7.2+21.6+7=68.2万元 | 仅含被接受的任务路由 |
| 平台与运维共享费用 | 22万元 | 不得从单位成本中消失 |
| 目标总计 | 90.2万元 | 尚未计迁移、评估与人工复核 |
| 月度运行成本差异 | 145.6−90.2=55.4万元 | 预测值,尚非已实现节省 |
| 平均技术请求成本 | 90.2万元÷280万≈0.322元 | 不是业务价值单位 |
直接成本按请求信息中的部门、应用、任务和环境分配;22万元共享费用采用透明规则:身份与网关基础由中央资金承担,随请求和追踪增长的部分按用量分配,预留容量分给预订应用。规则版本、折扣与承诺和未分配费用另列,不能为了达到100%覆盖而随意把未知费用摊给最大部门。
旧账中81%可以分配,19%约27.664万元找不到直接负责人;试运行达到98.6%,剩余1.4%约1.263万元进入未分配队列,并在5日内寻找负责人和分类。98.6%不是价值证明,只说明费用可解释。业务单位指标按任务选择,例如每份已验收抽取、每个合格草稿或每项完成案例,必须同时带上质量与人工复核,不能只追求每次请求成本下降。
路径优化先过质量/风险门。若快速模型需要更多重试或人工编辑,有效单位成本应加全部尝试、验证器、复核与失败;便宜单价可能更贵。供应商账单与网关计量器每月对账,差异超容忍就查缓存、批量、令牌计量或重复,不直接分摊。
单位成本表同时给技术与业务口径:成本/已批准请求用于运维,成本/已验证提取或成本/已接受草稿用于产品,成本/业务成果只在有可信关联时使用。人工复核、平台、共享支持按透明方法逐步纳入满载视图;早期直接成本与成熟总体拥有成本不可混在同一趋势线。
成本异常需要业务语境。某应用费用翻倍可能因量增长、上下文膨胀、重试循环、路径升级或价格变化;检测先分解数量×单元,再看质量/结果。自动断路器只处理明确循环/滥用或上限,合法业务增长由负责人决定扩容,不把优化等同削减使用。
分摊规则每季度版本化复核:基础平台固定分摊,可变观测成本按用量,预留容量按预订,无法合理分配的费用由中央知情保留。关键不是所有费用套同一公式,而是负责人能看懂、复算并预见影响。
可靠性按任务的端到端服务目标管理
| 任务指标 | 目标或示例 | 依赖与失败含义 |
|---|---|---|
| 成功接纳结果 | 关键有效结果, 非 HTTP200 | 模型/模式/源/验证器 |
| 交互式首个词元延迟 | 95%的请求不超过2.5秒 | 队列、供应商与网络 |
| 提取完成延迟 | 95%的请求不超过30秒 | 文档、资料源、模型与输出结构 |
| 批次截止时间 | 99% 由 4小时 | 队列/容量/检查点 |
| 策略与身份决策 | 99%的请求不超过150毫秒;具备故障安全行为 | 身份服务、策略与缓存 |
| 审计完整性 | ≥99.9% 生产所需事件 | 管道/存储/模式 |
| 人工连续性 | 按高风险任务测试 | 人员、运行手册与访问 |
服务目标按任务和业务窗口制定,不能把所有请求平均。供应商返回成功但输出结构错误、资料缺失或关键验证器失败,不算成功结果;用户取消、策略拒绝和正常回退分别分类。错误预算耗尽时停止非必要路由变更和新应用,先修稳定性,不能用更多回退来掩盖。
一次27分钟提供商中断影响12,400请求:8,680个公开/内部且备用端点通过同任务放行门槛,被重新路由;2,480个可等待批量/低优先任务入队列;1,240个机密/深度任务没有等价边界内端点,故障安全关闭转人工。8,680+2,480+1,240=12,400。没有请求为可用性改去未批准区域/提供商。
故障转移输出可能语气、长度、模式边缘行为不同,适配器/消费者契约先回归;路由响应标降级模型/版本,应用决定是否增加复核。恢复原供应商先金丝雀,不瞬间回切全部造成惊群效应。事件后重算质量、成本、队列老化和受影响业务对象。
中断演练前定义成功:没有资料/区域/操作越界、严重结果不降、重复业务操作为0、所有12,400有单一最终状态、人工人员接得住。8,680 重路由并不天然成功,仍需检查验证器/人工结果;2,480 队列按截止日期重放,1,240 失败即关闭向用户显示原因/替代,不返回空白“成功”。
依赖预算记录IdP、策略、网关、来源、供应商、验证器、日志和应用各自可用性贡献。两个99.9%串联不是端到端99.9%;共享依赖的故障相关性也不能用简单乘法消失。SLO目标从用户任务出发,平台组件指标只用于诊断/容量。
网关不是安全魔法:凭证、提示注入、工具副作用与出站仍在各层控制
| 威胁/故障 | 网关贡献 | 仍需在别处使用 |
|---|---|---|
| 共享/泄露凭证 | 身份、范围、配额、撤销、异常 | 保险库/工作负载联邦/软件开发生命周期 |
| 跨租户/源访问 | 策略标签/拒绝/日志 | 源访问控制列表和租户隔离 |
| 内容中的提示注入 | 内容与资料来源标签、工具限制 | 应用隔离、解析器、人工路径与控制测试 |
| 不安全工具操作 | 操作范围/批准令牌 | 工具验证身份/幂等性/前置条件 |
| 敏感输出 | 路由/数据义务/验证器 | 应用显示/发布/脱敏 |
| 提供商保留/变更 | 注册表/已批准路由/变更记录 | 契约/配置/供应商管理 |
| 拒绝/成本滥用 | 速率/配额/熔断器 | 应用循环修复/事件响应 |
网关不能可靠判断所有提示词是否包含秘密,也不能判断所有输出是否正确,更不应成为唯一的资料权限点。工具收到的短期委托令牌包含应用、任务、操作和业务对象,工具仍要自行检查当前权限、参数和状态;高风险操作需要独立批准,并具备防重复与补偿机制。模型生成的文字不能提升权限范围,也不能要求网关关闭日志。
67个凭证先库存负责人、位置、范围、最后使用和轮换;共享31个逐应用替换,旧键先观察双跑再撤销,避免直接删生产。秘密扫描与计费异常发现新静态键,注册表无负责人/过期时间则阻止生产。破窗每季度演练并复盘,不能成为绕网关的日常后门。
策略/管理员、计费、评估和事件权限分离;能改路径的人不能独自改评估通过,能看调试内容的人不自动能改配额。控制平面变更有双人复核、金丝雀、审计与回滚,防止一个错误规则同时影响全部部门。
提示注入治理放在应用/源/工具信任边界:外部文档标不可信内容,指令与数据分离,工具不接受模型生成的范围,敏感动作要求结构化参数、先决条件和人工批准。网关可传信任标签、限制路由/工具并记录异常,却无法只靠关键词过滤理解所有恶意内容;任务评估包含真实来源的攻击样本。
出站策略限制供应商/工具目的地、DNS/网络和数据类别,但不把网络白名单当身份授权。连接器使用独立服务身份与最小源范围,模型无法自选新连接器。输出返回应用仍需脱敏/披露/放行,网关验证器不能为最终业务正确性背书。
滥用案例还包括账号共享、循环提示词、超长上下文、批量抓取、用沙盒处理客户资料和通过requested_model绕预算。检测结合身份、应用、任务、来源、速率和成本,处置从提示/限流/停键到事件,给正常误报申诉/恢复路径。
迁移先建立可见性,再逐批撤掉旧路径
| 波 | 范围 | 入口证据 | 出口证据 |
|---|---|---|---|
| 0 清单 | 23项服务、27个应用,以及账户、密钥、成本、数据与操作 | 负责人和当前路由 | 处置与优先级 |
| 1 影子运行 | 元数据、账单与重放;不重复调用敏感内容 | 请求信息映射与评估 | 策略与路由差异已审查 |
| 2 新低风险应用 | 公开或内部草稿及提取任务 | 身份、任务、评估与人工路径 | 服务目标、日志、成本与支持稳定 |
| 3 现有程序接口 | 67个按应用批次配置的凭证 | 适配器、幂等性与回退 | 旧密钥已撤销并完成对账 |
| 4 供应商网页 | 14个采用单点登录、目录与控制项的付费租户 | 对应套餐的管理、日志与导出能力 | 名单、策略与支持已对齐 |
| 5 限制或退役 | 重复、无主或不合规路径 | 负责人、记录与连续性 | 访问、数据、许可与删除证据 |
影子路由只计算“如果统一策略会选什么”,不把真实内容再发另一个供应商;用任务元数据与固定评估预测成本/覆盖范围。直接调用暂时保留时同时计量器,未登记应用进入例外清单并有过期。新应用先接,证明平台能支持,不把最关键遗留流程当首个实验。
凭证迁移每批最多5个应用,观察一个业务周期后撤销旧密钥;发现使用方依赖供应商特有的错误或流式返回语义时,就修复适配器与使用方,不能长期双轨运行。供应商界面无法经过模型网关时,通过企业单点登录、自动化账号同步、租户设置、目录、数据防泄漏控制和管理证据形成“统一控制但非统一路径”,不能假装所有调用都有同样粒度的追踪。
退役前先确认负责人、替代路径、记录、合同与数据删除,许可证到期后才释放费用。部门保留特殊产品时,须说明任务、价值、数据、操作、控制和年度复核;统一平台不是用中央偏好消灭合理差异。
迁移沟通按用户任务而非技术波次。内容作者需要知道入口或界面是否变化、旧链接何时失效、资料与模型限制、费用是否可见,以及如何转人工和报错;开发者获得软件开发工具包、数据结构、错误、路由变化与测试环境;部门负责人获得席位、预算、例外和退役清单。没有培训与支持,就不切换该批用户。
旧路径关闭前用7日双观察对账身份、任务量、质量结果、成本和SLO;双观察不是把同一敏感请求发两家,而是旧/新各自处理分配群组或用元数据。差异有负责人,严重未解释不撤销。关闭后负面测试确认键、账户、DNS/API和供应商 UI 权限均按计划失效。
迁移回退也有边界:网关故障可回已批准直连路由,但不能恢复共享键或未审供应商;供应商界面切换失败可继续旧租户至短期过期,仍保留单点登录/资料限制。回退使用被计量/审计,不成为永久旁路。
90天试点怎样证明统一入口值得继续
| 评估通道 | 案例 | 放行门槛/结果 | 路由决策 |
|---|---|---|---|
| 交互式草拟 | 320 | 298/320=93.1% 已支持;关键 0 | 快速通道符合有界切片条件 |
| 结构化提取 | 240 | 235/240=97.9% 模式/证据;关键 0 | 提取池已准入 |
| 深度推理/评审 | 120 | 110/120=91.7% 专家通过;关键 0 | 高级/仅限私有 |
| 批次摘要 | 120 | 115/120=95.8% 已支持;关键 0 | 批次池已准入 |
| 总计 | 800 | 特定任务的, 非单一平均值 | 注册表范围/版本已保存 |
试点选择9个应用、72万次生产请求和4个部门;99.2%即714,240次请求带有有效的任务、数据和目的标签,5,760次缺字段的请求在发送前被拒绝并修复,没有由网关猜测标签。成本分摊覆盖98.6%,31个共享密钥全部替换,43个无主供应商账户经负责人确认后禁用;46个服务主体包含27个应用在不同环境和批处理任务中的身份,不等于一个应用只对应一个身份。
质量回归发现快速模型在中英混合单位切片低于门,路由器只排除该切片并转已批准通用模型,不把整个快速端点称失败。两次应用重试循环使成本异常触发断路器,修复后从business_object去重账;没有把被限流请求从SLO/成本分母删除。
90天证据只支持把新的低风险和中风险接口应用默认接入控制平面,并继续分批迁移;外部高后果操作、未登记连接器和受限数据仍需单独准入。55.4万元只是目标月度运行成本差异情境,只有在全量迁移、质量、人工和平台实际成本稳定后,才能称为已经实现的节省。
720,000 生产请求按已分配策略分析,不能只看714,240有效标签。5,760 验证拒绝中3,940是旧软件开发工具包缺任务版本、1,120是源类别冲突、700是过期应用负责人;修复后重新提交仍计原业务对象和额外延迟。标签覆盖提高来自拒绝/修复,不是网关“自动补全”。
800例评估每通道保留正常/边缘/停止,表中通过率是任务评分标准结果而非通用准确率;所有严重为0仍受样本限制。快速交互式 22个未通过中14个是中英单位、5个引用不足、3个格式;只排除受影响切片而不让低平均分污染已证据充分的普通草稿。
试点委员会同时看用户支持、路由解释、供应商事件、凭证迁移与未分配。若成本达到目标但手动容量或质量不够,不能扩大;若成本较高但严重控制/业务价值成立,可保留并重新谈预算。统一入口是治理与运行产品,不以降费一项验收。
中央平台与业务负责人必须各自承担可停止责任
| 问责领域 | 中央平台 | 应用与业务负责人 | 独立或合作角色 |
|---|---|---|---|
| 身份与策略引擎 | 运行、架构与控制 | 提交准确的任务与目的 | 身份与安全复核 |
| 任务与评估 | 工具和注册表集成 | 提示词、数据与结果负责人 | 独立评估和风险质询 |
| 路由与模型 | 适配器、健康、成本与变更 | 批准路由对任务的影响 | 采购、供应商与安全负责人 |
| 额度与成本 | 计量、预测与回溯 | 预算、价值与异常响应 | 财务与云成本运营 |
| 资料与工具 | 通用契约 | 资料与操作权限 | 数据与工具负责人 |
| 服务目标与事件 | 网关、运行手册与协调 | 应用、人工路径与业务影响 | 供应商和事件团队 |
| 采用与支持 | 文档与接入 | 用户、培训与流程 | 变更和员工代表(按需) |
| 退役 | 平台路径与证据 | 业务连续性与记录 | 采购、数据和法律人员(按需) |
中央产品团队包括平台负责人、身份与策略、可靠性工程师、安全、云成本运营和开发者支持;领域评估和业务结果不能由中央团队代签。每个应用都有负责人、备份、任务版本、预算、服务目标、人工路径、事件联系人和到期时间;没有负责人时先限制,仍无人接手就按退役流程处理。
周度复核看关键风险与安全、服务目标与错误预算、供应商与模型变更、队列与额度、成本异常和未决例外;每月看单位经济模型、任务质量、支持与组合;季度进行凭证、应急访问、故障转移和退役演练。会议必须输出决定、负责人和日期,不能只看仪表盘。
平台团队也有容量门。若新应用接入需求超过评估与支持能力,就排队而不是降低任务证据;若中央网关成为业务单点,保留经批准的直连与人工连续性路径并定期演练。架构决策记录说明哪些控制必须集中实施、哪些可以在供应商租户中等价实现,避免平台为了集中而集中。
服务目录公开接入所需时间、支持等级、责任与已知限制。低风险沙箱可自助,但有资料与动作上限;生产应用需要负责人、评估、服务目标和人工路径,外部行动还要通过工具与审批门。中央团队拒绝请求时,要给出具体缺口与最小下一步,不能用“平台标准”作为不可讨论的结论。
例外登记要记录原因、替代控制、负责人、受影响的任务、数据和动作、费用、到期时间和迁移计划。季度复核不是逐项机械续期:没有使用或负责人就关闭;业务仍有需要但平台缺能力,则优先补齐;始终无法满足严重风险门,就继续限制。例外的数量与存在时间是平台产品反馈,不自动等于部门违规。
事件指挥官负责跨网关、供应商和应用协调,但业务负责人判断对客户和流程的影响并安排人工路径,安全与数据等负责人按事件参与。事后复盘使用共同的故障分类法,分别列出路径、策略、软件开发工具包、应用和供应商的行动,不能把“第三方故障”当作内部无需改进的理由。
交付一套能解释每次允许、拒绝和路由的材料
| 产物或模板 | 最低内容 |
|---|---|
| 服务、应用、账户与密钥清单 | 负责人、任务、数据、动作、用户、成本、路由与处置 |
| 工作负载目录 | 任务、版本、量级、交互、服务目标、评估与人工路径 |
| 请求信息 | 执行者、应用、目的、数据、动作、能力、成本与日志 |
| 策略矩阵 | 允许、拒绝、义务、区域、供应商、工具与人工要求 |
| 模型注册表 | 版本、评估、数据、变更、健康、成本、回退与到期 |
| 路由决策记录 | 候选项、排除项、实际选择、重试与结果 |
| 额度与优先级计划 | 资金、速率、并发、上下文、动作与异常 |
| 观测字段字典 | 追踪、指标、日志、内容目的、访问与保留 |
| 分摊与单位成本模型 | 直接、共享、未分配、质量、复核与结果 |
| 服务目标与回退运行手册 | 任务指标、依赖、错误预算、队列、人工与事件 |
| 迁移账簿 | 批次、凭证、供应商界面、旧路径、撤销、删除与许可 |
| 运营复核 | 负责人、节奏、变更、异常与退役证据 |
NIST零信任架构SP 800-207强调,不能因网络位置或所有权而隐含信任;SP 800-207A进一步讨论应用与服务身份、网关和细粒度策略。本文只借鉴身份、资源和策略原则,不把模型网关等同于零信任。SP 1800-35的多种实现示例也说明,架构仍须按组织环境选择。OpenTelemetry区分追踪、指标与日志,本文据此分开观测数据。FinOps框架用元数据分配直接与共享成本并联系业务单位;本文金额、分摊和98.6%均为教学数据。NIST人工智能风险管理框架只用于AI清单、第三方组件、生产监控、变更与应急计划的背景。
- NIST:SP 800-207 Zero Trust Architecture
- NIST:SP 800-207A Cloud-Native Access Control
- NIST:SP 1800-35 Implementing a Zero Trust Architecture
- OpenTelemetry:Signals
- FinOps Framework:Allocation
- FinOps Framework:Unit Economics
- NIST AIRC:AI RMF Core
本周不要先画“所有调用进一个框”的架构。选3个真实应用,为每个填写工作负载目录和请求信息,分别列出人员与服务身份、任务、数据、目的、操作、评估、服务目标、预算、日志与人工路径;先用影子运行回答“统一策略会允许、拒绝或选择哪条路径”,再迁移一个低风险应用,并演练供应商中断和旧密钥撤销。只有当统一控制能够解释决定、守住边界并支持业务连续时,才扩大入口。