线上评测与灰度发布

一句话定义

线上评测用三层指标（技术层、产品层、业务层）监控真实分布下的表现，配合灰度放量、影子流量与回滚预案，把「离线考卷通过」安全地过渡为「全量上线」；离线通过只是入场券，线上才是终审。

为什么重要

离线评测集再好也只是真实分布的抽样：上线后会遇到考卷里没有的长尾、流量高峰、与反馈回流的动态效应。没有线上评测机制的产品，等于把全量用户当成免费的灰度实验组——第一次模型回归或提示词事故就足以清空信任账户。

前置知识

kp-021 离线评测集（线上评测的基线来源）。

核心概念

• 三层指标体系：技术层（延迟分位数、错误率、降级触发率、单次成本）；产品层（采纳率、编辑距离——用户改了多少、点踩率、重试率、任务完成率）；业务层（转化率、留存、客诉率、NPS）。三层串联归因：业务异动先查产品层、产品层异动先查技术层。
• 灰度放量四步：影子（不触达用户，仅对比新旧输出）→ 小流量（1–5%，哨兵用户或内部用户优先）→ 阶梯放量（25% → 50% → 100%，每档驻留观察）→ 全量。每档预设门槛与自动回滚规则。
• 影子流量（Shadow Traffic）：新版本并行处理真实请求但结果不呈现给用户，用于无风险地收集新旧版本输出差异——发布前的最后一道离场演练。
• 回滚预案：版本可秒级切回（提示词与模型版本都在配置中心，连接 kp-013）；回滚标准事先写死（如「点踩率较基线 +50% 持续 1 小时」），事故中不临场辩论。
• 哨兵指标（Sentinel Metrics）：一小组最敏感的先行指标（安全拦截率、拒答率、延迟 P99），任何一项越线即告警，不必等业务层慢指标。

原理与机制

灰度的本质是用分层暴露换取统计证据：小流量阶段样本少但能抓「灾难性故障」（报错、超时、安全越界），阶梯放量逐级验证「温和退化」（质量下滑、成本抬升）。必须警惕反馈回流的自我强化：AI 输出会影响用户行为，用户行为又成为训练或路由数据，A/B 两臂因此不再独立——这是 AI 产品 A/B 测试与传统互联网最大的差异，对策是设置足够观察期（通常 1–2 周）并重点看留存类慢指标而非即时点击率。三层指标的串联归因机制则把「线上出问题了」从甩锅现场变为逐层定位的工程流程。

公式或模型

采纳率 = 被用户接受或未修改的输出数输出总数；编辑距离（用户修改幅度）作为采纳的连续化补充。放量门槛示例：某档放行条件 = 安全拦截率不高于基线 +0.1pp，且采纳率不低于基线 −2pp，且 P99 延迟 ≤ 基线 +20%；任一破线自动回滚。

图示

实例或案例

某摘要功能上线新模型版本的灰度实录：影子期 3 天，新旧版本 2000 条并行对比，发现新版本格式合规率高但「关键数字错误率」从 0.4% 升至 1.1%——离线集未覆盖的表格类输入是重灾区；灰度锁定在「无表格输入」子流量 5% 放行，同时把表格类 badcase 入集（kp-023），两周后专项修复版本从 1% 重新起步。若当初直接全量，表格类用户将批量收到数字错误的纪要——影子期一次对比避免了那次事故。

常见误区

• 离线通过=直接全量：跳过影子与小流量，把全量用户当实验品；离线集永远覆盖不了真实分布的全部角落。
• A/B 只看短期点击：反馈回流会让短期占优的版本长期劣化（自我强化偏差），必须观察期后看留存与点踩。
• 回滚靠临场讨论：没有预设阈值的事故复盘常变成情绪会；回滚线是事先的工程决策，不是事故中的管理决策。

直观类比

灰度发布像新药上市的三期临床：影子期是实验室对照，小流量是临床试验，阶梯放量是限范围上市，全量后仍在四期监测（线上常态监控）。跳过任何一期直接全民服用，赌的是所有人的健康。

自测题

1. 影子流量解决什么、解决不了什么？

要点：解决「输出差异无风险对比」，解决不了用户真实反应（无采纳、无点踩），故仍需小流量阶段。

1. 为什么 AI 产品的 A/B 要延长观察期？

要点：输出影响用户行为、行为回流影响系统，两臂失去独立性；慢指标（留存、点踩）比即时点击更能反映长期质量。

1. 哨兵指标怎么选？

要点：选敏感、高频、可自动采集的先行指标（安全拦截率、拒答率、延迟 P99），越线即告警，不等业务慢指标。

与其他知识点的关系

线上发现的差异样本流入 kp-023 的 badcase 闭环；成本层指标的阈值设计依赖 kp-025；降级触发率监控对应 kp-017 的失败清单；灰度结论沉淀进 kp-011 的上线与回滚章。

延伸阅读

• 《精益数据分析》，Alistair Croll、Benjamin Yoskovitz——指标体系与阶段化数据决策。