Badcase 闭环管理

一句话定义

Badcase 闭环是把线上错误案例按「收集 → 分级 → 归因 → 修复 → 回归入集 → 复盘」六步管成固定机制的质量运营流程，目标是让每个 badcase 都沉淀为系统能力，而不是修一个是一个。

为什么重要

badcase 是真实分布送给团队的免费考题。没有闭环的团队，badcase 的命运是在群聊里被围观、在备忘录里腐烂，同样的错误每周重演；有闭环的团队，每条 badcase 都在给评测集换血（kp-021）、给知识库纠错、给提示词补规则——badcase 处理速度就是 AI 产品的进化速度。

前置知识

kp-021 评测集（回归入集的去处）；kp-022 线上监控（收集的来源）。

核心概念

• 收集渠道四路：用户显式反馈（点踩、纠错）、隐式信号（采纳率骤降、重试聚集）、客服与社群上报、评测巡检（定期人评抽样）。渠道要进埋点设计，不是靠人眼刷。
• 分级三档：P0 安全与资损（越界输出、错误金额——小时级响应，可触发回滚）；P1 主流程质量错误（高频任务的错误输出——次日修复）；P2 长尾与体验（低频怪答——入池择机）。分级决定响应时限与修复资源。
• 归因五分类：检索错（没找到/找错知识）、知识错（知识库内容过期或缺失）、生成错（检索对了但表达/推理错）、理解错（误解用户意图）、产品规则错（降级、截断、提示词冲突）。归因决定修复动作：检索错调检索策略、知识错改知识库、生成错改提示词或模型、理解错补评测题与意图规则。
• 回归入集：修复后，该 badcase 的原始输入与期望输出进入评测集（kp-021 第五步），防止未来变更「旧病复发」。
• 复盘双问题：为什么发生（根因）？为什么漏网（评测集为什么没覆盖）？第二个问题比第一个更值钱。

原理与机制

闭环的复利机制：单条 badcase 的修复价值有限，但其「入集」使未来所有变更都自动防御该模式——一条 badcase 修复一次、防御一生，这正是评测集作为活资产的来源。归因分类的机制意义是把模糊的「模型不行」拆解为可行动的工程对象：多数团队数据显示，真实分布下检索错与知识错合计常超过生成错，意味着大量「模型问题」其实是「知识工程问题」，用改提示词或等模型升级的姿态对待它们，等于修水管错拿了螺丝刀。分级机制则保证有限资源按「风险×频率」而不是「谁喊得响」分配。

公式或模型

不适用——运营流程类内容；分级所依据的风险量级参照 kp-029 风险清单的影响维度。

图示

实例或案例

某文档助手的 P0 案例：用户上传含金额的表格，摘要把「支出 12 万」写成「收入 12 万」，财务差点据此汇报。响应路径：1 小时内定位为「表格解析时行列头混淆」→ 属生成错（解析对了但方向推理错）→ 紧急修复：表格类输入强制输出「方向待确认」标记并附原文引用（kp-015 的可核查原则）→ 原题连同 20 个同类表格样本入集 → 复盘结论：评测集此前完全没有表格层，新增「表格与数值」分层占 15%。一次事故换来了一个永久防御层——这就是闭环 vs 救火队的区别。

常见误区

• 只修个例不沉淀：改了这条回复却没入集没归因，同类错误换个措辞再次上线——修复必须以「回归通过+入集」为完成标志。
• 一律归因给模型：等下一个更强模型是成本最高的修复方式；先用归因分类确认问题层，多数修复在知识库与规则层就能完成。
• badcase 台账无人 owner：收集了一大堆没人分级没人修；台账必须有轮值 owner 与例会节奏（kp-032 的 badcase 周会）。

直观类比

badcase 闭环像医院的病例会诊：接诊（收集）、分诊（分级）、化验找病灶（归因）、治疗（修复）、病历归档（入集）、科室复盘（为什么漏诊）。只开药不归档不复盘的医院，同样的病每周误诊。

自测题

1. 为什么「回归入集」是修复完成的标志？

要点：只有入集，修复才被未来所有变更自动验证，实现一次修复永久防御；否则修复不可验证、易复发。

1. 归因分类如何反驳「等模型升级」？

要点：检索错与知识错不随模型能力改善，需修检索与知识库；归因先定位问题层，再选最便宜的修复手段。

1. 复盘的第二个问题（为什么漏网）为什么更值钱？

要点：它直接指向评测集的盲区，补上盲区是系统能力增长；只答第一个问题修的是这一例，答第二个问题防的是一类。

与其他知识点的关系

入集动作的规范在 kp-021 第五步；归因中检索与知识层的治理方法在 kp-014；P0 响应与 kp-029 风险清单的触发信号对齐；例会机制在 kp-032 展开。

延伸阅读

• 《精益数据分析》，Alistair Croll、Benjamin Yoskovitz——把质量事件转化为可运营指标的方法。