kp-029

AI 产品风险清单

核心约 25 分钟07-风险合规与协作

AI 产品风险清单把风险按技术、产品、合规法律、声誉伦理四类结构化登记,每条含触发信号、发生概率、影响量级与缓解动作,形成双周评审的风险登记册——立项时一次建册,迭代中持续滚动。

前置知识点kp-008kp-015
学习状态: 更新于 2026-10-02 · 状态 reviewed

AI 产品风险清单

一句话定义

AI 产品风险清单把风险按技术、产品、合规法律、声誉伦理四类结构化登记,每条含触发信号、发生概率、影响量级与缓解动作,形成双周评审的风险登记册——立项时一次建册,迭代中持续滚动。

为什么重要

AI 产品的风险有「低频高杀伤」的特点:幻觉事故、数据泄露、合规处罚平时不出现,出现即伤筋动骨。没有清单的团队靠「想起了再议」,重大风险常在事故后才被首次讨论;清单把风险管理从记忆依赖变为流程依赖——它是本库从 kp-001 一路铺垫的所有防线(评测、降级、档位、合规)的汇总索引。

前置知识

kp-008 技术路线(依赖与成本风险的来源);kp-015 交互设计(部分缓解动作的载体)。

核心概念

四类风险与典型条目:

  • 技术风险:幻觉/事实错误、上游模型依赖(停服/涨价/政策变更)、延迟与可用性、成本失控、长尾场景塌方。触发信号:事实性评测分数、降级触发率、账单环比。
  • 产品风险:期望错配、采纳率低于阈值、数据飞轮不转(反馈数据不足)、范式与任务错配。触发信号:点踩率、留存曲线、人均反馈量。
  • 合规法律风险:训练与使用数据的合法性、生成内容标识与备案、跨境传输、版权侵权(生成内容侵权他人在先权利)、行业准入(医疗/金融)。触发信号:数据出域清单、备案状态、法律函件。
  • 声誉伦理风险:歧视性输出、替代人类工作的舆论争议、事故舆情、未成年人保护。触发信号:舆情监测、社群反馈、红队发现(kp-024)。

每条风险五要素:描述 → 触发信号(可观测)→ 概率(高/中/低)→ 影响(致命/严重/一般)→ 缓解动作(含 owner)。概率×影响决定登记册的评审优先级,触发信号决定它能否被流程(而非运气)发现。

原理与机制

清单有效性的两个机制前提:其一,触发信号必须可观测——「模型可能变笨」不是信号,「事实性评测分连续两周下滑」才是;风险条目本质上是把模糊担忧翻译成监控指标与阈值,与 kp-022 的监控体系同构。其二,缓解动作必须指定 owner 与时限——无主风险等于未识别。AI 风险清单区别于一般产品风险清单的结构性特征是「上游依赖风险」占据中心位置:你的产品质量部分由模型厂商的发布节奏决定(模型升级=产品变更,见 kp-032),这要求把「厂商变更通知」本身登记为常态触发源。四类分类的意义在于覆盖不同职能的盲区——技术类归算法、产品类归 PM、合规类归法务、伦理类最易无人认领,分类确保每类都有明确的第一责任人。

公式或模型

不适用——管理工具类内容;风险量级分级与 kp-023 的 P0/P1/P2 分级共享同一套影响刻度。

图示

类别典型条目触发信号缓解
技术上游依赖厂商公告、账单环比抽象层+备用厂商(kp-008)
技术成本失控水位告警熔断+路由(kp-027)
产品期望错配差评关键词三线对齐(kp-018)
合规数据出域出域清单变更私有化/脱敏
伦理歧视输出红队发现子集评测+人工卡点(kp-016)

实例或案例

某面向公众的写作助手立项期建册(节选):「上游模型政策变更导致停服」(概率中、影响致命、缓解:接口抽象层+备用厂商季度演练);「生成内容被用于违法用途」(概率低、影响致命、缓解:红线清单+拒答+日志留存,owner 法务);「免费档成本失控」(概率高、影响严重、缓解:额度+水位熔断,owner 产品);「被媒体曝光 AI 生成冒名内容」(概率中、影响严重、缓解:输出标识+举报通道,owner 运营)。上线后第三个季度,「厂商政策变更」条目真实触发——因有预案,48 小时内切换备用厂商,用户无感。同一时期竞品直接停摆两周。清单的价值在触发那一刻兑现。

常见误区

  • 建册即结束:立项时填完表格再没人看;登记册必须进双周评审会,随版本与外部环境滚动更新。
  • 只有风险没有信号:「存在幻觉风险」不是一条合格的登记;缺少触发信号的风险条目无法进入监控闭环。
  • 伦理风险无人认领:四类中伦理声誉类最易被四职能部门互相推诿;建册时必须显式指定 owner。

直观类比

风险登记册像航海的气象海图与应急预案:不是预测哪天有风暴,而是事先写清「什么云形代表风暴将至、风暴来时收哪面帆、谁负责收」。事故日的从容,全是平时登记册上的从容。

自测题

  1. 一条合格的风险登记需要哪五要素?

要点:描述、可观测的触发信号、概率、影响量级、含 owner 的缓解动作;缺信号或缺 owner 均为不合格。

  1. 为什么「上游依赖」在 AI 风险清单中地位特殊?

要点:产品质量部分由厂商发布节奏决定,模型升级即产品变更;需抽象层、备用厂商与变更通知机制对冲。

  1. 风险清单与 kp-022 监控、kp-023 分级如何衔接?

要点:触发信号来自监控指标体系,触发后按影响量级进入 P0/P1/P2 响应分级,形成「登记—监测—响应」闭环。

与其他知识点的关系

清单是 kp-024 红队发现、kp-017 降级预案、kp-030 合规动作的汇总索引;评审机制与 owner 分工在 kp-032 的协作节奏中落地。

延伸阅读

  • 《启示录:打造用户喜爱的产品》,Marty Cagan——产品风险评估在立项评审中的位置。

相关知识点