这个问题我问过不少同行。有人说是PRD,有人说是原型,还有人说是一堆评估文档。但我觉得,这些答案都只摸到了大象的一条腿
前阵子和一个在OpenAI做PM的朋友聊天,他说他们团队最近在忙的,不是什么新功能设计,而是一套系统化的评估机制。我突然意识到,AI PM这个角色的交付物已经发生了根本性的变化
传统产品经理的核心工作,是定义“产品应该做什么”。你把用户需求翻译成功能,画流程图,写交互说明,然后交给研发。研发做出来,测试验证,上线。这套流程很成熟,因为软件行为是确定性的
但AI产品不一样。你没法写一个PRD说“这个AI客服要回答用户问题”,然后指望它就能完美回答。因为你面对的是一个概率系统,同一个问题在不同时间、不同上下文下,可能给出不同的答案。所以AI PM要回答的,不是“做什么”,而是“做到什么程度算好,什么程度算错,错了怎么办”
我观察下来的体会是,领先AI公司的PM们,交付的核心是一套“证据系统”。这套系统包括:你要定义任务边界,比如什么场景下AI必须拒绝回答;你要设计评估标准,比如准确率要多少、幻觉率不能超过多少;你要构建测试集,覆盖高频、边界、恶意诱导等各种场景;你还要建立上线门槛和监控机制,确保模型上线后不会变坏
有个朋友在Anthropic做agent产品,他说他们PM最重要的工作之一,就是设计evals和失败案例库。新模型或新prompt上线前,必须在几百个关键case上跑一遍,不能有任何回退。否则再好的能力也不敢发
这种变化其实挺颠覆的。传统PM交付的是“需求文档”,AI PM交付的是“可控性”。你不是在画房子图纸,而是在设计一套缰绳,让一匹有可能乱跑的智能马,在用户期望的赛道里安全奔跑
如果非要总结,我觉得AI PM的交付物可以分四层:第一层是意图层,定义为什么做、为谁做;第二层是行为层,定义AI应该如何行动、如何拒绝;第三层是证据层,用数据和评估证明它做到了;第四层是治理层,上线后怎么监控、怎么纠偏
所以下次有人问你AI PM的交付物是什么,你也许可以告诉他:不只是文档,而是一套让不确定智能变得可被信任的系统。传统PM交付功能,AI PM交付可控性