题目1AI 产品需求评审时如何判断一个需求是否真的需要大模型这道题主要解释“一个需求是否真的需要大模型”的基础含义、作用和使用边界。需要说明它解决什么问题、容易和哪些概念混淆、在AI产品经理场景中会影响哪些指标或工程决策。判断标准不是“能否接入大模型”而是大模型是否比规则、搜索、传统模型或人工流程产生可验证的增量。适合大模型的需求通常包含大量非结构化输入、表达方式多样、需要语义理解或开放式生成并允许一定概率误差且具备校验和兜底。若规则明确、结果必须精确一致、响应极低延迟或错误会直接造成高额损失确定性方案往往更合适。评审时应先定义用户任务、现有基线、成功指标和失败代价再用真实样本做最小验证比较质量、时延、成本、可解释性及运维投入。例如把上万条客服反馈聚类并摘要大模型能显著减少人工阅读计算会员费用则应由规则引擎完成大模型最多解释规则。只有当试验在任务成功率或人工节省上明显超过基线且幻觉、隐私、合规和人工接管成本可控需求才有充分理由使用大模型。题目2AI 产品 PRD 中必须写清楚哪些输入、输出和失败兜底这道题围绕“PRD”继续追问原理、边界和工程取舍。不能只给定义还要说明适用条件、失效风险、指标口径和替代方案体现对AI产品经理场景的系统理解。PRD 首先要定义输入用户可提交什么内容、格式和长度限制、所需上下文与数据来源、权限和隐私要求以及缺失、冲突、越权或恶意输入如何处理。还应给出典型样例和不支持样例避免研发自行猜测边界。输出部分要写清内容目标、结构或 Schema、语言与语气、是否必须引用来源、允许的不确定性、延迟要求、展示和可编辑方式以及判定正确的验收标准。失败兜底需按类型设计低置信度时澄清或拒答检索无结果时说明依据不足模型或工具超时可限次重试并降级涉及高风险操作时必须二次确认或转人工同时规定用户提示、状态保留、人工接管信息包和审计日志。最后明确任务成功率、事实错误率、拒答率、接管率、P95 延迟与单次成本的口径和上线阈值。题目3如何定义一个 AI 功能的任务成功率这道题主要解释“一个 AI 功能的任务成功率”的基础含义、作用和使用边界。需要说明它解决什么问题、容易和哪些概念混淆、在AI产品经理场景中会影响哪些指标或工程决策。任务成功率应围绕用户目标定义而不是用“模型有输出”或点赞率代替。常用口径是在统计周期内满足准入条件且去重后的有效任务中达到预先定义完成条件的任务占比。分母要明确任务起点、会话去重、取消操作、测试流量和违规请求是否计入分子要同时满足结果正确、关键流程完成、无严重安全问题必要时还要满足时延要求。例如“修改配送地址”的成功条件可以是身份校验通过、地址符合规则、订单系统写入成功且用户收到确认而不是 Agent 回复“已修改”。可通过系统事件自动判定写入结果对语义质量抽样人工评审并把模型理解失败、工具失败、用户放弃分别归因。总体成功率还应按任务类型、用户群和版本分层附样本量和置信区间点赞、复问率和人工接管率作为辅助指标防止单一口径掩盖失败。题目4人工接管率能反映什么产品问题这道题主要解释“人工接管率”的基础含义、作用和使用边界。需要说明它解决什么问题、容易和哪些概念混淆、在AI产品经理场景中会影响哪些指标或工程决策。人工接管率反映自动化能力覆盖、模型置信度、流程稳定性和用户信任但必须拆分原因后才能解释。接管可能由用户主动要求、模型低置信度、政策强制、工具故障、权限不足或超时触发把这些情况合并只能看到现象无法判断是模型质量、知识缺口、交互设计还是系统依赖出了问题。例如某客服场景接管率上升若集中在退款规则变更后可能是知识库未更新若集中在工具超时是工程稳定性问题若答案正确仍被用户转人工可能是解释不清或信任不足。指标应定义为进入人工流程的有效任务数除以全部符合自动服务条件的任务数并按触发原因、任务类型、版本和最终解决结果分桶。高接管率并不一定坏高风险业务主动转人工是正确控制真正要优化的是可安全自动完成却被接管的比例以及接管后重复陈述和等待成本。题目5用户反馈应该如何转化为可迭代的问题标签这道题主要解释“转化为可迭代的问题标签”的基础含义、作用和使用边界。需要说明它解决什么问题、容易和哪些概念混淆、在AI产品经理场景中会影响哪些指标或工程决策。先保留原始反馈、会话上下文和调用链再把反馈转成可定位、可统计、可分派的问题对象。标签体系至少包含业务场景、失败阶段、可观察现象、根因、严重度和处理方向。例如用户说“答非所问”现象标签相同但根因可能是意图识别错误、召回缺失、重排错误、知识过期或生成未遵循证据不能直接都归为模型能力差。每个标签要有定义、正反例和归属规则允许必要的多标签但避免含义重叠将模型版本、提示词版本、文档 ID、工具状态、用户追问和人工处理结果关联到样本。先用规则或模型预标再由人工抽检高风险和低置信度样本定期计算标注一致性并合并低价值标签。迭代时按影响用户数、严重度、修复成本和可验证性排序建立“标签—责任模块—修复方案—回归集—上线指标”的闭环避免反馈只停留在情绪分类。题目6MVP 阶段如何控制 AI 能力的范围这道题围绕“控制 AI 能力的范围”继续追问原理、边界和工程取舍。不能只给定义还要说明适用条件、失效风险、指标口径和替代方案体现对AI产品经理场景的系统理解。MVP 应围绕一个高频且价值明确的用户任务收窄能力而不是先做全能对话框。需要明确目标用户、支持的意图、输入格式、知识范围、可调用工具、最大轮次、输出形式、时延和成本上限并列出不支持场景。优先选择结果可验证、错误可恢复、数据可获得的任务把开放生成约束为结构化输出或少量可控选项。例如客服 MVP 只支持订单状态和退货政策查询知识限定为已审核文档工具只开放只读接口缺少订单号时追问低置信度、跨域问题或退款执行直接转人工不让模型自行承诺。上线前用真实样本设定任务成功率、事实错误率、拒答准确率、P95 延迟和单任务成本门槛小流量验证后再按错误标签扩展能力。MVP 的关键是验证用户价值和风险假设不能为了提高覆盖率过早加入多工具自治、不可逆操作和所有长尾意图。