AI 产品的定义
AI 产品是利用大语言模型（LLM）、检索增强生成（RAG）、智能体系统等人工智能技术，解决复杂现实问题的应用或服务。它们具有不确定性，依赖先进的数据检索方法和复杂的提示词工程，并需要持续评估，才能稳定提供有价值的结果。
AI 产品生命周期
AI 产品生命周期描述了设计、构建、部署和维护 AI 产品所需的结构化迭代流程。它专门处理生成式 AI 的复杂性与挑战，包括行为的不确定性、复杂的评估要求，以及严谨的可观测性工作。
- 人工参与
- 问题定义、原型构建、指标与评估设计，以及系统改进由人参与。
- 人工反馈
- 运行中的人工反馈进入可观测性平台，支持后续评估。
- 人工响应
- 生产监控发现需要关注的情况后，通过告警交给人处理。
分阶段阅读 · 4 个阶段
AI 产品生命周期的主要阶段
1．定义问题
- 人工参与
- 明确系统需要解决的问题。
分阶段阅读 · 1 个阶段
开发智能体系统的第一步，是明确需要解决的问题。智能体系统使用大语言模型或其他生成式 AI 模型解决复杂的现实问题，许多场景涉及自动化。问题必须清楚、有明确范围，并符合业务目标。可以考虑：
- 使用 AI 还是传统应用更适合解决这个问题？
- 最终用户是谁？
- 有哪些边界情况？
- 可接受行为的范围是什么？
参与角色：AI 产品经理、领域专家、AI 工程师。
重要提示：许多 AI 项目失败的原因，是选择了不合适的问题。问题选择与模型质量同样需要认真评估。
2．构建原型
需要考虑：
- 人工参与
- 依据问题构建原型，探索方案是否可行。
分阶段阅读 · 1 个阶段
- 使用 Notebook 或无代码工具、小型数据集和现成模型。
- 这一阶段以学习和验证为重点，性能优化可以在后续阶段开展。
- 完整记录过程，减少今后重复出现相同问题的可能。
- 大量试验提示词，并调查能够帮助解决问题的现有工具，例如语音转文字平台。
参与角色：AI 产品经理、AI 工程师。
重要提示：可以把这一阶段视为降低风险的过程。方案在纸面上看起来合理，仍需要验证长期技术可行性。
3．定义性能指标
关键问题包括：
- 人工参与
- 定义衡量系统表现的性能指标。
分阶段阅读 · 1 个阶段
- 希望优化什么结果？例如减少人员需求、提高用户满意度或加快开发速度。
- 这些结果构成北极星输出指标。需要继续确定能够推动输出指标改善的输入指标，例如缩短客服工单的平均解决时间。
- 应用应改善输入指标，业务则根据输出指标判断最终价值。
参与角色：AI 产品经理、AI 工程师、业务相关人员。
重要提示：如果这一阶段准备不足，项目可能因业务价值不明显而降低优先级。开始实施前，需要与业务团队达成明确共识，并形成书面记录。
4．定义评估规则
需要考虑：
- 人工参与
- 围绕性能指标设计评估。
分阶段阅读 · 1 个阶段
- 系统很可能包含多个相互连接的 LLM 调用，共同构成智能体系统的拓扑结构。
- 为拓扑结构中的每个节点准备评估数据集，包含输入及对应的预期输出。
- 明确不可接受的响应，例如有害内容、幻觉和不安全的建议。
参与角色：AI 产品经理、AI 工程师。
5．构建概念验证（PoC）
- 人工参与
- 构建概念验证，并将系统提供给用户。
- Agent系统
- 概念验证中的Agent与生成式AI模型交互。
分阶段阅读 · 2 个阶段
这一阶段的目标容易被误解。团队可能急于把提示词转换为命令行界面、聊天界面或 API 等可运行接口；此时最重要的目标，是尽快让用户使用系统。需要考虑：
- 利用 OpenAI、Google、Anthropic、X 等提供的 LLM API，快速开发面向用户的应用。
- 应用可以采用包含输入和输出示例的 Excel 表格。只要有助于推动指标改善，就可以交给用户使用。
- 用户反馈有助于发现此前完全没有意识到的问题。根据我的经验，它几乎总会改变开发者对应用改进方向的认识。
参与角色：AI 工程师。
重要提示：成功的 LLM PoC 可以采用 Excel 表格的形式。如果无法迅速交给用户使用，需要检查当前流程。
6．为应用采集运行信息
关键事项包括：
- 人工反馈
- 收集用户对Agent运行结果的反馈。
- 追踪
- 记录系统运行过程，为后续检查提供信息。
分阶段阅读 · 2 个阶段
- 记录提示词、模型生成内容、嵌入、延迟、token 数量和用户反馈。
- 添加提示词版本、用户输入、模型版本等元数据。
- 确保调用链正确连接，并明确各个操作的执行顺序。
- 处理多模态数据时，记录 PDF、图像、音频和视频等不同类型的数据。
- 一次 LLM 调用的输出，经常会成为下一次调用的输入。
- 将用户反馈关联到相应的 trace，明确用户提供反馈时所体验的那次运行。
参与角色：AI 工程师。
重要提示：这是评估驱动开发的关键环节之一。
7．集成可观测性平台
关键事项包括：
- 人工参与
- 由人定义评估，并将评估接入可观测性平台。
- 人工反馈
- 人工反馈与追踪记录共同进入可观测性平台。
分阶段阅读 · 3 个阶段
- 将评估规则保存在平台中，后续用于评估追踪记录。
- 将平台作为提示词注册与管理中心。应用包含一系列提示词调用，需要按提示词组分析和汇总评估结果。
- 随着应用规模扩大，存储全部追踪记录的成本可能过高。可观测性平台的智能采样算法可以保留部分进入平台的记录。
- 多数可观测性平台提供自己的追踪 SDK，可以用它们方便地接入运行信息采集。
参与角色：AI 工程师。
重要提示：尽早配置这些能力，有助于了解系统内部的运行过程。
8．评估追踪数据
关键事项包括：
- 运行评估
- 对追踪记录执行评估，收集未通过的案例。
分阶段阅读 · 3 个阶段
- 前提是评估规则已存入可观测性平台，应用持续发送追踪记录，人工反馈也已关联到相应记录。
- 对进入可观测性平台的追踪记录自动执行评估。
- 筛选评估失败或收到负面人工反馈的追踪记录。失败与负面反馈的具体标准由项目团队确定。
- 后续改进重点关注这些失败数据。
参与角色：AI 工程师。
重要提示：评估成本可能较高，尤其是使用 LLM-as-a-judge 时。可以对参与评估的追踪记录进行采样。
9．改进应用
关键事项包括：
- 人工参与
- 依据评估结果进行提示工程、微调或拓扑改进。
分阶段阅读 · 3 个阶段
- 根据评估失败结果和人工反馈，定位需要改进的环节。
- 当前拓扑结构无法满足任务要求时，可以逐步采用更复杂的结构：简单提示词、RAG、智能体 RAG、智能体、多智能体系统。
- 只有明确需求要求增加复杂性时，才调整系统结构。同时重点改善提示词工程、数据预处理和工具集成。
- 评估驱动开发的一个重要方法，是持续维护失败案例数据集。目标是解决全部案例，但随着新失败案例不断加入，数据集会持续提出新的改进要求。
参与角色：AI 工程师、领域专家。
重要提示：这一阶段应始终让领域专家参与。他们熟悉需要自动化的任务，甚至可以提出更有效的提示词。
10．向用户发布应用新版本
关键事项包括：
- 提供给用户
- 应用连接Agent系统，将功能提供给用户。
分阶段阅读 · 3 个阶段
- 快速部署新版本有以下价值：
- 解决已有问题，改善用户体验。
- 某些改进可以同时解决其他尚未发现的问题，一次调整可能修复多个缺陷。
- 建立严格的发布测试，持续准备评估数据集，确认新版本达到此前版本的质量要求，并将这些检查纳入 CI/CD 流程。
参与角色：AI 工程师、领域专家。
11．持续开发与演进
关键事项包括：
- 人工参与
- 根据未通过的评估改进系统，并更新应用。
- 人工反馈
- 用户反馈与运行追踪继续进入评估循环。
分阶段阅读 · 3 个阶段
- 遵循持续循环：构建应用，追踪运行并收集反馈，执行评估，关注评估失败与负面反馈，改进应用，然后继续迭代。
- 业务需求变得更加复杂时，可能需要增加功能。这通常体现为在智能体拓扑中增加新的执行路径。例如，一个简单聊天机器人可以发展为根据用户指令自动管理购物车的系统。
- 增加功能时，同样需要构建原型、定义性能指标并增加相应评估。
- 独立路径可以作为独立功能开发，因此多名 AI 工程师更容易共同参与同一项目。
参与角色：AI 工程师、领域专家、AI 产品经理。
12．监测与告警
关键事项包括：
- 人工响应
- 监控成本、错误、延迟、评估、TTFT和token使用，通过告警通知人处理。
分阶段阅读 · 4 个阶段
- 正确接入应用运行信息采集后，通常已经具备 LLM 生产监测所需的大部分数据。
- 还可以追踪和记录首个 token 延迟（Time To First Token，TTFT）、相邻 token 之间的生成间隔等进一步的指标。
- 确定触发告警的门槛。
参与角色：AI 工程师。
重要提示：仔细配置告警门槛，尽量减少误报，降低告警疲劳。
结语
深入理解 AI 产品生命周期，可以帮助技术团队有效应对生成式 AI 系统特有的挑战。结构化、持续迭代的方法，是构建可靠、可扩展且能够持续产生实际价值的 AI 产品的重要基础。