本课介绍 STAR 方法。这是一种专为 AI 工程团队设计、内容完整且便于使用的方法，用来定义、衡量和改善 AI 系统表现。
- 人工参与
- 在概念验证之前定义性能指标与评估。
分阶段阅读 · 4 个阶段
STAR 方法：Strategic、Technical、Actionable、Responsive
步骤 1：战略指标，即北极星指标（NSM）
选择一个能够表达 AI 系统核心价值的战略指标。这个指标应当：
- 同时清楚对应技术目标与业务目标。
- 可以衡量、容易理解，并能够通过工程行动直接改善。
例如，AI 推荐系统中的用户参与率。
步骤 2：辅助指标
用更加具体的指标补充北极星指标，可以分为以下三类或更多类别：
- 技术指标：
- 延迟。
- 系统正常运行时间。
- API 响应时间。
- 运营指标：
- AI 转交人工客服的比例。
- 用户与业务指标：
- 净推荐值（NPS，用于衡量用户的推荐意愿）、转化率和收入影响。
步骤 3：可以执行的目标与关键结果（OKR）
定义具体、可衡量的目标和关键结果，使其清楚对应北极星指标及辅助指标：
OKR 示例：
- 目标：改善 AI 推荐效果。
- 关键结果：
- 向用户推荐更相关的商品，使用户参与率提高 20%。
- 采用基于 LLM 的方法，使意图分类的精确率和召回率都超过 90%。
- 持续将系统延迟保持在 150 毫秒以下。
- 关键结果：
步骤 4：及时响应的评估与监测
建立持续评估机制，主动监测性能变化，并及时采取行动：
- 部署自动化性能仪表板。
- 为关键指标设置实时告警。
- 定期召开性能评审会议。
重要提示：北极星指标、辅助指标和 OKR 三者都需要持续监测。
原因如下：
- 北极星指标：明确战略重点，使系统持续围绕最终业务目标和技术目标发展，需要密切监测。
- 辅助指标：提供更深入的技术信息和运行状况，支持故障排查、优化及可靠性保障。
- OKR：把北极星指标表达的战略目标转化为具体、可衡量的行动。定期检查 OKR，可以确认项目是否朝目标前进，并在未达到目标时及时调整。
推荐做法：
- 通过自动化仪表板持续追踪北极星指标及辅助指标。
- 每周或每两周检查 OKR，根据实际表现调整优先顺序与行动。
步骤 5：持续改进
持续评估和完善指标，使其符合不断变化的技术目标与业务目标：
- 定期重新评估指标的有效性。
- 根据技术进展、新发现或业务优先事项的变化，更新并调整目标。
- 人工参与
- 定义性能指标与评估，让系统表现可以被检查。
- 北极星指标
- 技术、用户与业务、运营三类指标共同支撑目标。
- 组件评估
- 分别检查系统内部各个 LLM 处理环节。
分阶段阅读 · 3 个阶段
下面把 STAR 方法用于聊天机器人场景。北极星指标是“将客服团队处理用户请求的工作量减少 80%”。
步骤 1：战略指标（NSM）
- 北极星指标：将客服团队处理用户请求的工作量减少 80%。
步骤 2：技术指标与辅助指标
这些指标直接支持并影响主要北极星指标：
- 技术指标：
- 延迟。
- 系统正常运行时间。
- API 响应时间。
- 运营指标：
- 客服工单数量。
- AI 转交人工客服的比例。
- 用户与业务指标：
- 净推荐值（NPS）。
- 用户留存率。
- 客服运营成本的减少程度。
步骤 3：可以执行的目标与关键结果（OKR）
设定清楚、可衡量，并直接对应北极星指标的目标：
- 目标：在两个季度内，将用户与 AI 交互的 NPS 从 60 提高到至少 70。
- 关键结果：
- 对于具有购买意图且解决时间超过 10 分钟的用户工单，实现其中 40% 的自动处理，包括自动创建订单。
- 实现准确率至少为 80% 的意图分类路由器。
- 在适用场景采用 token 流式输出，将用户感知到的聊天机器人响应延迟从 3 秒缩短到 1.5 秒以内。
- 关键结果：
- 选择 OKR 时，应考虑它们与最重要的辅助指标及主要北极星指标之间的直接关系。
推荐方法
- 战略指标（NSM）：始终设置与之对应的 OKR。
- 关键辅助指标：为重点辅助指标设置专门的 OKR，尤其是对北极星指标或性能影响显著的指标。
- 其他辅助指标：定期监测；当它们具有重要战略意义或反映显著性能问题时，再设置明确的 OKR。
步骤 4：及时响应的评估与监测
部署监测工具，例如：
- 实时聊天机器人分析仪表板。
- 针对响应时间、准确率门槛和停机时间等指标的自动告警。
- 每周性能评审，以便及时处理问题并调整策略。
步骤 5：持续改进
- 定期分析数据，改进意图分类与回答策略。
- 每个季度根据用户反馈、运营数据和业务需求变化调整 OKR。
这个 STAR 方法应用示例，将战略目标（NSM）与严谨的技术要求、可以执行的 OKR、及时响应的监测和持续改进联系起来。