AI 智能体的自主能力正在增强，并且很可能继续增强。它们能够检索信息、调用 API，甚至代表人类发起交易。智能体的目标是与人类协作。Human-in-the-Loop（HITL，人在回路中）系统有意识地加入实时人工监督，使人类继续参与 AI 作出的关键决策。HITL 架构设置检查点，供人类审核、批准或纠正智能体操作。这种协作方式对于敏感场景尤为重要，因为未经检查的 AI 可能产生错误或不符合预期的结果。
在实际应用中，HITL 意味着智能体完成关键步骤前暂停，等待人工审核，例如确认采购订单或回复敏感信息。关键时刻的人工检查能够提高安全性、可信度和准确性。人类负责发现错误、判断含糊情况，并确保输出符合业务规则和伦理要求。HITL 是主动设计的监督策略。
HITL 的重要性
赋予智能体自主能力伴随着风险。能力很强的模型也可能自信地给出错误结果，或无法妥善处理复杂情况。人工监督可以直接处理这些风险，提高可信度和错误处理能力。
- 提高安全性与合规性：在金融、医疗和电商等领域，智能体错误可能造成严重后果，例如错误交易或未经授权的数据披露。监管机构和企业希望 AI 决策支持人工干预，并能够审计。在关键决策处加入监督，能够使高风险操作经过明确人工批准，帮助遵守政策和法律。人类可以在造成损害前暂停或调整不安全、不合规的操作，及时阻止严重失败。
- 通过透明性建立信任：用户和相关人员知道重要决策有人类可以介入时，通常更愿意信任 AI 辅助系统。HITL 使智能体运行过程具有一定可见性。例如，购物助手准备依据可疑数据推荐商品时，人类可以介入并完善推荐。这既能处理潜在错误，也能提高系统运行的透明度和可追责性。
- 可靠地恢复错误：任何智能体都可能遇到错误或含糊情况。HITL 支持执行期间的交互式纠正，减少流程终止或用户体验受损。例如，购物助手误解查询并获取了错误商品信息，审核人员可以调整中间状态，选择正确商品，再恢复工作流程。最终回答或操作得到纠正，无需重新开始。每次人工介入也可以记录为反馈，用于改进提示或模型。系统能够在运行期间发现并纠正错误，从而提高稳健性。
- 依靠人类判断处理特殊情况：AI 缺少真正的理解，面对特殊情况或伦理难题时可能混淆。人类擅长结合语境、伦理要求和复杂含义作出判断。在需要判断的位置引入人工，可以帮助处理难题。例如，用户询问违反公司政策或涉及伦理的问题：“评论说这个商品不安全，我还应当购买吗？”智能体可能无法确定如何回答，人类则可以识别安全问题，或采用恰当措辞回应。这样能够减少智能体处理训练或设计范围外情况时的不当行为。
HITL 可以提高智能体可靠性，执行安全要求，维持用户信任，并为错误恢复提供机制。
设计带人工批准检查点的工作流程
引入 HITL，需要设计人工检查点的位置、依据人工输入选择分支的方法，以及有效介入所需的界面。目标是在保持效率的同时，使人工监督自然地融入智能体工作流程。
中断与暂停：系统必须支持在指定位置暂停智能体。LangGraph 等流程控制框架提供中断执行的机制。例如，可以设置在某个工具执行前，或者最终回答生成后中断流程。系统保存对话上下文和中间结果，供人工检查，并在之后从相同位置继续。上周实现多轮对话时已接触状态持久化的基础。持久化状态使人工能够异步介入，无需受严格时间限制；获得批准后，智能体从暂停位置继续。
加入人工批准步骤后，工作流程需要具有分支。购物助手原有流程可能依次完成接收查询、查找信息、生成回答草稿，以及可能的下单操作。加入 HITL 后，生成草稿便暂停等待批准，之后根据决定发送回答、下单或修改方案。到达检查点时，相关信息发送到审核界面，例如用于表达需求的聊天界面。智能体随后等待。审核者，也就是购物者，会收到暂停任务的通知，检查输出或拟执行操作，并选择批准、拒绝、编辑，或转交人工客服等进一步处理方式。
流程必须分别处理批准和拒绝。批准后正常继续；拒绝或编辑后，可以将人工输入写入状态，再返回适当步骤。例如，人工修改回答或购物车内容后，这些变更成为新状态，智能体据此生成修改后的回复或跳过某一步骤。如果方案完全被拒绝，可以将查询交给人工，或取消执行该操作。这些分支使用户在不同情况下都能得到适当处理。
人工审核界面：HITL 效率很大程度取决于界面设计。审核人员应当能够清楚理解智能体拟执行的操作，并方便地介入。界面可显示原始查询、拟执行操作或回答、关键证据或置信度分数，以及批准、拒绝和编辑控件；如果审核者就是用户本人，某些证据或置信度信息可能没有必要。例如：“你的要求：订购 3 件 XYZ。智能体计划：将 3 件 XYZ 加入购物车，单价 299 美元，然后进入结账。”人类可以快速核查，发现商品型号或数量不符时进行修改并确认。界面还应突出需要审核的原因，例如“高额订单：总计 897 美元，超过 500 美元阈值”，帮助审核者关注潜在问题。
保留状态与恢复执行：暂停期间必须保存对话或任务状态，并在收到信号后可靠恢复。通常可以在检查点将状态写入数据库或记忆存储。人类提交“批准”或“将 X 改为 Y”等输入后，流程控制器合并这些输入并继续执行图。LangGraph 通过持久化层在节点执行后保存检查点，支持暂停和继续。用户可能看到“请求正在等待批准”，或者需要亲自操作审核界面；良好设计可以使过程快速且透明。设计 HITL 时，需要识别关键审核位置，使用框架或自定义逻辑暂停流程，根据人工决定选择分支，并提供便于操作的界面。智能体自主处理常规任务，人类监督影响重大的决策。
智能体工作流程中的人工监督模式
常见 HITL 模式描述了人类参与的位置和方式。复杂系统可以在不同位置组合使用以下四种模式。
- 批准或拒绝检查点：智能体在关键操作前暂停，等待明确批准。获得批准后执行，否则跳过或选择其他路径。例如，下单或扣款前，人工检查商品、价格及收货信息，再选择批准或拒绝。订单金额异常或商品理解有误时，拒绝可以取消订单或转交人工销售。这种模式主要处理不可逆或影响重大的操作。它也可以用于直接发送给客户的最终回答，由额外审核者快速检查准确性和语气，批准后再发送。
- 检查并编辑状态：暂停后，人类可以检查和修改工作数据，再继续执行。例如，助手已经形成推荐商品列表或用户需求解释，但可能存在误解，人工可以替换商品或纠正意图。用户要求“添加 Apple 充电器”，系统却选择了其他品牌产品，人工便可以将正确商品写入状态。恢复后，智能体依据更新的信息生成回答。这种模式允许直接将人工纠正加入执行过程。
- 审核工具调用：智能体即将调用外部工具或 API 时暂停，供人类检查或修改调用。执行
add_to_cart(product_id, quantity)或place_order(cart_id, total)前，界面可以展示调用细节，例如place_order(cart_id=123, total=$900)。人类可以批准，也可以调整数量或配送方式。只有核查完成后才实际调用后端 API。这能帮助确认具有实际影响的工具操作是否合理，尤其适合检查错误参数，例如误选没有库存的仓库。 - 验证人工输入：在继续使用可能错误、恶意或敏感的输入前，由人工核查。例如，地址异常或涉及敏感数据时，可以要求检查。用户说“我的地址是 123 Random Street，请送到这里”，地址验证却发现缺少城市或格式不符，就可以由人工确认或联系用户澄清。输入包含敏感个人数据，或请求可能触及政策要求，例如医疗、法律建议时，也可能需要人工检查处理方式。这种模式在使用输入前检查其准确性、安全性和合规性。
这些模式都可以通过中断和分支机制实现。在 LangGraph 中，可以在节点前设置 interrupt_before，审核操作或工具调用；也可以在节点内部满足条件时调用动态 interrupt()，例如置信度不足时暂停。HITL 可以设置在任何符合应用需求的位置。上述四类模式分别控制操作批准、状态纠正、工具核查和输入验证。Amazon 购物助手可以在入口检查用户输入，在修改购物车时审核工具调用，并在结账前要求最终批准。
何时需要人工介入
每次操作都交给人工会降低系统效率。HITL 设计需要决定何时允许智能体自主执行，何时请求审核。触发条件可以依据置信度、请求性质、业务规则或外部信号。常见情况包括以下几类。
- 高额或高风险交易：具有重大财务或安全影响的操作应触发审核。例如，单件商品超过 500 美元，或订单金额明显超出用户通常的消费范围时，可以要求人工批准，以识别欺诈或代价较高的错误。管理账户设置时，删除账户或修改密码也可以始终要求人工核查。这些属于业务规则触发，例如将超过授权限额的交易转交人工。
- 低置信度或含义不明确：智能体可以提供置信度或其他不确定性信号。回答把握不足，或商品数据库出现矛盾信息时，可以转交人工。例如，“为这台笔记本电脑找最合适的配件”没有说明电脑型号，人工可以澄清意图或选择正确解释。连续多次低置信度，或者开始编造商品事实，也可以触发发送前审核。人类可以完善回答或向用户提问，减少误导。
- 敏感或受监管内容：涉及敏感数据或受监管主题时，可以加入人工处理。用户在聊天中提供银行卡号或地址等个人信息时，需要确保安全处理，或转入安全流程。用户询问“能否根据我的病情推荐药物”，或者请求购买可能涉及武器管理的刀具时，也可能触发政策检查。系统应识别这些超出允许范围的请求并暂停。在医疗、金融等场景，可以将可能构成相关专业建议的请求默认交由人工，依据隐私、法律和伦理要求设置触发规则。
- 用户情绪或不满意：通过情感分析或重复查询发现用户沮丧、愤怒或困惑时，可以让人工客服介入。例如，购物助手多次尝试后，用户仍说“这与我的意思不符”或“你没有理解我”，转交人工有助于解释和缓和情绪。达到预设情绪或不满程度阈值时，可以自动交接对话，以改善客户体验。
- 例外情况与错误：智能体无法解决 API 失败，或无法查到应能处理的信息时，可以请人工排查。例如，加入购物车时库存服务返回异常错误，原因可能是库存资料错误或商品刚刚停产，人工客服可以检查具体问题。退货流程需要特殊处理等多步骤任务也可以转交人工。技术或流程失败触发器能在智能体无法继续时提供人工修复或回答。
触发条件需要平衡监督与效率。过多低风险请求进入审核，会增加延迟和人工负担；触发过少，则可能遗漏真正需要介入的情况。阈值通常根据实际数据校准，例如置信度低于 85% 或订单金额超过指定数值时审核，并随着经验调整。Amazon 助手可以实时监控置信度、情绪、金额和关键词，在错误造成完整影响前标记需要人工介入的对话。
提高 HITL 效率的实践建议
人工参与会增加一定开销，合理设计可以减少影响，使审核过程高效运行。
- 在适当位置使用人工：将人工注意力用于真正需要判断的决策。高置信度、低风险的常规任务可以自主执行，人工主要处理例外情况，保持工作量可管理，减少告警疲劳。还应规定明确的交接路径，让超出智能体能力的复杂情况由人工全面接手，或进一步转给专家团队。
- 使用批量与队列审核：操作量较大时，可以让审核进入队列或批量处理。例如，50 条低置信度回答可以在一个仪表板中集中处理，减少独立通知造成的打断。文档处理和内容审核尤其适合批量方式。对话回答通常需要实时批准，仍然可以合并不紧急的审核。队列应设置优先级：正在进行的用户交互优先，夜间批量生成的商品描述等时效要求较低的任务可以集中处理。
- 设计易于使用的审核界面：审核界面应像面向客户的应用一样重视效率。用户请求、拟执行操作和触发原因应清楚呈现，并提供可编辑文本框、下拉菜单或复选框，快速调整回答与参数。减少翻查日志和重复点击，并为批准全部、常见修改模板等操作提供快捷方式。界面越便于使用，审核者每小时能够处理的任务越多，系统响应也越及时。
- 提供明确指南和培训：审核者需要了解检查要点和决策方法。例如，订单超过 1,000 美元时检查购买历史与商品，发现异常则拒绝；低置信度回答应依据来源核实，至少有一个来源支持后才能批准。明确操作指南可以减少犹豫，并应随新情况持续更新。购物助手的指南也可以说明何时介绍延长保修服务，或如何识别可能存在欺诈的订单。
- 利用 AI 辅助审核：系统可以突出回答中的不确定内容，或标记触发审核的订单字段，例如在总价旁标示高额提醒。还可以归纳较长对话，或给出建议，例如“智能体把握不足，建议补充安装选项信息”。更完善的系统可以使用另一个 LLM 检查事实或政策要求，为审核者指出具体问题。预先筛查明显错误，有助于让人的注意力集中到需要判断之处。
- 持续调整触发条件：观察 HITL 运行结果并调整规则。如果某一置信度范围几乎没有发现问题，例如高于 80% 的结果都符合要求，就可以将审核界限调整到 80%，减少多余检查。某类未标记请求却经常被人工发现错误时，则应增加规则。可以跟踪需要人工纠正的输出比例、批准与修改及拒绝的比例，以及审核完成时间。这些指标同时帮助改进智能体和人工流程。目标是在安全前提下尽可能自主完成任务，并确保人工发现智能体不能处理的问题。随着模型可靠性提高，部分任务可以取消人工要求；发现新风险时，也可以增加监督范围。
- 保留审计记录和责任信息：详细记录全部 HITL 操作，有助于合规、学习和追责。用户投诉错误推荐或购买时，可以核查该输出是否获得人工批准，再处理问题和改进流程。事后分析也可以判断错误来自触发条件未生效，还是人工审核失误，从而完善系统和审核程序。可审计性能够建立相关人员的信任，在受监管领域也常属于法律要求。
- 兼顾速度与质量：尽可能及时完成审核。例如，在高峰期间安排足够审核人员，类似按需求扩展服务器容量。对于时间敏感场景，可以先发送“我正在为你确认，请稍候”等阶段性回复，为后台审核提供时间。交易可以显示等待批准状态，例如“订单正在接受安全审核，稍后确认”。清楚说明短暂等待，有助于用户理解其准确性和安全目的。持续寻找审核瓶颈：如果更好的工具和信息能将两分钟工作缩短为三十秒，就应改进相应环节。
通过这些做法，人工监督可以成为整体架构中高效的一部分，以较少干扰处理复杂情况，使智能体同时具备快速、可扩展的自动处理能力，以及人类专业判断带来的安全保障。