计算机使用的人工监督

使用人工监督时,计算机使用代理在需要确认或更多信息时,会升级到在人工监督设置中配置的人员。

注释

计算机使用智能体可能遭遇提示注入攻击,即隐藏在截图、网页或其他输入中的指令试图以非预期方式影响操作。 为降低此风险,请在可信隔离环境中运行这些智能体,并在执行任何指令前实施强健的验证检查。

各型号功能支持

下表列出了支持人类监督功能的模型。

模型提供者 版本 地位 支持人工监督
Azure OpenAI 使用代理V1的OpenAI计算机 退休 Yes
Azure OpenAI 使用计算机的代理(CUA) 积极 Yes
Anthropic 克劳德十四行诗 4.5 积极 Yes

审核代理与计算机使用情况

在执行期间,当计算机使用代理需要确认或其他信息时,它可能会通过电子邮件向配置的人工审阅者发送审阅请求,并在 高级计算机使用活动面板中显示内联审阅卡。

人工评审请求是由概率 AI 模型行为触发的,这意味着在某个人想要暂停的每个情况下,它们都可能不会触发,并且当不需要暂停时,它们也可能触发。 不应将人工审核或澄清请求视为安全保护措施,也不应将其视为系统在继续操作前必定会请求人工输入的保证。

注释

  • 只有计算机使用工具的创建者会收到人工评审请求,并且有权通过 高级计算机使用活动面板访问详细日志。 如果您在计算机设置中设置了终端用户凭据,则这些请求将发送给原本设置连接的人员,但仅当他们也作为指定的人类主管之一被包含在内时才会如此。
  • 若要在代理的活动映射中的计算机使用代理活动端面板中内联查看人工评审请求,需要在环境中启用 高级计算机使用活动 功能。 若活动地图未显示高级计算机使用活动界面,可能是管理员已关闭该环境的此功能。 了解更多,请参阅 高级计算机使用活动

下表列出了人工审核邮件请求包含的主要信息:

领域 Description
使用工具的代理 Copilot Studio 代理的名称。
计算机使用工具 触发请求的计算机使用工具名称。
对话 指向计算机使用工具当前正在运行的代理活动的深层链接。
请求超时 请求超时的日期和时间
申请者 计算机使用工具的创建者(连接所有者)。
提供缺少的信息 用于提交到计算机工具的响应的文本框。
提交 提交已输入文本响应的按钮 如果有确认请求,请输入 “是 ”确认,要么输入 “否 ”拒绝。

响应人工评审请求

要响应人工审核请求,您可以通过电子邮件回复,或使用智能体活动地图中的计算机使用活动面板内联回复。 内联响应要求在环境中启用 高级计算机使用活动面板 。 在这两种情况下,如果未提供响应,工作流将保持暂停,并在到达电子邮件中指定的超时时自动停止。

重要

人类监督系统基于概率 AI 模型行为。 虽然系统包含系统提示和其他约束,但有时可能会生成不必要的澄清请求。 该功能可能在预期触发时未能触发,也可能在当前上下文中要求提供不应提供的信息,包括潜在的敏感信息。

因此,审阅者在响应人工监督请求时应应用判断,不应提交敏感信息,如用户名、密码、PIN、信用卡信息或社会保障号码。 根据组织的配置,对人工评审请求的响应可能会保留在 Dataverse 环境和/或 Purview 审核日志中,并且可能对组织中的授权用户可见。

通过电子邮件答复

人工评审请求电子邮件包括有关代理、工具和对话的详细信息,以及请求的特定信息或澄清。 仔细查看请求,以确定是否有足够的信息来响应。 如果适用,请在指定的文本字段中输入响应,然后选择“ 提交”。

内联回复

  1. 在人工评审请求电子邮件中选择 “对话” 链接以打开代理的活动映射。
  2. 找到与配置的计算机使用工具匹配的计算机使用操作,并打开其侧面板。
  3. 在侧边面板的活动区域查看活动列表。 等待人工审核的活动会在模型生成的响应旁边标有一个等待指示器。
  4. 仔细查看请求,并确定是否有足够的信息来响应。 如果适用,请在指定的文本字段中输入响应,然后选择“ 提交”。

禁用人工监督

若要禁用人工监督,请转到计算机使用工具的“人工监督”部分,并从“分配请求到”列表中删除所有审阅者。

计算机使用工具常见问题解答