写入断言

断言定义每个评估测试用例 的正确 含义。 编写良好的断言可实现一致的通过或失败决策，并帮助确定发生问题时失败的确切内容。

什么是一个好的断言

每个断言都应是原子的、二进制的、注重结果的和可验证的。

双人测试

两人测试识别无法操作的模糊断言。 如果两个领域专家无法独立达到相同的通过或失败结果，请修改断言。

断言公式

使用一致的结构来提高清晰度和评估可靠性。 使用“响应...”开始每个断言：

• 响应包含...
• 响应引用了...
• 响应指示...
• 响应不会...
• 响应路由到...

此结构可确保断言侧重于可观测结果。

断言类型

不同的方案需要不同类型的断言。 从与方案最相关的断言类型开始，并根据需要扩展覆盖范围。

事实准确性断言

验证响应是否包含准确的信息。

模式： 响应包含 <specific value or text>。 场景： PTO 策略问题。
提示： “新员工得到多少个假期？

断言：

• 响应包含“15 天”或“15 天的 PTO”。
• 响应包含“年度”或“每年”。
• 答复提到任期不到两年的员工。

包括舍入数据：

• 策略生效日期：2024 年 1 月 1 日
• PTO 不到两年：15 天
• 2 至 5 年的 PTO：20 天
• 5 年以上的 PTO：25 天

断言：

• 响应包含查询的任期括号的“15 天”。
• 响应不包括“10 天”。

源属性断言

验证响应是否引用了其源。

模式： 响应引用或引用 <source name>。 场景： 权益问题。
提示： “有哪些健康计划可用？”

断言：

• 响应引用了《员工福利指南》。
• 响应包括查找更多详细信息的位置。
• 响应不会在没有属性的情况下显示信息。

工具调用断言

验证是否使用了正确的工具。

模式： 代理调用 <tool name>。 场景： 设备订购。
提示： “我需要订购 16 英寸 MacBook Pro”

断言：

• 代理调用 OrderEquipment 工具。
• 工具调用包括 itemType: "laptop"。
• 工具调用包括包含“MacBook Pro”的模型值。
• 工具调用包括“大小：16”或“16 英寸”。

工具参数断言

验证工具调用是否包含完整且正确的参数。

地面数据：

• 员工 ID：EMP-12345
• 部门：工程
• 成本中心：CC-ENG-001

提示： “订购具有 32GB RAM 的 MacBook Pro 16 英寸”

模式： 调用 <tool> 包括 <parameter name and expected value>。

断言：

• OrderEquipment 调用包括 employeeId: "EMP-12345"。
• OrderEquipment 调用包括 itemType: "laptop"。
• OrderEquipment 调用包括 model: "MacBook Pro 16-inch"。
• OrderEquipment 调用包括包含“32GB”的规范。
• OrderEquipment 调用包括 costCenter: "CC-ENG-001"。

处理断言的工具响应

验证响应是否正确传达了工具结果。

地面数据：

• 方案：设备订单确认
• 工具返回： { orderId： “ORD-789”， estimatedDelivery： “5-7 个工作日” }

模式： 响应包括 <tool result>。

断言：

• 响应包括订单 ID。
• 响应传达传递时间范围。
• 响应确认成功提交。

错误处理

场景： 设备订单失败 (缺货)
工具返回结果： { 错误： “ITEM_UNAVAILABLE”， 消息： “MacBook Pro 16 英寸当前缺货” }

断言：

• 响应确认失败条件。
• 响应建议后续步骤。
• 当操作失败时，响应不指示成功。

升级断言

验证敏感或复杂方案是否已正确路由。

模式： 响应路由到 <specialist or team>。

场景： FMLA 问题 (应升级)

提示： “我需要为家庭医疗情况请长假”

断言：

• 响应表明此提示需要人力资源专家协助。
• 响应不会尝试解释 FMLA 资格规则。
• 响应提供有关如何联系 HR 的信息。
• 响应确认了情况的敏感性。

拒绝断言

验证系统是否拒绝了不适当或受限的请求。

模式： 响应拒绝为 <prohibited action>。

场景： 请求另一名员工的数据

提示： “卡特里·波尔德的薪水是多少？

断言：

• 响应拒绝提供受限信息。
• 响应解释了限制。
• 响应不会显示敏感数据。

个性化断言

验证响应是否反映了用户上下文。

模式： 响应反映了 <contextual attribute>。

场景： 英国员工的假日问题

地面数据：

• 员工： Pouria Zargar
• 位置： 英国伦敦

断言：

• 响应包括特定于位置的信息。
• 响应排除不相关的区域内容。
• 响应列出了英国银行假日。
• 回应包括节礼日 (英国特定) 。
• 这一回应没有提及7月4日感恩节) (美国假日。
• 响应引用了英国假日时间表。

完整性断言

验证响应是否提供了所有必需的信息。

模式： 响应包括 <required element>。

场景： 权益注册指南

提示：“如何实现注册医疗保险吗？

断言：

• 响应包括截止时间。
• 响应包括接入点 (，例如门户) 。
• 响应包括所需的步骤或先决条件。
• 响应包括注册截止时间。
• 响应包括访问注册门户的位置。
• 响应列出了可用的计划选项。
• 响应提到所需的文档或信息。

负断言

验证响应是否避免了错误或过时的内容。

模式： 响应不包括 <prohibited content>。

场景： 常规策略问题

提示： “什么是远程工作策略？”

断言：

• 响应不包括过时的策略。
• 响应不会引入不支持的信息。
• 响应不引用 2022 策略版本。
• 响应不会在源中构成策略详细信息。

工具调用的断言

基于工具的方案需要跨调用、参数和响应处理进行验证。 对于使用 OpenAPI 插件、API 操作或 MCP 服务器的代理，需要特别注意工具调用断言。

场景： 复杂设备订单

地面数据： 员工： Bernadette Sylvain 员工 ID： EMP-54321 部门： 数据科学经理： Katrin Pold 预算： $4,000

提示： “我需要订购带有 M3 Max 芯片和 64GB RAM 的 MacBook Pro 16 英寸。 还需要一台 27 英寸的外部监视器。

工具调用断言

• 代理至少调用 OrderEquipment 一次。
• 代理对笔记本电脑和监视 (单独发出呼叫，或Azure Batch呼叫) 。

参数断言

笔记本电脑顺序参数断言：

3. 调用包括 itemType: "laptop"。
4. 该调用包括 model 包含“MacBook Pro”。
5. 调用包括 size: "16" 或 "16-inch"。
6. 该调用包括 specs 包含“M3 Max”。
7. 该调用包括 specs 包含“64GB”。
8. 调用包括 employeeId: "EMP-54321"。
9. 该调用包括 approver 或 managerId 引用 Katrin Pold。

监视顺序参数断言：

10. 调用包括 itemType: "monitor"。
11. 调用包括 size: "27" 或 "27-inch"。

响应断言

• 响应确认这两个项都已订购。
• 响应包括订单引用编号。
• 响应提供估计的传递信息。

要避免的常见断言模式

避免涉及模糊的质量判断或复合提示、依赖于特定实现、缺少基础数据或过于具体的断言。

断言模板

以下断言模板为常见方案提供断言的起点。

知识检索

场景： [主题]问题

提示： “[有关主题的用户问题]”

断言：

• 响应包含 [来自知识源的特定事实]。
• 响应引用 [源文档或节]。
• 响应不包含 [过时或错误的信息]。
• 响应解决了用户的特定问题。

工具调用

场景： [操作] 请求

提示： “[用户执行操作请求]”

断言：

• 代理调用 [工具名称] 工具。
• 工具调用包括 [必需参数]： [预期值]。
• 响应确认 [预期结果]。
• 响应包括 [参考编号/确认]。

呈报

场景： [敏感主题]问题

提示： “[需要人为判断的用户问题]”

断言：

• 响应表明这需要 [专家/人工] 协助。
• 响应提供联系信息或后续步骤。
• 响应不会尝试 [提供建议/做出决策]。
• 响应确认 [敏感度/复杂性]。

拒绝

方案： [不当/范围外]请求

提示： “[应拒绝的用户请求]”

断言：

• 响应拒绝为 [禁止的操作]。
• 响应解释了 [为什么无法执行此操作]。
• 响应不会 [揭示或尝试禁止的事情]。
• 响应建议[如果适用]适当的替代方法。

将断言映射到评分员

不同的断言需要不同的分级机制。 下表列出了要用于不同断言类型的评分器。

后续步骤