Microsoft Foundry Models（经典版）内容筛选

仅适用于：Foundry （经典版）门户。 本文不适用于新的 Foundry 门户。 详细了解新门户。

Microsoft Foundry包括与核心模型和图像生成模型一起使用的内容筛选系统，由 Azure AI 内容安全。 此系统通过组合的分类模型执行提示和补全，以检测和防止有害内容的输出。 内容筛选系统在输入提示和输出完成中检测并针对特定类别的潜在有害内容采取措施。 API 配置和应用程序设计中的变体可能会影响完成情况，从而筛选行为。

以下部分提供有关内容筛选类别、筛选严重性级别及其可配置性的信息，以及应用程序设计和实现中要考虑的 API 方案。

除了内容筛选系统，Azure OpenAI 还进行监控，以检测暗示可能以违反适用产品条款的方式使用服务的内容和行为。 有关了解和缓解与应用程序关联的风险的详细信息，请参阅适用于 Azure OpenAI 的 Transparency 说明。 有关数据处理以用于内容筛选和滥用监控的详细信息，请参阅 Azure OpenAI 的数据、隐私和安全。

内容筛选器类型

Foundry Tools 中 Foundry Models 服务中集成的内容筛选系统包含：

• 检测和筛选有害内容的神经多类分类模型。 这些模型涵盖四类（仇恨、性、暴力和自我伤害）四种严重性级别（安全、低、中、高）。 在“安全”严重级别检测到的内容在批注中标记，但不受筛选的约束，并且不可配置。
• 其他可选分类模型，用于检测越狱风险以及文本和代码的已知内容。 这些模型是二进制分类器，用于标记用户或模型行为是否限定为越狱攻击或与已知文本或源代码匹配。 使用这些模型是可选的，但客户版权承诺范围可能需要使用受保护的材料代码模型。

¹ 如果你是文本材料的所有者，并且想要提交文本内容以进行保护， 请提交请求。

² 在非流式处理方案中不可用;仅适用于流式处理方案。 以下区域支持地面检测：美国中部、美国东部、法国中部和加拿大东部

输入筛选器

文本内容筛选器

请参阅 伤害类别和严重性级别 ，详细了解四个内容筛选类别（仇恨、性、暴力和自我伤害）及其严重性级别（安全、低、中和高）。

图像内容筛选器

请参阅 伤害类别和严重性级别 ，详细了解四个内容筛选类别（仇恨、性、暴力和自我伤害）及其严重性级别（安全、低、中和高）。

提示防护

"Prompt shields 是一种针对生成式 AI 模型输入的安全过滤器。"

输出筛选器

还可以启用以下特殊输出筛选器：

• 文本的受保护材料：受保护的材料文本描述已知文本内容（例如歌曲歌词、文章、食谱和所选 Web 内容），大型语言模型可能会输出。
• 代码的受保护材料：受保护的材料代码描述与公共存储库中的一组源代码匹配的源代码，大型语言模型可能会在没有正确引文源存储库的情况下输出这些源代码。
• 扎根性：扎根性检测筛选器用于检测大型语言模型（LLM）的文本响应是否基于用户提供的源材料。
• 个人身份信息（PII）：PII 筛选器检测大型语言模型（LLM）的文本响应是否包含个人身份信息（PII）。 PII 是指可用于标识特定个人的任何信息，例如姓名、地址、电话号码、电子邮件地址、社会安全号码、驾照号码、护照号码或类似信息。

在 Microsoft Foundry 中创建内容筛选器

对于 Foundry 中的任何模型部署，可以直接使用默认内容筛选器，但你可能想要获得更多控制。 例如，你可以使筛选器更严格或更宽松，或者启用更高级的功能，如提示屏蔽和保护材料检测。

按照以下步骤创建内容筛选器：

1. 登录到 Microsoft Foundry。 确保 New Foundry 开关处于关闭状态。 这些步骤涉及到 Foundry（经典版）。

   

2. 访问你的项目。 然后从左侧菜单中选择 Guardrails + 控件 页，然后选择 “内容筛选器 ”选项卡。

   

3. 选择 “+ 创建内容筛选器”。

4. 在 “基本信息 ”页上，输入内容筛选配置的名称。 选择要与内容筛选器关联的连接。 然后选择“ 下一步”。

   

   现在，可以配置输入筛选器（针对用户提示）和输出筛选器（用于模型完成）。

5. 在 “输入筛选器 ”页上，可以为输入提示设置筛选器。 对于前四个内容类别，有三个可配置的严重性级别：低、中和高。 如果确定应用程序或使用方案需要与默认值不同的筛选，则可以使用滑块设置严重性阈值。 某些筛选器（如提示盾牌和受保护材料检测）可用于确定模型是否应批注和/或阻止内容。 选择 仅批注 会运行相应的模型，并通过 API 响应返回批注，但不会筛选内容。 除了批注外，还可以选择屏蔽内容。

   如果您的用例已被批准使用修改后的内容筛选器，您将获得对内容筛选配置的完全控制权。 可以选择部分或完全关闭筛选，或仅针对内容危害类别（暴力、仇恨、性以及自我伤害）启用批注。

   该内容按照类别标记，并根据您设置的阈值进行分类。 对于暴力、仇恨、性、自我伤害类别，请调整滑块以阻止高、中或低严重性的内容。

   

6. 在“ 输出筛选器 ”页上，可以配置输出筛选器，该筛选器应用于模型生成的所有输出内容。 像以前一样配置单个筛选器。 该页面提供流式处理模式选项，让你可以在模型生成内容的过程中以近乎实时的方式筛选，从而减少延迟。 完成后，选择“ 下一步”。

   内容按每个类别进行批注，并根据阈值进行分块。 对于暴力内容、仇恨内容、性内容和自残内容类别，调整阈值以阻止具有同等或更高严重性级别的有害内容。

   

7. （可选）在 “连接 ”页上，可以将内容筛选器与部署相关联。 如果所选部署已附加筛选器，则必须确认要替换它。 还可以稍后将内容筛选器与部署相关联。 选择“ 创建”。

   内容筛选配置是在 Foundry 门户中的中心级别创建的。 在 Foundry Models 文档中详细了解 Azure OpenAI 中的可配置性。

8. 在 “审阅 ”页上，查看设置，然后选择“ 创建筛选器”。

使用阻止列表作为筛选器

可以将阻止列表作为输入或输出筛选器或两者都应用。 在输入筛选器和/或“输出”筛选器页上启用阻止列表选项。 从下拉列表中选择一个或多个阻止列表，或使用内置的不雅内容阻止列表。 可以将多个阻止列表合并到同一个筛选器中。

应用内容筛选器

筛选器创建过程提供将筛选器应用于所需部署的选项。 还可以随时更改或删除部署中的内容筛选器。

按照以下步骤将内容筛选器应用于部署：

1. 转到 Foundry 并选择项目。

2. 选择左侧窗格中的 “模型 + 终结点 ”并选择其中一个部署，然后选择“ 编辑”。

   

3. 在 “更新部署 ”窗口中，选择要应用于部署的内容筛选器。 然后选择“ 保存并关闭”。

   

   如有必要，还可以编辑和删除内容筛选器配置。 在删除内容筛选配置之前，需要从“ 部署 ”选项卡中的任何部署中取消分配并替换它。

现在，可以转到操场来测试内容筛选器是否按预期工作。

可配置性

部署到 Microsoft Foundry（以前已知的Azure AI 服务）的模型包括应用于所有模型的默认安全设置，不包括 Azure OpenAI Whisper。 默认情况下，这些配置提供 负责任的体验。

某些模型允许客户配置内容筛选器并创建自定义安全策略，这些策略根据用例要求定制。 可配置功能允许客户分别调整提示和补全的设置，以按表格中描述的不同严重性级别为每个内容类别筛选内容。 在“安全”严重级别检测到的内容在批注中标记，但不受筛选的约束，并且不可配置。

¹ 对于 Azure OpenAI 模型，只有已批准修改的内容筛选的客户具有完整的内容筛选控件，并且可以关闭内容筛选器。 通过以下表单申请修改的内容筛选器：Azure OpenAI 受限访问评审：修改的内容筛选器。 对于 Azure 政府 客户，请通过以下表单申请使用修改后的内容过滤器：Azure 政府 - 在 Foundry 模型中申请 Azure OpenAI 的修改后内容过滤器。

内容筛选配置是在 Foundry 门户中的资源中创建的，并且可以与部署相关联。 了解如何 配置内容筛选器

内容筛选方案

当内容安全系统检测到有害内容时，你将在 API 调用中收到错误消息（如果提示内容被视为不当内容）；或者响应中的 finish_reason 将为 content_filter，以表示筛选掉了部分补全内容。 生成应用程序或系统时，需要考虑到筛选完成 API 返回的内容的情况，这可能会导致内容不完整。

可以在以下几点汇总该行为：

• 被归类于过滤类别和严重性级别的提示会返回 HTTP 400 错误。
• 筛选内容时，非流式传输补全调用不会返回任何内容。 价值 finish_reason 被设置为 content_filter. 在极少数情况下，有较长的响应时，可以返回部分结果。 在这些情况下，会更新 finish_reason。
• 对于流式传输补全调用，段会在补全后返回给用户。 服务将继续流式传输，直到达到停止令牌、最大长度，或检测到已按筛选类别和严重性级别归类的内容。

方案 1：无筛选内容的非流式调用

当所有代代都按配置传递筛选器时，响应不包括内容审查详细信息。 每一代 finish_reason 是 stop 或 length。

HTTP 响应代码： 200

示例请求载荷：

{
    "prompt": "Text example", 
    "n": 3,
    "stream": false
}

示例响应：

{
    "id": "example-id",
    "object": "text_completion",
    "created": 1653666286,
    "model": "davinci",
    "choices": [
        {
            "text": "Response generated text",
            "index": 0,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

方案 2：多个响应中至少一个被过滤

当 API 调用请求多个响应（N>1）和至少一个响应进行筛选时，筛选的代系的值 finish_reason 为 content_filter：

HTTP 响应代码： 200

示例请求有效负载：

{
    "prompt": "Text example",
    "n": 3,
    "stream": false
}

示例响应：

{
    "id": "example",
    "object": "text_completion",
    "created": 1653666831,
    "model": "ada",
    "choices": [
        {
            "text": "returned text 1",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null
        },
        {
            "text": "returned text 2",
            "index": 1,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

场景 3：输入提示不合适

当提示触发配置的内容筛选器时，API 调用将失败。 修改提示并重试。

HTTP 响应代码： 400

示例请求有效负载：

{
    "prompt": "Content that triggered the filtering model"
}

示例响应：

{
    "error": {
        "message": "The response was filtered",
        "type": null,
        "param": "prompt",
        "code": "content_filter",
        "status": 400
    }
}

方案 4：没有筛选内容的流媒体呼叫

在这种情况下，调用会返回完整的世代，对于每个生成的响应，finish_reason 要么是 length，要么是 stop。

HTTP 响应代码： 200

示例请求载荷：

{
    "prompt": "Text example",
    "n": 3,
    "stream": true
}

示例响应：

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670914,
    "model": "ada",
    "choices": [
        {
            "text": "last part of generation",
            "index": 2,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

方案 5：流式电话，包含过滤内容

对于给定的生成索引，生成的最后一个区块包括一个非空的finish_reason值。 当进行筛选生成时，该值为 content_filter。

HTTP 响应代码： 200

请求负载示例：

{
    "prompt": "Text example",
    "n": 3,
    "stream": true
}

示例响应：

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670515,
    "model": "ada",
    "choices": [
        {
            "text": "Last part of generated text streamed back",
            "index": 2,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

方案 6：内容筛选系统不可用

如果内容筛选系统关闭或无法及时完成操作，则请求仍会完成，而无需内容筛选。 可以通过在对象中 content_filter_results 查找错误消息来确定未应用筛选。

HTTP 响应代码： 200

请求示例数据包：

{
    "prompt": "Text example",
    "n": 1,
    "stream": false
}

示例响应：

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1652294703,
    "model": "ada",
    "choices": [
        {
            "text": "generated text",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null,
            "content_filter_results": {
                "error": {
                    "code": "content_filter_error",
                    "message": "The contents are not filtered"
                }
            }
        }
    ]
}

最佳做法

作为应用程序设计的一部分，请考虑以下最佳做法来提供应用程序的积极体验，同时最大程度地降低潜在危害：

• 适当处理筛选的内容：决定如何处理用户发送包含按筛选类别和严重性级别分类的内容或滥用应用程序的提示的情况。
• 检查 finish_reason：始终检查 finish_reason，看看是否已筛选补全。
• 验证内容筛选器执行：检查内容筛选器中 content_filter_results 是否存在错误对象（指示内容筛选器未运行）。
• 显示受保护材料的引文：如果在批注模式下使用受保护的材料代码模型，请在应用程序中显示代码时显示引文 URL。

相关内容

• 了解 Azure AI 内容安全。
• 详细了解如何识别和减轻与应用程序相关的风险：Azure OpenAI 模型的负责任的 AI 实践概述。
• 详细了解如何使用内容筛选和滥用监控处理数据：Azure OpenAI 的数据、隐私和安全性。