Microsoft Foundry 门户中的模型排行榜（预览版）

Foundry 门户中的模型排行榜（预览版）可帮助你使用行业标准模型基准比较 Foundry 模型目录中的模型。

若要开始，请使用 Foundry 门户中 的模型排行榜比较和选择模型 。

可以查看每个排行榜类别的详细基准测试方法：

• 语言模型的质量基准测试，以了解模型在核心任务上的表现如何，包括推理、知识、问答、数学和编码。
• 语言模型的安全基准测试，以了解模型对有害行为生成的安全性。
• 语言模型的性能基准测试，以了解模型在延迟和吞吐量方面的表现。
• 语言模型的成本基准测试，以了解使用模型的估计成本。
• 语言模型的方案排行榜基准测试 ，可帮助你找到最适合特定用例或方案的最佳模型。
• 嵌入模型的质量基准测试，以了解模型在基于嵌入的任务（包括搜索和检索）上的表现。

找到合适的模型时，可以在模型目录中打开其 详细基准测试结果 。 在此处，可以部署模型，在操场中试用模型，或根据自己的数据对其进行评估。 排行榜支持文本语言模型的基准测试（包括大型语言模型（LLM）和小型语言模型（SLM）和嵌入模型。

基准测试对 LLM 和 SLM 的质量、安全性、成本和吞吐量进行衡量。 使用标准质量基准评估嵌入模型。 排行榜在新的模型和基准数据集可用时更新。

模型基准测试范围

模型排行榜从 Foundry 模型目录中精选了基于文本的语言模型。 模型的纳入基于以下标准：

• Azure直接模型的优先级：Azure直接模型被选中，因为它们与常见的生成AI场景相关。
• 核心基准适用性：模型必须支持一般用途的语言任务，例如推理、知识、问答、数学推理和编码。 不支持专用模型（例如蛋白质折叠或特定于域的质量保证）和其他模态。

此范围可确保排行榜反映与核心 AI 方案相关的当前高质量模型。

解释排行榜结果

排行榜可帮助你跨多个维度比较模型，以便为用例选择正确的模型。 下面是解释结果的一些准则：

• 质量索引：更高质量的索引指示推理、编码、数学和知识任务的总体性能更高。 比较模型的质量指标，以识别在通用语言任务中表现最佳的模型。
• 安全分数：较低的攻击成功率表示更可靠的模型。 考虑安全分数以及质量分数，尤其是对于面向客户的应用程序而言，有害的输出是一个重要问题。
• 性能权衡：使用延迟和吞吐量指标来了解模型的实际响应能力。 具有高质量但高延迟的模型可能不适合实时应用程序。
• 成本注意事项：估计成本指标使用三对一的输入和输出令牌比率。 根据实际工作负荷的输入和输出比率调整预期。
• 方案排行榜：如果你的用例映射到特定方案（例如编码或数学），请从方案排行榜开始，查找针对该任务优化的模型，而不是只依赖于整体质量索引。

语言模型的质量基准

Foundry 使用标准基准数据集的准确性分数评估 LLM 和 SLM 的质量，这些数据集测量推理、知识、问答、数学和编码功能。

质量索引值的范围从零到 1，其中更高的值表示更好的性能。 质量索引中包含的数据集包括：

查看准确性分数的更多详细信息：

准确性分数的范围从零到 1，其中更高的值更好。

语言模型的安全基准

安全基准是通过结构化筛选和验证过程选择的，旨在确保相关性和严格性。 满足入驻条件的基准是那些能够解决高优先级风险的基准。 安全排行榜包括足够可靠的基准，足以在与安全相关的主题上提供有意义的信号。 排行榜使用 HarmBench 用于评估模型安全性，并按场景组织排行榜：

有害行为检测

HarmBench 基准使用旨在引发不安全响应的提示来衡量有害行为。 它涵盖七个语义类别：

• 网络犯罪和未经授权的入侵
• 化学和生物武器或药物
• 侵犯版权
• 错误信息与反信息
• 骚扰和欺凌
• 非法活动
• 一般伤害

这些类别分为三个功能区域：

• 标准有害行为
• 特定语境中的有害行为
• 侵犯版权

每个功能类别都出现在单独的方案排行榜中。 评估使用来自 HarmBench（无攻击）和 HarmBench 评估器的直接提示来计算攻击成功率（ASR）。 较低的 ASR 值意味着更安全的模型。 评估过程中没有使用攻击策略，并且在进行模型基准测试时，Foundry Guardrails（即以前的内容筛选器）已关闭。

有毒内容检测

Toxigen 是一个大规模数据集，用于检测对抗和隐式仇恨言论。 它包括隐式有毒和良性的句子，引用了13个少数民族。 Foundry 使用带注释的 Toxigen 样本，并计算 F1 得分以评估分类性能。 更高的分数表示更好的有毒内容检测。 基准测试在 Foundry 护栏（以前的内容筛选器）关闭的情况下执行。

敏感领域知识

大规模杀伤性代理（WMDP）基准衡量敏感领域的模型知识，包括生物安全、网络安全和化学安全。 排行榜使用网络安全、生物安全和化学安全的平均准确度分数。 更高的 WMDP 准确度分数表示对危险能力（安全角度更差的行为）的了解。 模型基准测试是使用默认 Foundry Guardrails（以前的内容筛选器）执行的。 这些防护措施可检测和阻止暴力、自我伤害、性、仇恨和不公平性的内容伤害，但不针对网络安全、生物安全和化学安全类别。

安全基准的限制

安全是一个具有多个维度的复杂主题。 任何开源基准都不能测试或表示所有方案中系统的完整安全性。 此外，许多基准测试在基准设计和风险定义之间存在饱和度或不对齐。 一些基准还缺乏关于目标风险概念化和操作化方式的明确文档，因此很难评估结果是否准确捕获真实风险的细微差别。 这些限制可能导致在实际安全方案中过度估计或低估模型性能。

语言模型的性能基准

性能指标在14天内聚合，每天进行24次测试，每次测试发送两次请求，间隔为一小时。 除非另有说明，否则以下默认参数适用于无服务器 API 部署和 Azure OpenAI：

在以下指标中评估 LLM 和 SLM 的性能：

Foundry 使用以下方法总结性能：

对于延迟或吞吐量等性能指标，第一个令牌的时间和每秒生成的令牌可以更好地了解模型的典型性能和行为。 定期刷新性能数字，以反映最新的部署配置。

语言模型的成本基准

成本基准测量 在质量基准数据集上执行每个模型的实际成本，而不是基于令牌定价估算的成本。

基准成本是使用以下方法计算的：

• 基准执行期间使用的实际输入、推理和输出令牌数。
• 用于评估的特定于模型的推理任务配置（通常是 high 或 xhigh）。
• 数据集特征和复杂性，影响令牌使用情况和运行时。

与基于固定令牌比率的估计不同，此方法反映了运行基准工作负荷的真正端到端成本。

如何解释成本结果

• 在标准质量数据集上，每次基准测试运行的成本以美元计算。
• 值表示真实的执行成本，并使能够进行模型间的直观比较。
• 较低的值表示基准套件的性能更具成本效益。

场景排名基准测试

方案排行榜按常见的实际评估目标对基准数据集进行分组。 可以通过用例快速识别模型的优缺点。 每个方案聚合一个或多个公共基准数据集。

使用下表在 “方案” 列中查找用例，然后查看关联的基准数据集以及结果指示的内容。 下表汇总了可用的方案排行榜及其关联的数据集和说明：

嵌入模型的质量基准

嵌入模型的质量索引定义为面向信息检索、文档聚类分析和摘要任务的综合无服务器 API 基准数据集的平均准确度分数。

分数计算

个人分数

基准结果源自通常用于语言模型评估的公共数据集。 在大多数情况下，数据托管在GitHub存储库中，由数据的创建者或策展人维护。 Foundry评估流程从其原始来源下载数据，从每个示例行提取提示信息，生成模型响应，然后计算相关准确性指标。

提示构建遵循每个数据集的最佳做法，如引入数据集的论文和行业标准所指定。 在大多数情况下，每个提示包含多个样本，即多个完整问题和答案示例，以为模型启动任务。 拍摄次数因数据集而异，并遵循每个数据集的原始出版物中指定的方法。 评估管道通过从评估中提取的一部分数据中采样问题和答案来创建样例。

基准限制

所有基准都具有在解释结果时应考虑的固有限制：

• 质量基准：基准数据集在训练或优化类似数据时可能会随时间而饱和。 评估结果也可能会因提示词的构建方式以及所使用的少样本示例数量而有所不同。
• 性能基准：使用固定的输入到输出标记比率和单区域部署的合成负载来收集度量标准。 实际性能可能因工作负荷模式、并发、区域和部署配置而异。
• 成本基准：成本估算基于测量时的三对一输入到输出令牌比率和当前定价。 实际成本取决于工作负荷，并受定价更改的影响。

相关内容

• 使用 Foundry 门户中的模型排行榜比较和选择模型
• 评估生成式 AI 应用程序