Windows ML 适用于 ONNX 格式模型,因为 Windows ML 是 ONNX 运行时和特定于硬件的执行提供程序的 Windows 支持的分发版。 这意味着可以使用来自各种源的数百万个现有预先训练模型,或训练自己的模型。 本指南介绍查找、转换或训练 ONNX 模型的位置。
若要了解有关 Windows ML 的详细信息,请参阅 什么是 Windows ML。
| 选项 | 详细信息 |
|---|---|
| 1. 使用 Foundry 工具包中的模型 | 从20多个 OSS 模型(包括 LLM 和其他类型的模型)中进行选择,这些模型可以使用 Windows ML 的Foundry Toolkit 的转换工具进行优化。 |
| 2.使用其他现有的 ONNX 模型 | 浏览来自 Hugging Face 或其他来源的超过 30,000 个预先训练的 ONNX 模型 |
| 3.将现有模型转换为 ONNX 格式 | 浏览超过 2,400,000 个来自 Hugging Face 或其他来源的 预训练的 PyTorch/TensorFlow 等模型,并将其转换为 ONNX |
| 4. 微调现有模型 | 微调 2,400,000 多个来自 Hugging Face 或其他来源的预训练 PyTorch、TensorFlow 等模型,以更好地适用于您的场景,并将其转换为 ONNX 格式。 |
| 5. 训练模型 | 在 PyTorch、TensorFlow 或其他框架中训练自己的模型,并将其转换为 ONNX |
还可以从 Windows Microsoft Foundry 中的数十个现成的 AI 模型和 API 中进行选择,这些模型和 API 通过 Windows ML 运行。 有关详细信息,请参阅 在 Windows 上使用 Microsoft Foundry 的本地 AI。
选项 1:使用 Foundry 工具包中的模型
借助 Foundry Toolkit 的转换工具,有数十种 LLM 和其他类型的模型已准备好进行优化,以供 Windows ML 使用。 通过 Foundry Toolkit 获取模型后,你将获得已转换的 ONNX 模型,该模型针对Windows ML 运行的各种硬件进行了优化。
若要浏览可用模型,请参阅 Foundry Toolkit 的模型列表。
选项 2:使用其他现有的 ONNX 模型
Hugging Face 托管数千个可用于 Windows ML 的 ONNX 模型。 可以通过以下方式查找 ONNX 模型:
- 浏览 Hugging Face 模型中心
- 按库筛选器中的“ONNX”进行筛选
需要找到与正在使用的 WINDOWS ML 版本中包含的 ONNX 运行时版本兼容的模型。 请参阅 Windows ML 中提供的 ONNX 运行时版本,了解用于 Windows ML 的 ONNX 运行时版本。
选项 3:将现有模型转换为 ONNX 格式
PyTorch、TensorFlow 或其他框架中的模型可以转换为 ONNX 格式,并与 Windows ML 一起使用。
Hugging Face托管了数百万个可以通过 Windows ML 转换和使用的模型。
需要转换模型,以使用正在使用的 WINDOWS ML 版本中随附的 ONNX 运行时版本运行。 请参阅 Windows ML 中提供的 ONNX 运行时版本,了解用于 Windows ML 的 ONNX 运行时版本。
若要将模型转换为 ONNX 格式,请参阅特定于框架的文档,例如:
选项 4:微调现有模型
Hugging Face或其他来源上的许多模型可以进行微调(根据Hugging Face上的“模型卡”中的说明)。 然后,可以按照上述选项 3 中的说明将微调模型转换为 ONNX。
微调模型的一种常用方法是使用 橄榄微调命令。 请参阅 Olive 文档 ,了解有关使用 Olive 的详细信息。
选项 5:训练模型
如果需要特定任务的模型并且找不到现有模型,可以在 PyTorch、TensorFlow 或其他框架中训练自己的模型。
训练模型后,请按照上面的选项 3 中的说明将模型转换为 ONNX 格式。
后续步骤
拥有 ONNX 模型后,可以在目标设备上使用 Windows ML 运行它。
- 安装 Windows ML EP - 在 Windows ML 中下载并安装执行提供程序
- 运行 ONNX 模型 - 了解如何使用 Windows ML 运行推理
其他解决方案
作为 Windows Microsoft Foundry 的一部分,还可以从数十个现成的 AI 模型和 API 中进行选择,这些模型和 API 通过 Windows ML 运行。 有关详细信息,请参阅 在 Windows 上使用 Microsoft Foundry 的本地 AI。