你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。
Azure 机器学习允许实现 批处理终结点和部署，以使用机器学习模型和流水线进行长时间运行的异步推理。 训练机器学习模型或管道时，需要部署它，以便其他人可以将其与新的输入数据一起使用来生成预测。 使用模型或管道生成预测的过程称为 推理。
Batch 终结点接收指向数据的指针，并异步运行作业，以并行处理计算群集上的数据。 批处理终结点将输出存储到数据存储，以便进一步分析。 在以下情况下使用批处理终结点：
- 你具有需要较长时间才能运行的高开销模型或管道。
- 你想要操作机器学习管道并重复使用组件。
- 你需要对大量数据执行推理，这些数据分布在多个文件中。
- 没有低延迟要求。
- 模型的输入存储在存储帐户或Azure 机器学习数据资产中。
- 可以利用并行化。
批量部署
部署是实现终结点提供的功能所需的一组资源和计算。 终结点可以托管多个部署，每个部署都有自己的配置，将终结点接口与部署实现详细信息分离。 调用批处理终结点时，它会自动将客户端路由到其默认部署。 可以随时配置和更改此默认部署。
Azure 机器学习批处理终结点中可以实现两种类型的部署：
模型部署
模型部署可实现大规模模型推理的操作化，使你能够以低延迟和异步方式处理大量数据。 Azure 机器学习通过跨计算群集中的多个节点提供推理进程的并行化，自动检测可伸缩性。
在以下情况下使用 模型部署 ：
- 你有昂贵的模型，需要更长的时间运行推理。
- 你需要对大量数据执行推理，这些数据分布在多个文件中。
- 没有低延迟要求。
- 可以利用并行化。
模型部署的主要优点是，可以使用部署的相同资产进行实时推理到联机终结点，但现在，可以批量运行它们。 如果模型需要简单的预处理或后期处理，则可以创作执行所需数据转换的 评分脚本 。
若要在批处理终结点中创建模型部署，需要指定以下元素：
- 模型
- 计算群集
- 评分脚本 （MLflow 模型可选）
- 环境 （MLflow 模型可选）
管道组件部署
管道组件部署使整个处理图（或管道）的操作化能够以低延迟和异步方式执行批处理推理。
在以下情况下使用 管道组件部署 ：
- 你需要操作完整的计算图，这些图形可以分解为多个步骤。
- 需要在推理管道中重复使用训练管道中的组件。
- 没有低延迟要求。
管道组件部署的主要好处是，平台中已存在的组件可重用性，以及操作复杂推理例程的功能。
若要在批处理终结点中创建管道组件部署，需要指定以下元素：
- 管道组件
- 计算群集配置
Batch 终结点还允许您 从现有的管道作业中创建管道组件部署。 执行此操作时，Azure 机器学习会自动从作业中创建管道组件。 这简化了这些类型的部署的使用。 但是，最佳做法是始终 显式创建管道组件，以优化您的 MLOps 实践过程。
成本管理
调用批处理终结点会触发异步批处理推理作业。 Azure 机器学习作业启动时自动预配计算资源，并在作业完成时自动解除分配。 只有在使用计算资源时才需付费。
提示
部署模型时，可以覆盖每个单个批处理推理作业的 计算资源设置 （例如实例计数）和高级设置（例如小型批大小、错误阈值等）。 利用这些特定配置，可以加快执行速度并降低成本。
Batch 终结点还可以在低优先级 VM 上运行。 批处理终结点可以从已解除分配的 VM 自动恢复，并在部署模型进行推理时从中断的位置继续工作。 有关如何使用低优先级 VM 来降低批量推理工作负荷的成本的详细信息，请参阅 在批处理终结点中使用低优先级 VM。
最后，Azure 机器学习不对批处理终结点或批处理部署本身收费，因此，可以根据需要组织终结点和部署。 端点和部署可以使用独立群集或共享群集，因此可以对作业消耗的计算资源进行精细控制。 在群集中使用 从小到零 ，以确保在资源处于空闲状态时不会消耗任何资源。
简化 MLOps 实践
Batch 终结点可以在同一终结点下处理多个部署，从而可以更改终结点的实现，而无需更改使用者用来调用它的 URL。
无需影响终结点本身，即可添加、删除和更新部署。
灵活的数据源和存储
Batch 终结点直接从存储中读取和写入数据。 可以将Azure 机器学习数据存储、Azure 机器学习数据资产或存储帐户指定为输入。 有关支持的输入选项以及如何指定它们的详细信息，请参阅 创建作业和向批处理终结点输入数据。
安全性
Batch 终结点提供在企业环境中运行生产级工作负荷所需的所有功能。 它们支持私人网络连接和安全工作区中的Microsoft Entra 身份验证，可以使用用户主体（如用户帐户）或服务主体（如托管或非托管标识）进行身份验证。 由批处理终结点生成的作业在调用方标识下运行，这使你可以灵活地实现任何方案。 有关使用批处理终结点时授权的详细信息，请参阅 如何在批处理终结点上进行身份验证。