Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
El despliegue exprés reduce el tiempo de despliegue para los endpoints de serving de modelos personalizados. Para modelos elegibles en CPU o GPU que sirven computación, Azure Databricks prepara y reutiliza automáticamente entornos de modelo compatibles cuando creas o actualizas un endpoint. No se requiere ningún parámetro de registro adicional ni ninguna selección del modo de implementación.
Requirements
Despliegue exprés soporta modelos personalizados en endpoints de CPU y GPU.
El modelo debe registrarse con MLflow desde cómputo de Azure Databricks, ya sea cómputo clásico que ejecute Databricks Runtime o cómputo sin servidor.
Azure Databricks también comprueba si el tiempo de ejecución grabado del modelo, la versión de Python y las dependencias son compatibles con el computo de servicio seleccionado. Consulte Configuraciones que pueden afectar al tiempo de implementación.
Implementar un modelo
Registre y dé de alta su modelo, luego cree o actualice un endpoint para el servicio con cómputo de CPU o GPU. No necesitas preparar el entorno por separado para los modelos elegibles.
Incluye las dependencias que tu modelo necesita al registrarlo con MLflow. El despliegue exprés utiliza el tiempo de ejecución registrado y las dependencias del modelo, en lugar de una copia de la sesión de tu bloc de notas en ejecución. Consulte Contenedor de despliegue y dependencias.
Qué esperar durante el despliegue
El primer despliegue de un modelo puede llevar tiempo adicional mientras Azure Databricks prepara su entorno. Los despliegues posteriores pueden reutilizar un entorno preparado compatible. El tiempo de despliegue también depende del tamaño del modelo, la carga del modelo y la disponibilidad de cálculo.
Configuraciones que pueden afectar el tiempo de despliegue
Cuando no se puede aplicar el Despliegue Exprés, Azure Databricks utiliza un proceso de despliegue que puede tardar más. Las configuraciones que pueden impedir el despliegue exprés incluyen:
| Configuration | Casos que pueden impedir el despliegue exprés |
|---|---|
| Runtime y Python | Faltan metadatos de runtime o versión de Python, o una versión de runtime o Python que no sea compatible con la CPU o GPU seleccionada que sirve el cómputo. |
| Entorno del modelo | Un entorno exclusivo de Conda o una dependencia de PySpark. |
| Requisitos de dependencia | Entradas no compatibles en los requisitos de pip del modelo, como instalaciones editables, dependencias de Git o URL, redefiniciones del índice de paquetes o paquetes wheel incluidos sin un hash de contenido. |
| Dependencias de GPU | Requisitos específicos de GPU no soportados, como versiones de paquetes etiquetadas con CUDA. Para los modelos registrados en computación serverless y servidos en GPU, los requisitos declarados torch, torchvision, y torchaudio deben ser pines de versión exactos que coincidan con el entorno de servicio de la GPU. |
| Tamaño del modelo | Faltan los metadatos del tamaño del modelo o los artefactos del modelo superan los límites de tamaño del despliegue exprés. |
| Tamaño del archivo de entorno | Archivos de entorno o requisitos de Python que superan el límite de tamaño de archivo admitido. |
| Configuración del área de trabajo | Una clave gestionada por el cliente para servicios gestionados. |
No necesitas seleccionar un modo de despliegue diferente.
Ejemplo de GPU con preparación explícita del entorno
La preparación explícita del entorno sigue env_pack siendo compatible con flujos de trabajo que necesitan empaquetar el entorno del bloc de notas durante el registro del modelo. El siguiente notebook utiliza este flujo de trabajo para implementar un reranker de GPU. Los modelos elegibles de CPU y GPU pueden usar despliegue exprés sin este parámetro.
Ejecuta el cuaderno en AI Runtime con una GPU A10 y el entorno de IA, versión 5. El cuaderno instala las versiones requeridas de MLflow y Databricks SDK y registra el modelo con env_pack=EnvPackConfig(name="databricks_model_serving").
EnvPackConfig instala las dependencias del modelo antes de empaquetar por defecto. Para espacios de trabajo sin acceso a internet o con bibliotecas personalizadas, puedes establecer install_dependencies=False cuándo las dependencias requeridas ya están disponibles en el entorno de bloc de notas.