Enviar imágenes con la CLI de Databricks

La CLI de Databricks ofrece el comando auxiliar databricks air images push para combinar la autenticación de Docker, el etiquetado de imágenes y la subida a Artifact Registry. Detecta automáticamente la región del registro. Puedes utilizar este comando auxiliar en lugar de seguir los pasos manuales descritos en la guía de Artifact Registry. El comando auxiliar no compila imágenes ni envía cargas de trabajo.

Requisitos previos

Configurar la autenticación del espacio de trabajo

Crea o actualiza un perfil OAuth de espacio de trabajo para el espacio donde quieres almacenar la imagen:

databricks auth login --profile my-databricks-profile

El asistente de credenciales Docker requiere este perfil OAuth de espacio de trabajo. Para los métodos de autenticación compatibles, véase Configurar autenticación Docker.

Subir una imagen local

Por ejemplo, empujar una imagen local llamada my-training-image:v1 a main.ml.training:v1:

databricks air images push \
  --profile my-databricks-profile \
  --source my-training-image:v1 \
  --catalog main \
  --schema ml \
  --artifact training:v1

El comando imprime el nombre de la imagen del Catálogo de Unity para usarlo como environment.unity_catalog_image en tu carga de trabajo YAML. Para este ejemplo, usa main.ml.training:v1, como se muestra en Usar una imagen Docker en una carga de trabajo.

El ayudante reutiliza una imagen fuente local cuando existe una. De lo contrario, se descargará la imagen de origen para linux/amd64. Añada --pull para actualizar una imagen de origen desde su registro, incluso si está disponible localmente. Las imágenes deben usar linux/amd64. Recompile una imagen local incompatible para esa plataforma antes de subirla. Si la imagen de origen se encuentra en un registro privado, autentique Docker en dicho registro antes de ejecutar el comando auxiliar.

Para introducir los detalles de la imagen de forma interactiva, ejecuta databricks air images push --profile my-databricks-profile sin las banderas de imagen. Ejecuta databricks air images push --help para ver todas las opciones.

Subir una imagen desde otro registro

También puede utilizar la herramienta de la CLI para copiar una imagen existente desde otro registro de contenedores a Artifact Registry.

El siguiente ejemplo utiliza un repositorio privado de Amazon Elastic Container Registry (ECR) como origen. Para este ejemplo, instale y configure la CLI de AWS con credenciales que puedan autenticarse en ECR y descargar la imagen de origen. Estas credenciales de AWS son independientes de su perfil de Databricks.

En primer lugar, autentica Docker en el registro ECR de origen. Sustituye el ID de cuenta de AWS, la región, el repositorio y la etiqueta de imagen del ejemplo por tus propios valores. La región de AWS debe coincidir con el registro de ECR de origen, no con el espacio de trabajo de Databricks de destino. Consulta Autenticación en registros privados en la documentación de AWS.

aws ecr get-login-password --region us-west-2 | \
  docker login --username AWS --password-stdin \
  123456789012.dkr.ecr.us-west-2.amazonaws.com

A continuación, pasa la URI completa de la imagen de ECR como --source:

databricks air images push \
  --profile my-databricks-profile \
  --source 123456789012.dkr.ecr.us-west-2.amazonaws.com/my-training-image:v1 \
  --catalog main \
  --schema ml \
  --artifact training:ecr-v1 \
  --pull

La opción --pull obtiene la imagen linux/amd64 de ECR aunque ya esté almacenada en caché localmente. La herramienta auxiliar utiliza tu instalación local de Docker para descargar, etiquetar y subir la imagen. La imagen de origen en ECR no ha sufrido cambios. Una vez que la publicación se haya realizado correctamente, establece environment.unity_catalog_image en main.ml.training:ecr-v1 en el archivo YAML de tu carga de trabajo.

  • Se actualizó por última vez el