Entrenamiento distribuido con varias GPU

Importante

El @distributed decorador usado en los ejemplos de cuadernos está en Beta.

Estos ejemplos permiten escalar el entrenamiento de modelos en múltiples GPUs en AI Runtime. Los ejemplos de cuadernos utilizan la API de Python serverless_gpu en el proceso de GPU asociado. Los ejemplos de la CLI de Databricks proporcionan configuraciones de carga de trabajo y código fuente para entrenamiento de un solo nodo y multiGPU.

Nota:

El entrenamiento distribuido multi-GPU basado en notebooks es compatible con GPUs H100.

Elección de la técnica de paralelismo

Elige una técnica de paralelismo basada en el tamaño de tu modelo, la memoria disponible de la GPU y los requisitos de rendimiento. La siguiente tabla compara las opciones.

Técnica Cuándo se deben usar
DDP (datos distribuidos paralelos) El modelo completo se ajusta a una sola memoria de GPU; necesidad de escalar el rendimiento de los datos
FSDP (datos totalmente particionados paralelos) Modelos muy grandes que no caben en una sola memoria de GPU
DeepSpeed ZeRO Modelos grandes con necesidades avanzadas de optimización de memoria

Para obtener información detallada sobre cada técnica, consulte DDP, FSDP y DeepSpeed.

Para consejos y patrones que hagan tu pipeline de entrenamiento más eficiente y resiliente, consulta la guía de rendimiento y resiliencia.

Ejemplos de notebooks por técnica y framework

La siguiente tabla organiza ejemplos de cuadernos según el marco o biblioteca y la técnica de paralelismo aplicada. Pueden aparecer varios cuadernos de notas en una sola celda.

Marco de trabajo/Biblioteca Ejemplos de DDP Ejemplos de FSDP Ejemplos de DeepSpeed
PyTorch (nativo) Red neuronal de MLP simple
Detección de imágenes de RetinaNet
Transformador de parámetros 10M —
Huggingface TRL Ajuste de gpt OSS 20B Ajuste de gpt OSS 120B Ajuste de Llama 3.2 1B
Unsloth Ajuste de Llama 3.2 3B — —
Axolotl Ajuste de Olmo3 7B — —
Relámpago Sistema de recomendación de dos torres — —

Ejemplos de la CLI

Los siguientes ejemplos enlazan a recetas ejecutables en el AI Runtime Cookbook.

Example Technique Descripción
Ajuste fino Qwen2.5-3B con Ray Train DDP Afinar Qwen2.5-3B con un trabajador de Ray Train por GPU en un nodo H100 8x.
Ajuste fino Qwen3-8B para extracción de facturas DeepSpeed ZeRO-3 Ajusta Qwen3-8B para la extracción de entidades de facturas y recibos con TRL en un nodo H100 8x.
Ajuste fino de ModernBERT con DDP DDP Ajusta ModernBERT para la clasificación de temas con PyTorch DDP en un nodo H100 8x.
Ajuste fino de LoRA del Nemotron 3.5 Lightning FSDP2 y paralelismo experto Ajusta Nemotron 3.5 Lightning con NeMo AutoModel en ocho GPUs H100.
Ajuste fino de LoRA de Nemotron 3.5 Super VL FSDP2 y paralelismo experto Ajusta finamente el modelo de visión y lenguaje Nemotron 3.5 Super VL con NeMo AutoModel en ocho GPUs H100.

Comenzar a trabajar en un cuaderno

Use los siguientes tutoriales para empezar a trabajar con la biblioteca python de GPU sin servidor para el entrenamiento distribuido:

Tutorial Descripción
Entorno de ejecución de IA con GPU H100 Aprenda a usar Databricks AI Runtime con aceleradores H100 para ejecutar cargas de trabajo distribuidas de GPU mediante la biblioteca de Python de serverless_gpu.