Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Importante
Il @distributed decoratore usato negli esempi del notebook è in Beta.
Questi esempi scalano l'addestramento dei modelli su più GPU su AI Runtime. Gli esempi di notebook utilizzano l'API serverless_gpu Python su risorsa di calcolo GPU collegata. Gli esempi di CLI Databricks forniscono configurazioni di carico di lavoro e codice sorgente per l'addestramento a nodo singolo e multi-GPU.
Annotazioni
L'addestramento distribuito multi-GPU basato su notebook è supportato sulle GPU H100.
Scegliere la tecnica di parallelismo
Scegli una tecnica di parallelismo in base alla dimensione del modello, alla memoria GPU disponibile e ai requisiti di prestazioni. La tabella seguente confronta le opzioni.
| Tecnica | Quando utilizzare |
|---|---|
| DDP (parallelismo dei dati distribuiti) | Il modello completo si adatta a una singola memoria GPU; è necessario ridimensionare la velocità effettiva dei dati |
| FSDP (parallela dei dati completamente suddivisi) | Modelli molto grandi che non rientrano nella memoria singola GPU |
| DeepSpeed ZeRO | Modelli di grandi dimensioni con esigenze avanzate di ottimizzazione della memoria |
Per informazioni dettagliate su ogni tecnica, vedere DDP, FSDP e DeepSpeed.
Per consigli e schemi che rendano il tuo percorso di formazione più efficiente e resiliente, consulta la guida alla performance e alla resilienza.
Esempi di notebook suddivisi per tecnica e framework
La tabella seguente organizza gli esempi di quaderni in base al framework o libreria e alla tecnica di parallelismo applicata. Più notebook potrebbero apparire in una singola cella.
| Framework/Library | Esempi di DDP | Esempi di FSDP | Esempi di DeepSpeed |
|---|---|---|---|
| PyTorch (nativo) |
Rete neurale MLP semplice Rilevamento delle immagini RetinaNet |
Trasformatore di parametri 10M | - |
| Huggingface TRL | Ottimizzare Gpt OSS 20B | Ottimizzare Gpt OSS 120B | Ottimizzare Llama 3.2 1B |
| Annullamento dell'annullamento | Ottimizzare finemente Llama 3.2 3B | - | - |
| Axolotl | Perfezionare Olmo3 7B | - | - |
| Fulmine | Sistema di raccomandazione a due torre | - | - |
Esempi dell'interfaccia della riga di comando
I seguenti esempi collegano a ricette eseguibili nel Cookbook AI Runtime.
| Example | Technique | Descrizione |
|---|---|---|
| Qwen2.5-3B fine-tuning con Ray Train | DDP | Ottimizza Qwen2.5-3B con un worker Ray Train per GPU su un nodo 8x H100. |
| Qwen3-8B fine-tuning per l'estrazione dati dalle fatture | DeepSpeed ZeRO-3 | Ottimizzare Qwen3-8B per l'estrazione di entità da fatture e ricevute con TRL su un nodo 8x H100. |
| Fine-tuning ModernBERT con DDP | DDP | Ottimizzare ModernBERT per la classificazione degli argomenti con PyTorch DDP su un nodo 8x H100. |
| fine-tuning LoRA di Nemotron 3.5 Lightning | FSDP2 e parallelismo esperto | Ottimizza Nemotron 3.5 Lightning con NeMo AutoModel su otto GPU H100. |
| Messa a punto LoRA del Nemotron 3.5 Super VL | FSDP2 e parallelismo esperto | Ottimizza il modello vision-language Nemotron 3.5 Super VL con NeMo AutoModel su otto GPU H100. |
Inizia con un notebook
Utilizza le seguenti esercitazioni per cominciare a utilizzare la libreria Python GPU senza server per l'addestramento distribuito.
| Tutoriale | Descrizione |
|---|---|
| Runtime di intelligenza artificiale con GPU H100 | Informazioni su come usare Il runtime di intelligenza artificiale di Databricks con acceleratori H100 per eseguire carichi di lavoro GPU distribuiti usando la libreria Python serverless_gpu. |