Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Genie Code ti aiuta a sviluppare, migrare e risolvere i problemi dei carichi di lavoro di deep learning in notebook collegati a AI Runtime. Può generare codice di addestramento distribuito, risolvere problemi di ambiente e dipendenze, analizzare gli errori dei carichi di lavoro GPU e migrare notebook dell'API di fine-tuning dei Foundation Model e notebook classici Databricks Runtime ML GPU.
Requirements
Per usare Genie Code con AI Runtime:
- Soddisfa i requisiti per le capacità agentiche del Codice Genio.
- Avere accesso a AI Runtime in una regione che supporta entrambi i prodotti. Vedi i requisiti di esecuzione AI e la disponibilità geografica del codice Genie.
- Collega un notebook ad AI Runtime utilizzando capacità di elaborazione GPU serverless. Vedi la guida introduttiva di AI Runtime Notebook.
Get started
Apri un notebook di Azure Databricks.
Collega il notebook all'AI Runtime. Vedi l'avvio rapido del notebook AI Runtime.
Apri il pannello del Codice Genio.
Descrivi il carico di lavoro che vuoi sviluppare o il problema che vuoi risolvere.
Rivedi il piano proposto, le modifiche al codice e le azioni prima di approvarli.
Importante
Il Codice Genio può commettere errori. Rivedi il codice generato, i cambiamenti ambientali e le altre azioni proposte prima di eseguirli. Alcune diagnosi richiedono log aggiuntivi o contesto del carico di lavoro.
Che cosa può aiutare Genie Code?
Sviluppare carichi di lavoro di addestramento distribuiti
Genie Code può generare o aggiornare codice di addestramento per AI Runtime. Può aiutarti a selezionare una strategia distribuita PyTorch appropriata, utilizzare l'API @distributeddel Databricks AI Runtime SDK (databricks.air), e applicare pattern di runtime AI per il caricamento dati, checkpoint e tracciamento MLflow. Per dettagli e esempi sull'API, vedi Addestramento distribuito nei notebook.
Risolvere problemi di ambiente e dipendenze
Genie Code può ispezionare l'ambiente attuale, distinguere i fallimenti di compatibilità del pacchetto dalle modifiche al codice o all'API e raccomandare correzioni mirate. Può anche aiutarti a scegliere tra l'AI Databricks e gli ambienti Standard in base alle dipendenze del carico di lavoro. Per informazioni sugli ambienti disponibili, vedi Configura il tuo ambiente.
Debug GPU e carichi di lavoro distribuiti
Genie Code può utilizzare l'output del notebook e i log disponibili per indagare fallimenti di addestramento distribuito, errori di comunicazione, blocchi di addestramento e problemi di memoria GPU. Può aiutare a identificare il guasto originale e distinguerlo dagli errori a valle di altri gradi. Per informazioni sulla visualizzazione dei log di addestramento distribuiti, vedi Tracciamento e osservabilità degli esperimenti.
Migra i carichi di lavoro a AI Runtime
Genie Code può migrare i seguenti carichi di lavoro GPU per farli girare in un notebook AI Runtime su un acceleratore a nodo singolo supportato:
- Notebook API deprecati per il fine-tuning dei Foundation Model: Sostituire le chiamate API gestite con caricamento esplicito del modello, addestramento, valutazione, checkpointing, tracciamento MLflow e registrazione dei modelli nel Catalogo Unity.
- Notebook classici con GPU con Databricks Runtime ML: Adattare esecuzione distribuita, caricamento dati, archiviazione, dipendenze e tracciamento MLflow per l'esecuzione AI. Consulta Migrare i carichi di lavoro GPU classici al serverless.
Esempi di suggerimenti
Sviluppare carichi di lavoro di addestramento distribuiti
- "Aggiorna questo notebook per eseguire l'addestramento distribuito su tutte e otto le GPU H100 in AI Runtime."
- Rivedi questo notebook di addestramento distribuito e correggine l'uso di
@distributede MLflow. - Migra questo notebook dall'SDK serverless_gpu all'AI Runtime SDK.
- Adatta questo carico di lavoro di addestramento per AI Runtime e spiega le modifiche principali.
Risolvere problemi di ambiente e dipendenze
- "Questo quaderno ha smesso di funzionare dopo che ho installato un nuovo pacchetto. Ispezionare l'ambiente e determinare se il problema sia una questione di dipendenza o un cambiamento dell'API di codice."
- "Questo carico di lavoro dovrebbe usare l'AI Databricks o l'ambiente Standard? Rivedi le sue dipendenze e raccomanda un ambiente prima di cambiare qualcosa."
- "Diagnostica questo errore di compatibilità del pacchetto e raccomanda la modifica più piccola e appropriata."
Debug GPU e carichi di lavoro distribuiti
- "Analizza questa esecuzione di addestramento distribuito fallita utilizzando l'output disponibile di ogni grado e identifica la causa principale."
- "Perché questo carico di lavoro distribuito è sospeso? Usa l'output del notebook per raccomandare il prossimo passaggio di debug."
- "Indagate su questo guasto alla memoria GPU e raccomandate un prossimo passo basato sulle evidenze."
Migra i carichi di lavoro a AI Runtime
- "Migra questo notebook API di fine tuning Foundation Model obsoleto in AI Runtime. Preservare l'obiettivo e i parametri di addestramento, selezionare il calcolo compatibile e spiegare eventuali assunzioni o ostacoli."
- "Migra questo notebook GPU Databricks Runtime ML in AI Runtime."