Runtime di Ray su AI

Importante

Questa funzionalità è in Anteprima Pubblica.

Annotazioni

Questa pagina tratta Ray su AI Runtime. Se utilizzi Ray su Databricks Classic Compute con Databricks Runtime ML, consulta Ray su Databricks.

Ray è un framework open source per la scalabilità di carichi di lavoro Python. Puoi creare cluster Ray ed eseguire applicazioni Ray su AI Runtime, usando calcolo GPU serverless che gestisce automaticamente il provisioning dell'infrastruttura.

Usa Ray nei quaderni

Quando il notebook è connesso alla risorsa di calcolo GPU di AI Runtime, usa ray_init() del pacchetto serverless_gpu per avviare Ray sulla risorsa di calcolo collegata:

from serverless_gpu import ray_init

ray_init()

ray_init() configura la dashboard Ray per l'accesso tramite il proxy del driver Databricks e visualizza l'URL della dashboard nell'output del notebook. Usa la dashboard per ispezionare i lavori, le attività e l'uso delle risorse Ray mentre il tuo codice viene eseguito.

Annotazioni

ray_init() richiede la versione 5 o successiva dell'ambiente. Databricks AI v6 include Ray. Se usi Standard v6, installa Ray prima di chiamare ray_init().

Esempi di notebook

Example Descrzione
Ray Core hello world Invia compiti asincroni della GPU su un calcolo collegato, ispeziona la pianificazione nella dashboard Ray e recupera i risultati.
Inferenza in batch con Qwen2.5-32B, Ray Data e vLLM Esegui inferenza batch multilingue con otto repliche persistenti di vLLM su 8 GPU H100 e salva i risultati in formato Parquet in Unity Catalog.

Usa Ray con la CLI AI Runtime

La CLI AI Runtime supporta Ray in configurazioni a singolo nodo e multi-nodo. Includi uno script di bootstrap nel command del carico di lavoro, che avvia il cluster Ray e coordina i nodi head e worker all'avvio del carico di lavoro. Gli esempi di Ray hello world seguono questo schema.

AI Runtime supporta le librerie core di Ray, inclusi Ray Core, Ray Data, Ray Train e Ray Tune. Con l'ambiente Standard, aggiungi ray o il componente aggiuntivo appropriato (ray[data], ray[train] o ray[tune]) alle dipendenze del carico di lavoro. L'ambiente di Databricks AI include Ray.

Esempi dell'interfaccia della riga di comando

Example Descrzione
Esempi di Ray Hello World Esempi minimi per nodo singolo e multinodo per Ray Core, Ray Train, Ray Data e Ray Tune, compreso il modello di avvio del cluster.
Training distribuito con Ray Train Affina un grande modello linguistico su più nodi usando Ray Train e PyTorch.
Inferenza batch con Ray Data e vLLM Esegui inferenza batch su larga scala utilizzando Ray Data per il caricamento distribuito dei dati e vLLM per una funzione efficiente del modello.
Ricerca iperparametrica con Ray Tune Cerca gli iperparametri per il fine-tuning LoRA di Qwen2.5 con Ray Tune, eseguendo un trial per GPU e interrompendo anticipatamente i trial con prestazioni inferiori con lo scheduler ASHA.
  • Last updated on