Collegati a AI Runtime da un notebook

Importante

Questa funzionalità è in Anteprima Pubblica.

Collegare un notebook a AI Runtime è il modo principale per eseguire addestramento e ottimizzazione dei carichi di lavoro. Sviluppi in modo interattivo contro una GPU, poi programmi lo stesso notebook come lavoro ricorrente quando è pronto per la produzione.

Suggerimento

  • Collega un notebook a una GPU serverless per svilupparlo in modo interattivo su una GPU, senza configurazione di cluster.
  • Programma lo stesso notebook come lavoro ricorrente dall'interfaccia del notebook, dall'API dei lavori o dai Declarative Automation Bundles.
  • Per l'addestramento multi-GPU da un notebook, vedi Addestramento distribuito nei notebook.

Suggerimento

Questa pagina tratta i quaderni. Per raggiungere AI Runtime in un altro modo, vedi collegarti da un IDE tramite un tunnel SSH, inviare i lavori dal tuo laptop con la CLI AI Runtime, oppure eseguire Ray. Per rendere il codice di addestramento (non un notebook) pronto per la produzione con Declarative Automation Bundles, consulta Rendere pronti per la produzione i carichi di lavoro di addestramento.

Collegati a un taccuino

Questo è il modo principale per usare il runtime di intelligenza artificiale. Per connettere il notebook e configurare l'ambiente:

  1. Da un notebook fare clic sul menu a discesa di calcolo nella parte superiore e selezionare GPU serverless.

    Il menu a discesa della risorsa di calcolo del notebook, con Serverless GPU selezionata come risorsa di calcolo per un notebook AI Runtime.

  2. Fare clic sull'icona Ambiente per aprire il pannello laterale Ambiente .

  3. Selezionare un acceleratore nel campo Acceleratore . Per i carichi di lavoro di training distribuiti, selezionare 8xH100. Consulta le opzioni hardware per indicazioni sulla scelta di un acceleratore.

  4. Seleziona Standard v6 per l'ambiente Standard, o AI v6 per l'ambiente AI, dal campo Ambiente base .

  5. Fare clic su Applica e quindi confermare che si vuole applicare il runtime di intelligenza artificiale all'ambiente notebook.

    Il pannello laterale Ambiente che mostra i campi Acceleratore e ambiente di base per un notebook AI Runtime.

Annotazioni

La connessione al calcolo termina automaticamente dopo 60 minuti di inattività.

Suggerimento

Per le operazioni che non richiedono GPU (ad esempio, clonazione di un repository Git, conversione di formati di dati o analisi esplorativa dei dati), collegare il notebook a un cluster CPU per mantenere le risorse GPU.

Prenota un quaderno

Puoi programmare notebook che usano AI Runtime come job ricorrenti, sia dall'interfaccia del notebook che in modo programmativo. Per altri dettagli, vedere Creare e gestire processi di notebook pianificati .

Importante

L'esecuzione di un lavoro notebook programmato che utilizza un ambiente base di workspace, incluso l'ambiente Databricks AI, è in fase Beta. Un amministratore di workspace deve attivare il supporto per l'ambiente di base serverless in Jobs . Vedere Gestire le anteprime di Azure Databricks.

Per programmare dal quaderno che vuoi eseguire:

  1. Selezionare il pulsante Pianifica in alto a destra.
  2. Selezionare Aggiungi pianificazione.
  3. Popolare il modulo Nuova pianificazione con il nome dell'attività, la pianificazione e le risorse di calcolo.
  4. Fare clic su Crea.

Il modulo Nuovo Schedule mostra i campi Nome del Lavoro, Schedule e Compute per un lavoro di notebook programmato.

È anche possibile creare e pianificare lavori dall'interfaccia utente Jobs e pipeline. Per istruzioni dettagliate, vedere Creare una nuova attività .

Annotazioni

L'aggiunta di dipendenze tramite il pannello Ambienti non è supportata per i processi pianificati del runtime di intelligenza artificiale. Le dipendenze devono essere installate programmaticamente all'interno del notebook, ad esempio %pip install. Il ripristino automatico non è supportato. Se il processo non riesce a causa di pacchetti incompatibili, è necessario correggere e ripetere manualmente l'esecuzione.

Per i carichi di lavoro che possono superare la durata massima di esecuzione di 7 giorni, introdurre il checkpoint manuale per consentire la ripresa. È consigliabile usare volumi del catalogo Unity tramite UCVolumeWriter e UCVolumeReader da serverless_gpu.data. Vedere Checkpoint del modello.

Pianifica con l'API dei processi e i bundle di automazione dichiarativa

Puoi creare e gestire a livello di codice job di notebook di AI Runtime tramite l'API Databricks Jobs o Declarative Automation Bundles. Configurare il tipo di calcolo come GPU serverless nella definizione del processo o del bundle per automatizzare le pipeline di distribuzione.

Per eseguire il proprio comando di addestramento su una directory di codice invece che su un notebook, e per costruire job multi-task e pipeline programmate, vedi Productionize Training Workloads.

Il seguente esempio mostra una configurazione di Declarative Automation Bundles per un lavoro programmato di un notebook AI Runtime utilizzando l'ambiente Standard:

resources:
  jobs:
    sample_job:
      name: sample_job_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      parameters:
        - name: catalog
          default: ${var.catalog}
        - name: schema
          default: ${var.schema}

      environments:
        - environment_key: default
          spec:
            environment_version: '6'

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/your_email/your_notebook
          environment_key: default
          compute:
            hardware_accelerator: GPU_8xH100

Per utilizzare l'ambiente AI di Databricks invece dell'ambiente Standard, imposta base_environment sull'identificatore dell'ambiente AI (ad esempio, databricks_ai_v6 per AI v6) nell'ambiente spec e fai riferimento a esso da environment_key dell'attività:

Importante

La selezione di un ambiente AI di Databricks come ambiente di base dell’area di lavoro in un processo è in versione Beta. Un amministratore di workspace deve attivare il supporto per l'ambiente di base serverless in Jobs . Vedere Gestire le anteprime di Azure Databricks.

resources:
  jobs:
    sample_job:
      name: sample_job_aiv6_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      parameters:
        - name: catalog
          default: ${var.catalog}
        - name: schema
          default: ${var.schema}

      environments:
        - environment_key: aiv6
          spec:
            base_environment: databricks_ai_v6

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/your_email/your_notebook
          environment_key: aiv6
          compute:
            hardware_accelerator: GPU_8xH100
  • Last updated on