Ambiente GPU serverless versione 6 (Anteprima)

Questa pagina illustra le informazioni sull'ambiente di sistema per l'ambiente GPU serverless versione 6. Questa offerta di calcolo fa parte del runtime di intelligenza artificiale, progettato per i carichi di lavoro moderni di intelligenza artificiale e deep learning.

L'ambiente GPU serverless 6 è costruito sopra l'ambiente serverless 6 (CPU). Scopri cosa c'è di nuovo nell'ambiente serverless 6 (CPU). Include l'ambiente seguente:

• Ambiente standard: ambiente minimo con API client stabili.
• Ambiente di intelligenza artificiale di Databricks: un ambiente con pacchetti Common Runtime e pacchetti specifici per il machine learning su GPU.

Per garantire la compatibilità per l'applicazione, i carichi di lavoro GPU serverless usano un'API con versione, nota come versione dell'ambiente, che rimane compatibile con le versioni server più recenti.

È possibile selezionare un ambiente di base che include questa versione dell'ambiente usando il pannello laterale Ambiente nei notebook serverless. Vedere Interactive (Notebooks).

Nuove funzionalità e miglioramenti

Nella versione 6, le librerie CUDA vengono aggiornate a NVIDIA CUDA 13 e le dipendenze associate vengono aggiornate per corrispondere, inclusi MLflow e l'API Python per GPU senza server. Le librerie comuni di machine learning e AI nell'ambiente di Databricks AI sono state aggiornate per la compatibilità con la nuova versione CUDA, insieme all'aggiunta di diverse librerie di nuova popolarità.

CUDA 13 e PyTorch 2.11

Ambiente di IA Databricks

La versione 6 aggiorna l'ambiente di Databricks AI al toolkit NVIDIA CUDA 13 e allo stack runtime. PyTorch è stato aggiornato a torch 2.11.0 (costruito per CUDA 13.0, +cu130) con torchvision 0.26.0, e le librerie NVIDIA incluse (cuBLAS, cuDNN, NCCL, cuFFT, cuSPARSE e i componenti runtime correlati) vengono aggiornate alle loro versioni CUDA 13.

Aggiornamento delle librerie di deep learning e LLM

Ambiente di IA Databricks

Le principali librerie di machine learning vengono aggiornate nell'ambiente di IA Databricks, tra cui:

• transformers 5.8.1
• vllm 0.24.0
• ray 2.56.0
• langchain 1.3.11
• sentence-transformers 5.5.1
• openai 2.37.0
• scikit-learn 1.7.2
• scipy 1.16.3
• trl 0.24.0

API Python per GPU serverless

L'API 0.5.24 Python per GPU serverless è inclusa in questo ambiente. Per la storia completa delle modifiche alle API Python della GPU serverless, consulta le note di release versione 5.

Pacchetti aggiunti all'ambiente di intelligenza artificiale di Databricks

I seguenti pacchetti di rilievo sono stati aggiunti all'ambiente di Databricks AI nella versione 6:

• langgraph 1.2.8 (con langgraph-checkpoint, langgraph-prebuilt, e langgraph-sdk)
• langchain-classic 1.0.8
• lightning 2.5.5
• polars 1.42.1
• ultralytics 8.4.90
• flash_attn_3 3.0.0 e flash-attn-4 4.0.0b18
• flashinfer-cubin 0.6.12
• liger_kernel 0.8.1
• fastsafetensors 0.3.2
• tilelang 0.1.9
• xgboost-cu13 3.2.0 (Costruzione CUDA 13, sostituzione xgboost)
• tabfm 1.0.1

Inoltre, il toolkit CUDA 13 e le librerie runtime (ad esempio, cuda-toolkit 13.0.2, nvidia-cudnn-cu13, nvidia-nccl-cu13, e pacchetti correlati nvidia-* ) sono stati aggiunti come parte dell'aggiornamento CUDA 13.

Pacchetti rimossi dall'ambiente di intelligenza artificiale di Databricks

I seguenti pacchetti di rilievo sono stati rimossi dall'ambiente di IA Databricks nella versione 6:

• unsloth (e unsloth_zoo)
• xformers
• diffusers
• bitsandbytes
• torchao
• litellm
• langchain-openai
• cupy-cuda12x
• mosaicml-streaming
• gguf
• seaborn
• xgboost (sostituito da xgboost-cu13) e xgboost-ray

Le librerie runtime CUDA 12 (i nvidia-*-cu12 pacchetti) sono state rimosse come parte dell'aggiornamento CUDA 13. Anche lo stack di sviluppo di JupyterLab e notebook (ad esempio, python-lsp-server, python-lsp-jsonrpc, rope, yapf, nbformat) e gli strumenti di sviluppo Python LSP (nbclient, nbconvert, notebook, jupyterlab) non sono più inclusi nell'ambiente Databricks AI.

Pacchetti non inclusi nell'ambiente di base

I pacchetti seguenti non sono inclusi nell'ambiente di base, ma rimangono disponibili nell'ambiente di intelligenza artificiale di Databricks:

• flash_attn
• torch
• torchvision
• scikit-learn
• scipy

Sulla base del feedback dei clienti che richiedeva il controllo sulla versione di PyTorch, torch non è incluso nell'ambiente base per la versione 6. In questo modo è possibile installare la versione più adatta al carico di lavoro. Per usare una versione testata da Databricks, eseguire %pip install torch==2.11.0 in una cella del notebook o installare torch==2.11.0 usando la sezione Dipendenze del pannello laterale Ambiente .

Ambiente di sistema

• Sistema operativo: Ubuntu 24.04 LTS
• Python: 3.12.3
• Databricks Connect: 19.0.0
• NVIDIA CUDA Toolkit: 13.0

Python installate librerie

Ambiente standard

Per riprodurre l'ambiente serverless GPU 6 nel tuo ambiente virtuale Python locale, scarica il file requirements-env-gpu-6.txt ed esegui pip install -r requirements-env-gpu-6.txt. Questo comando installa tutte le librerie dall'ambiente serverless 6.

Ambiente di intelligenza artificiale

L'ambiente di intelligenza artificiale include tutti i pacchetti dell'ambiente Standard, nonché i pacchetti seguenti. Questo ambiente include PyTorch e librerie complete di Machine Learning:

• torch 2.11.0
• torchvision 0.26.0
• flash_attn 2.8.3
• catboost 1.2.10
• langchain 1.3.11
• langgraph 1.2.8
• lightgbm 4.6.0
• lightning 2.5.5
• openai 2.37.0
• optuna 4.5.0
• polars 1.42.1
• pytorch-lightning 2.5.4
• ray 2.56.0
• scikit-learn 1.7.2
• scipy 1.16.3
• sentence-transformers 5.5.1
• transformers 5.8.1
• trl 0.24.0
• ultralytics 8.4.90
• vllm 0.24.0
• xgboost-cu13 3.2.0

Per riprodurre l'ambiente AI V6 nel tuo ambiente virtuale Python locale, scarica il filerequirements-ai-gpu-6.txt ed esegui pip install -r requirements-ai-gpu-6.txt. Questo comando installa tutte le librerie dall'ambiente di intelligenza artificiale.