Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Prima di spostare notebook o processi in calcolo serverless, verifica i linguaggi e le API supportate, i requisiti di accesso ai dati, i limiti delle funzioni definite dall'utente, le regole di rete e i requisiti relativi alla memorizzazione nella cache.
Supporto di linguaggio e API
- R non è supportato.
- Sono supportate solo le API Spark Connect. Le API RDD Spark non sono supportate.
- Spark Connect, usato dal calcolo serverless, rinvia l'analisi e la risoluzione dei nomi al tempo di esecuzione, che può modificare il comportamento del codice. Vedi Confronta Spark Connect con Spark Classic.
- La modalità ANSI è abilitata di default. Cast non validi, overflow aritmetico e input malformati generano errori di runtime invece di restituire
NULLsilenziosamente o un risultato errato. Per informazioni su come gestire operazioni che modificano il comportamento e sui limiti di disattivazione, consulta la sezione differenze di comportamento SQL della guida alla migrazione. - Il fuso orario predefinito della sessione è
Etc/UTC(Coordinated Universal Time). Per usare un fuso orario diverso, impostaspark.sql.session.timeZone. Consulta Configurare le proprietà di Spark per notebook e processi di tipo serverless. - Quando si crea un dataframe da dati locali tramite
spark.createDataFrame, le dimensioni delle righe non possono superare 128 MB.
Accesso ai dati e archiviazione
- È necessario usare Unity Catalog per connettersi a origini dati esterne. È possibile utilizzare posizioni esterne per accedere all'archiviazione cloud.
- L'accesso a DBFS è limitato. Usare invece i volumi del catalogo Unity o i file dell'area di lavoro .
- La directory di lavoro per notebook e job non è garantita, quindi i percorsi relativi dei file e le importazioni relative in Python possono fallire. Usa percorsi assoluti per riferire i file e importa codice Python condiviso come file workspace invece che moduli relativi. Vedi Lavorare con moduli Python e R.
- Le coordinate Maven non sono supportate.
- Le visualizzazioni temporanee globali non sono supportate. Usa le viste temporanee della sessione per i risultati utilizzati all'interno di una sessione. Per condividere i risultati calcolati tra sessioni, scrivili in una tabella del Catalogo Unity.
Funzioni definite dall'utente
- Gli UDF Python di Unity Catalog nei notebook serverless e nei processi supportano l'accesso alla rete in uscita, soggetto alle policy di rete dell'area di lavoro e alle restrizioni di rete per gli UDF. Il CREATE FUNCTION comando (Esterno) non è supportato. Databricks raccomanda di usare CREATE FUNCTION (SQL e Python) per creare UDF supportati.
- Gli UDF PySpark su calcolo serverless vengono eseguiti in sandbox isolati con un limite di memoria predefinito di 1 GiB (1024 MiB) per sandbox. Databricks gestisce questo limite. Gli utenti non possono configurarlo.
- Le funzioni definite dall'utente Scala non possono essere usate all'interno di funzioni di ordine elevato.
Interfaccia utente e registrazione
- L’interfaccia utente Spark non è disponibile. Invece, usa il profilo di query per visualizzare le informazioni sulle query Spark. Consulta il profilo della query .
- I log di Spark non sono disponibili. Gli utenti hanno accesso soltanto ai log delle applicazioni lato client.
Accesso alla rete e all'area di lavoro
- L'accesso cross-workspace dipende dalle regole di uscita dell'area di lavoro di origine e dalle regole di ingresso dell'area di lavoro di destinazione. La versione Beta di accesso cross-workspace supporta la configurazione delle coppie di workspace consentite. Gli workspace che utilizzano la modalità compatibilità mantengono le restrizioni di rete preesistenti. Vedi Accesso cross-workspace per i requisiti e le limitazioni specifiche del servizio.
- Databricks Container Services non è supportato.
- Il calcolo serverless non può connettersi a risorse raggiungibili solo tramite IPv6. Le risorse devono essere raggiungibili tramite IPv4.
Limitazioni dello streaming
Il calcolo serverless per notebook e job supporta i seguenti trigger di Structured Streaming:
-
Trigger.AvailableNow(). Databricks consiglia questa modalità di attivazione per il calcolo serverless. -
Trigger.Once(). Questa modalità deprecata è supportata ma non consigliata.
I seguenti trigger non sono supportati nei notebook serverless o nei lavori:
-
Trigger.Continuous(interval). -
Trigger.ProcessingTime(interval).- Per impostazione predefinita, se non si specifica una modalità trigger, Apache Spark imposta il trigger su
Trigger.ProcessingTime("0 seconds"). È necessario impostare un trigger supportato nel calcolo serverless.
- Per impostazione predefinita, se non si specifica una modalità trigger, Apache Spark imposta il trigger su
Se si tenta di usare un trigger non supportato, la query genera un errore INFINITE_STREAMING_TRIGGER_NOT_SUPPORTED.
Queste restrizioni di trigger non si applicano alle modalità di elaborazione della pipeline Lakeflow. Per carichi di lavoro in streaming continuo, usa una pipeline serverless in modalità continua, oppure usa Trigger.AvailableNow() in un job continuo.
La modalità in tempo reale in Lakeflow Pipelines supporta carichi di lavoro operativi con latenza inferiore al secondo, con requisiti specifici di runtime, origine, destinazione e dell'operatore.
Per una guida decisionale che esegue il mapping dei casi d'uso di streaming al prodotto serverless corretto, vedere Streaming in un ambiente di calcolo serverless.
Si applicano anche tutte le limitazioni per lo streaming in modalità di accesso standard. Vedere Limitazioni dello streaming.
Limitazioni dei Notebook
- Scala e R non sono supportati nei notebook.
- Le librerie JAR non sono supportate nei notebook. Per le soluzioni alternative, vedere Procedure consigliateper il calcolo serverless. Le attività JAR nei processi sono supportate. Consulta attività JAR per i compiti.
- Le librerie installate con
%pipin una sessione notebook devono essere reinstallate in una nuova sessione. Le dipendenze configurate nel riquadro Ambiente utilizzano la cache dell'ambiente serverless. Vedere Aggiungere dipendenze al notebook. - La condivisione di tabelle e viste TEMP quando si condivide un notebook tra gli utenti non è supportata.
- L'Autocompletamento e l'Esploratore variabile per i dataframe nei notebook non sono supportati.
- Per impostazione predefinita, i nuovi notebook vengono salvati in
.ipynbformato . Se il notebook viene salvato in formato di origine, i metadati serverless potrebbero non essere acquisiti correttamente e alcune funzionalità potrebbero non funzionare come previsto. - I tag del Notebook non sono supportati. Utilizza i criteri di utilizzo serverless per contrassegnare l'utilizzo serverless.
Limitazioni delle attività
- I log delle attività visualizzati nella pagina di esecuzione del processo non sono isolati per ogni attività eseguita e contengono output da più attività. Per inviare i log delle applicazioni a un volume nelle directory organizzate per esecuzione delle attività, vedi Inviare i log serverless ai volumi di Unity Catalog.
- Le librerie di attività non sono supportate per i task del Notebook. Invece, utilizzare librerie con ambito Notebook. Vedere Librerie Python a livello di notebook.
- Per impostazione predefinita, i processi serverless non hanno alcun timeout di esecuzione delle query. È possibile impostare un timeout di esecuzione per le query di processo usando la
spark.databricks.execution.timeoutproprietà . Per altre informazioni, vedere Configurare le proprietà di Spark per notebook e processi serverless. - L'ambiente di calcolo serverless ha un runtime massimo di 7 giorni. Le esecuzioni che superano 7 giorni vengono terminate dalla piattaforma e non vengono ritentate. Per eseguire carichi di lavoro più lunghi di 7 giorni, suddividerli in esecuzioni più piccole o usare il calcolo classico.
Limitazioni specifiche del calcolo
Le funzionalità specifiche del calcolo seguenti non sono supportate:
- Criteri di calcolo
- Script di inizializzazione a livello di calcolo. Per installare pacchetti o configurare l'ambiente Python, usa invece un ambiente base o dipendenze da notebook. Vedi Configurare l'ambiente serverless.
- Librerie con ambito di calcolo, inclusi sorgenti di dati personalizzati ed estensioni Spark. Usare al contrario librerie con ambito associato al notebook.
- Pool di istanze
- Registri eventi di sistema
- La maggior parte delle configurazioni di calcolo di Apache Spark. Per un elenco delle configurazioni supportate, vedere Configura le proprietà di Spark per notebook e job serverless.
- Variabili ambientali con scalo computazionale. Per passare le variabili di ambiente al codice applicativo nei compiti serverless di Lakeflow Jobs, utilizza la funzione variabili di ambiente a livello di lavoro (Beta). Consulta Configurare le variabili di ambiente per i job serverless. Puoi anche usare i widget per creare parametri di job e task.
Limitazioni della memorizzazione nella cache
- I metadati vengono memorizzati nella cache nelle sessioni di calcolo serverless. Per questo motivo, il contesto della sessione potrebbe non essere completamente reimpostato quando si cambiano cataloghi. Per cancellare il contesto della sessione, reimpostare la risorsa di calcolo serverless o avviare una nuova sessione.
-
df.cache(),df.persist(), edf.unpersist()sono supportati nell'ambiente serverless versione 5 e superiore quando la memorizzazione in cache DataFrame su Anteprima Pubblica di calcolo serverless è abilitata. L'anteprima non è disponibile negli spazi di lavoro con il profilo di sicurezza di conformità abilitato. Vedi i Requisiti per l'abilitazione e i requisiti del client. - Le seguenti API di cache e comandi SQL non sono supportati con il compute serverless. L'uso di una di queste API o comandi SQL genera un'eccezione.
- La cache del modello Spark ML è limitata a 1 GB (1073741824 byte) per sessione, mentre un singolo modello è limitato a 100 MB. Entrambi i limiti sono più bassi nel calcolo serverless rispetto al calcolo classico, e nessuno dei due può essere modificato. Il superamento del limite di sessioni genera ML_CACHE_SIZE_OVERFLOW_EXCEPTION. Il superamento del limite per ciascun modello genera MODEL_SIZE_OVERFLOW_EXCEPTION. Per liberare spazio nella cache, elimina i riferimenti Python a modelli che non usi più. I modelli lasciati inutilizzati per 15 minuti passano al disco locale e conteggiano comunque per il limite di sessione.
Limitazioni di Hive
Le tabelle Hive SerDe non sono supportate. Inoltre, il comando LOAD DATA corrispondente che carica i dati in una tabella SerDe Hive non è supportato. L'uso del comando genererà un'eccezione.
Le variabili Hive (ad esempio
${env:var},${configName},${system:var}, espark.sql.variable) o i riferimenti a variabili config che utilizzano la sintassi${var}non sono supportate. L'uso delle variabili Hive genererà un'eccezione.Utilizzare invece riferimenti alle variabili di sessione SQL DECLARE VARIABLE, SET VARIABLE, e marcatori di parametro ('?', o ':var') per dichiarare, modificare e fare riferimento allo stato della sessione. È anche possibile usare la clausola IDENTIFIER per parametrizzare i nomi degli oggetti in molti casi.
Origini dati supportate
Per le operazioni del linguaggio di manipolazione dei dati (DML), il calcolo senza server consente i seguenti provider di origine dati. Ogni fornitore deve inoltre supportare l'operazione richiesta. L'inclusione in questo elenco non implica il supporto per ogni operazione di scrittura, aggiornamento o cancellazione. Ad esempio, la sorgente del file binario è di sola lettura.
CSVJSONAVRODELTAKAFKAPARQUETORCTEXTUNITY_CATALOGBINARYFILEXMLSIMPLESCANICEBERG
L'ambiente di calcolo serverless supporta le origini dati seguenti per le operazioni di lettura:
CSVJSONAVRODELTAKAFKAPARQUETORCTEXTUNITY_CATALOGBINARYFILEXMLSIMPLESCANICEBERGMYSQLPOSTGRESQLSQLSERVERREDSHIFTSNOWFLAKE-
SQLDW(Azure Synapse) DATABRICKSBIGQUERYORACLESALESFORCESALESFORCE_DATA_CLOUDTERADATAWORKDAY_RAASMONGODB