Aggiornamenti efficienti delle colonne in Delta Lake

Importante

Questa funzionalità è in versione beta. Per utilizzarlo, un amministratore dell'area di lavoro deve attivare Efficient Column Updates dalla pagina Anteprime. Vedere Gestire le anteprime di Azure Databricks.

Efficient Column Updates (ECU) ti consente di aggiungere e popolare retroattivamente le colonne in una tabella Delta Lake senza riscrivere le colonne invariate. Usalo per popolare nuove funzionalità, embedding e altri valori derivati nei dataset esistenti.

Aggiungere una colonna modifica lo schema della tabella senza riscrivere i dati esistenti. Riempire quella colonna con valori può richiedere la riscrittura dei file dati contenenti le righe interessate, incluse quelle che non sono cambiate. Efficient Column Updates evita quelle riscritture delle colonne non modificate scrivendo i valori aggiornati delle colonne in file Parquet separati.

Questo è particolarmente utile quando si aggiunge un piccolo numero di colonne a una tabella che contiene payload o embedding di grandi dimensioni. Le query continuano a restituire una tabella logica, combinando i dati esistenti con i valori aggiornati della colonna.

Il diagramma seguente confronta l'aggiunta e il riempimento retroattivo di una colonna. I blocchi grigi rappresentano i dati delle colonne esistenti, i blocchi verdi rappresentano i nuovi dati delle colonne e i contorni rossi identificano i dati riscritti.

Senza aggiornamenti efficienti delle colonne, un backfill riscrive interi file dati. Con esso, solo i nuovi valori delle colonne vengono scritti in file separati.

  • R: Senza ECU, un backfill sostituisce i file dati originali (contorni tratteggiati) con file contenenti sia le colonne invariate sia la nuova colonna.
  • B: Con l'ECU, i file originali vengono mantenuti e i nuovi valori delle colonne vengono scritti in file separati.

Requirements

  • Usa Databricks Runtime 19 o superiore per leggere o scrivere su una tabella con Efficient Column Updates abilitati.
  • Utilizza una tabella Delta Lake gestita da Unity Catalog con catalog commits abilitati.
  • Abilita il tracciamento delle righe e i vettori di eliminazione sulla tabella.
  • Usa la mappatura delle colonne in id modalità ('delta.columnMapping.mode' = 'id'). Questa modalità deve essere impostata quando la tabella viene creata.
  • Abilita la Beta dalla pagina Anteprime dell'area di lavoro.

Abilita aggiornamenti efficienti delle colonne

Puoi abilitare gli Aggiornamenti Efficienti delle Colonne quando crei una tabella o su una tabella esistente che soddisfa i requisiti. Esamina i limiti prima di abilitarlo.

Per creare una tabella con Aggiornamenti Efficienti delle Colonne abilitati, imposta la proprietà della delta.enableColumnUpdates-preview tabella insieme alle proprietà delle funzionalità richieste:

CREATE TABLE documents (
  document_id BIGINT,
  description STRING
)
TBLPROPERTIES (
  'delta.feature.catalogManaged' = 'supported',
  'delta.enableRowTracking' = 'true',
  'delta.enableDeletionVectors' = 'true',
  'delta.columnMapping.mode' = 'id',
  'delta.enableColumnUpdates-preview' = 'true'
);

Per una tabella esistente che utilizza già la mappatura delle colonne in id modalità, abilita commit del catalogo, tracciamento delle righe e vettori di cancellazione se non sono già abilitati:

ALTER TABLE documents SET TBLPROPERTIES (
  'delta.feature.catalogManaged' = 'supported',
  'delta.enableRowTracking' = 'true',
  'delta.enableDeletionVectors' = 'true'
);

Poi abilita gli Aggiornamenti Efficienti delle Colonne:

ALTER TABLE documents SET TBLPROPERTIES (
  'delta.enableColumnUpdates-preview' = 'true'
);

Se riscontri problemi, puoi tornare agli aggiornamenti standard.

Aggiungi e popola una colonna

Il seguente esempio utilizza una tabella esistente documents con una colonna document_id e una colonna string description. Aggiunge una colonna contenente la lunghezza di ciascuna descrizione:

ALTER TABLE documents ADD COLUMN text_length INT;

UPDATE documents
SET text_length = LENGTH(description);

Dopo aver aggiunto la colonna, le righe esistenti contengono NULL in text_length finché UPDATE non ne popola i valori. Gli aggiornamenti efficienti delle colonne consentono al backfill di scrivere i nuovi valori delle colonne senza riscrivere le colonne non modificate.

Interroga la tabella per ispezionare i valori popolati:

SELECT document_id, description, text_length
FROM documents
LIMIT 10;

Efficient Column Updates riduce i dati riscritti durante un backfill. L'aggiornamento continua a leggere le colonne di input e a calcolare i nuovi valori.

L'abilitazione degli Aggiornamenti efficienti delle colonne non garantisce che ogni UPDATE li utilizzi. In alcuni casi, Azure Databricks torna a un aggiornamento standard che riscrive i file dati interessati. L'aggiornamento ha comunque successo e produce gli stessi risultati.

Torna agli aggiornamenti standard

Se riscontri problemi con gli Aggiornamenti Efficienti delle Colonne, disabilita i nuovi aggiornamenti delle colonne e consolida i file delle colonne esistenti:

  1. Smetti di scrivere nuovi file di colonne:

    ALTER TABLE documents SET TBLPROPERTIES (
      'delta.enableColumnUpdates-preview' = 'false'
    );
    
  2. Riscrivere i file dati che contengono file a colonna usando REORG TABLE:

    REORG TABLE documents APPLY (PURGE);
    

REORG scrive i valori delle colonne più recenti nei file dati riscritti, creando una nuova versione della tabella senza file di colonna. I valori aggiornati sono preservati. Le versioni precedenti delle tabelle possono ancora fare riferimento ai file delle colonne.

La funzione tabella rimane abilitata nel protocollo di tabella, quindi le letture e scritture richiedono ancora Databricks Runtime 19 o superiore.

Limitations

  • Efficient Column Updates è incompatibile con il feed di dati di modifica in tempo di scrittura (CDF). Vedi Feed dati di modifiche legacy.
  • Efficient Column Updates è incompatibile con Universal Format (UniForm).
  • Le tabelle gestite da Apache Iceberg non sono supportate.
  • MERGE le operazioni non utilizzano Aggiornamenti Efficienti delle Colonne.
  • La rimozione degli aggiornamenti efficienti delle colonne con DROP FEATURE non è supportata. Databricks raccomanda di evitare di abilitarlo sulle tabelle critiche. Per smettere di usare gli aggiornamenti di colonna, consulta Torna agli aggiornamenti standard.
  • I condotti a flusso lacustre non sono supportati.