Accesso al gruppo di calcolo dedicato

Il calcolo di gruppo dedicato in Azure Databricks esegue notebook e job utilizzando i permessi di un gruppo assegnato. Puoi condividere la risorsa di calcolo con i membri del gruppo e gli utenti che hanno il permesso di assumere il ruolo del gruppo.

La modalità di accesso dedicato a gruppi consente agli utenti di ottenere l'efficienza operativa di un cluster standard di accesso supportando al contempo in modo sicuro linguaggi e carichi di lavoro non supportati dalla modalità di accesso standard, come Databricks Runtime for ML, API di dataset distribuiti resilienti (RDD) e R.

I cluster di gruppo sono un modo per assumere un ruolo in Azure Databricks. Quando un utente si connette a un cluster di gruppo, i permessi di identità utente vengono sostituiti dai permessi del gruppo per le operazioni su quel cluster. Ciò equivale ad assumere che il gruppo assuma un ruolo per la durata della sessione del cluster. Per altri metodi per assumere un ruolo, inclusi il selettore di ruolo, la CLI e l'API, vedi Cambiare i ruoli RBAC.

Requisiti

Per usare la modalità di accesso al gruppo dedicato:

  • L'area di lavoro deve essere abilitata per Unity Catalog.
  • È necessario usare Databricks Runtime 15.4 o versione successiva.
  • Il gruppo deve essere un gruppo di account assegnato allo spazio di lavoro.
  • Il gruppo assegnato deve disporre di autorizzazioni CAN MANAGE per una cartella dell'area di lavoro in cui è possibile conservare notebook, esperimenti di Machine Learning e altri artefatti dell'area di lavoro usati dal cluster di gruppo.

Che cos'è la modalità di accesso dedicato?

La modalità di accesso dedicato, precedentemente modalità di accesso a utente singolo, assegna una risorsa di calcolo a un utente o a un gruppo. Una risorsa di calcolo assegnata a un gruppo è chiamata cluster di gruppo. Solo l'utente assegnato, o gli utenti che possono agire come gruppo assegnato, possono eseguire i carichi di lavoro su di essa.

Creare una risorsa di calcolo dedicata a un gruppo

Per creare un compute di gruppo, è necessario disporre dell'autorizzazione per utilizzare un criterio di calcolo o del diritto di creazione di cluster senza restrizioni. A meno che tu non sia un amministratore dello spazio di lavoro, devi anche essere membro del gruppo assegnato o avere il permesso di assumerlo.

  1. Nell'area di lavoro Azure Databricks passare a Compute e fare clic su Crea calcolo.
  2. Espandi la sezione avanzata .
  3. In Modalità di accesso fare clic su Manuale e quindi selezionare Dedicato (in precedenza: Utente singolo) dal menu a discesa.
  4. Nel campo utente singolo o gruppo selezionare il gruppo che si vuole assegnare a questa risorsa.
  5. Configurare le altre impostazioni di calcolo desiderate, quindi fare clic su Crea.

Concedere l'accesso al compute di gruppo

Per usare un cluster di gruppo, servono entrambe le seguenti cose:

Assegnare un gruppo a una risorsa di calcolo concede automaticamente a quel gruppo CAN ATTACH TO. Puoi concedere permessi di calcolo a utenti o gruppi aggiuntivi, ma questo non cambia il gruppo assegnato né l'identità del carico di lavoro. Questi utenti hanno comunque bisogno di appartenere al gruppo assegnato o di avere l'autorizzazione ad assumerlo. Essere un group manager da solo non concede il permesso di creare, modificare, eliminare o utilizzare il cluster.

Per concedere l'accesso al calcolo, devi disporre di CAN MANAGE sulla risorsa di calcolo:

  1. Nella barra laterale fare clic su Ambiente di calcolo.
  2. Nella riga della risorsa di calcolo, apri il menu kebab Kebab menu icon. e seleziona Modifica permessi.
  3. Nelle Impostazioni dei permessi, clicca sul menu a tendina Seleziona utente, gruppo o principale del servizio... e seleziona l'utente o il gruppo.
  4. Seleziona il CAN ATTACH TO permesso dal menu a tendina dei permessi.
  5. Clicca su Aggiungi, poi Salva.

Vedere Autorizzazioni di calcolo.

Per modificare o eliminare definitivamente un cluster di gruppo, devi disporre di CAN MANAGE sulla risorsa di calcolo. La modifica richiede anche l'appartenenza o l'autorizzazione a impersonare il gruppo assegnato, a meno che tu non sia un amministratore dello spazio di lavoro.

Usa il compute del gruppo da un notebook

Per eseguire un notebook con le autorizzazioni del gruppo assegnato:

  1. Apri un notebook in una cartella di spazio di lavoro a cui il gruppo assegnato può accedere.

  2. Nel selettore di calcolo del notebook, seleziona il cluster di gruppo. Se non è elencata, clicca su Altro... per trovarla.

  3. In una cella SQL, o in una cella che inizia con %sql, esegui il seguente comando per verificare l'identità della sessione:

    SELECT session_user();
    

Il risultato è il nome del gruppo assegnato. Concedi i permessi di dati e spazi di lavoro a quel gruppo per le operazioni eseguite dal notebook. I tuoi permessi personali non si aggiungono ai permessi del gruppo sul cluster.

Se già agisci come ruolo tramite il cambio di ruolo dello spazio di lavoro, quel ruolo deve corrispondere al gruppo assegnato al cluster. Vedi Cambia ruolo RBAC.

Per maggiori informazioni sul collegamento dei notebook, vedi Collega un notebook a una risorsa di calcolo multiuso.

Eseguire i processi come gruppo

I job possono essere eseguiti con i permessi di un gruppo, anche quando configuri il job tramite l'API o l'SDK. Nei dettagli del lavoro, imposta Run as sul gruppo assegnato alla risorsa di calcolo. Il gruppo ha bisogno dell'autorizzazione per accedere ai notebook, ai file e ai dati utilizzati dal job.

In una richiesta API Jobs, imposta run_as.group_name sul nome del gruppo:

{
  "run_as": {
    "group_name": "analytics-team"
  }
}

Per i passaggi di configurazione, i requisiti del gruppo e il comportamento quando un compito utilizza risorse di calcolo dedicate assegnate a un'identità diversa, vedere Impostare Esegui come su un gruppo.

Procedure consigliate per la gestione dei cluster di gruppo

Poiché le autorizzazioni utente sono limitate al gruppo quando si usano cluster di gruppo, Databricks consiglia di creare una cartella /Workspace/Groups/<groupName> per ogni gruppo che si intende utilizzare con un cluster di gruppo. Assegnare quindi al gruppo le autorizzazioni CAN MANAGE sulla cartella. Ciò consente ai gruppi di evitare errori di autorizzazione. Tutti i notebook e gli asset dell'area di lavoro del gruppo devono essere gestiti nella cartella del gruppo.

È anche necessario modificare i carichi di lavoro seguenti per l'esecuzione nei cluster di gruppo:

  • MLflow: Assicurati di eseguire il notebook dalla cartella del gruppo o di eseguire mlflow.set_tracking_uri("/Workspace/Groups/<groupName>").
  • AutoML: impostare il parametro experiment_dir facoltativo su “/Workspace/Groups/<groupName>” per le esecuzioni autoML.
  • dbutils.notebook.run: Assicurarsi che il gruppo abbia l'autorizzazione READ sul notebook in esecuzione.

Comportamento di autorizzazione nei cluster di gruppo

Tutti i comandi, le query e altre azioni eseguite in un cluster di gruppo usano le autorizzazioni assegnate al gruppo, non l'utente singolo.

Non è possibile applicare autorizzazioni utente individuali perché tutti i membri del gruppo hanno accesso completo alle API Spark e all'ambiente di calcolo condiviso. Se sono state applicate autorizzazioni basate sull'utente, un membro potrebbe eseguire query sui dati con restrizioni e un altro membro senza accesso potrebbe comunque recuperare i risultati tramite l'ambiente condiviso. Pertanto, il gruppo stesso, non l'utente membro del gruppo, deve disporre delle autorizzazioni necessarie per eseguire correttamente l'azione.

Ad esempio, il gruppo necessita di autorizzazioni esplicite per eseguire query su una tabella, accedere a un ambito segreto o segreto, usare credenziali di connessione del catalogo Unity, accedere a una cartella Git o creare un oggetto area di lavoro.

Autorizzazioni di gruppo di esempio

Quando si crea un oggetto dati usando il cluster di gruppo, il gruppo viene assegnato come proprietario dell'oggetto.

Ad esempio, se si dispone di un notebook collegato a un cluster del gruppo ed esegui il comando seguente:

use catalog main;
create schema group_cluster_group_schema;

Eseguire quindi questa query per controllare il proprietario dello schema:

describe schema group_cluster_group_schema;

Esempio di descrizione dello schema di gruppo

Verifica dell'attività di calcolo dedicata del gruppo

Esistono due identità chiave coinvolte quando un cluster di gruppo esegue un carico di lavoro:

  1. L'identità che avvia il carico di lavoro sul cluster di gruppo
  2. Gruppo le cui autorizzazioni vengono usate per eseguire le azioni effettive del carico di lavoro

La tabella di sistema del registro di controllo registra queste identità sotto i seguenti parametri:

  • identity_metadata.run_by: L'identità autenticante che avvia l'azione.
  • identity_metadata.run_as: Il gruppo autorizzante i cui permessi vengono utilizzati per l'azione.

Per carichi di lavoro interattivi, run_by identifica l'utente. Per i carichi di lavoro dei processi, identifica l'entità servizio dell'applicazione del servizio Jobs. Vedere Impostare Runas su un gruppo.

La seguente query di esempio recupera i metadati di identità per un'azione eseguita con il cluster di gruppo.

select action_name, event_time, user_identity.email, identity_metadata
from system.access.audit
where user_identity.email = "uc-group-cluster-group" AND service_name = "unityCatalog"
order by event_time desc limit 100;

Consulta la tabella di riferimento del sistema di log di controllo per altre query di esempio. Consultare la tabella di sistema del registro di controllo .

I log di audit consegnati allo storage del cliente non includono il gruppo autorizzante e l'identità di autenticazione come campi separati di metadati identitari. Usare system.access.audit per visualizzare questi metadati.

Limitazioni note

L'accesso al gruppo dedicato presenta le limitazioni seguenti:

  • I lavori che usano Git falliscono perché la directory temporanea che il lavoro usa per estrarre il repository Git non è scrivibile. Usare invece cartelle Git .
  • Il created_by campo nelle tabelle del sistema di lineage a tabelle e colonne registra il gruppo. Queste tabelle non registrano separatamente l'utente che ha avviato il carico di lavoro.
  • Se collegato a un cluster di gruppo, Esplora cataloghi non filtra in base agli asset accessibili solo al gruppo.
  • Se un gruppo viene rinominato, è necessario aggiornare manualmente tutti i criteri di calcolo che fanno riferimento al nome del gruppo.
  • I cluster di gruppo non sono supportati negli spazi di lavoro dove le liste di controllo degli accessi (ACL) sono disabilitate (isWorkspaceAclsEnabled is false), perché quegli spazi di lavoro non dispongono di controlli di sicurezza e accesso ai dati.
  • Il %run comando e le altre azioni nel contesto del notebook utilizzano i permessi dell'utente piuttosto che quelli del gruppo. Ciò è dovuto al fatto che queste azioni vengono gestite dall'ambiente notebook, non dall'ambiente del cluster. I comandi alternativi, dbutils.notebook.run() ad esempio, vengono eseguiti nel cluster e quindi usano le autorizzazioni del gruppo.
  • La is_member(<group>) funzione restituisce false quando viene richiamata in un cluster di gruppo perché il gruppo non è membro di se stesso. Per verificare l'appartenenza sia tra i cluster di gruppo che tra le altre modalità di accesso, si utilizza is_member(<group>) OR session_user() = <group>.
  • La ricerca AI ha restrizioni quando si opera come gruppo. Vedi le operazioni supportate e le restrizioni sull'indice.
  • L'eliminazione di file e cartelle non è supportata nei cluster di gruppo.
  • L'interfaccia utente di caricamento file non supporta i cluster di gruppo.