Monitora l'utilizzo del modello

Questa pagina descrive come monitorare l'utilizzo dei servizi Unity Gateway utilizzando la tabella del sistema di tracciamento dell'uso.

La tabella di tracciamento dell'uso cattura i dettagli delle richieste e delle risposte per i servizi modello, i servizi fornitori modello e i servizi MCP. Per le richieste di modello, registra metriche come l'uso del token e la latenza. Per le richieste MCP, registra i metadati delle chiamate e dei servizi. Usa la tabella per monitorare gli utenti, monitorare i costi e analizzare l'utilizzo e le prestazioni del servizio.

Il rilevamento dell'utilizzo acquisisce anche le richieste ai_query ai servizi modello forniti da Databricks.

Gli amministratori dell'account e dell'area di lavoro possono visualizzare una panoramica consolidata dell'utilizzo dell'intelligenza artificiale nella pagina intelligenza artificiale nell'hub di governance.

Requirements

• Uno spazio di lavoro Azure Databricks in una regione supportata da Unity Gateway.
• Catalogo Unity abilitato per l'area di lavoro. Vedere Abilitare un'area di lavoro per il Catalogo Unity.

Pricing

Il monitoraggio dell'utilizzo è una funzionalità a pagamento di Unity Gateway. Azure Databricks addebita l'utilizzo che registra nella tabella system.ai_gateway.usage. Vedi prezzi del Gateway Unity.

Eseguire una query sulla tabella di utilizzo

Unity Gateway registra i dati di utilizzo nella system.ai_gateway.usage tabella di sistema. È possibile visualizzare la tabella nell'interfaccia utente oppure eseguire query sulla tabella da Databricks SQL o da un notebook.

Per visualizzare la tabella nell'interfaccia utente, fare clic sul collegamento tabella di rilevamento dell'utilizzo nella pagina del servizio modello per aprire la tabella in Esplora cataloghi.

Per eseguire query sulla tabella da Databricks SQL o da un notebook:

SELECT * FROM system.ai_gateway.usage;

Query the system.ai_gateway.usage table to analyze AI Gateway usage showing request count and total tokens, grouped by endpoint name for the last 7 days.

Dashboard di utilizzo integrata

Crea una dashboard di utilizzo integrata

Gli amministratori di account possono creare una dashboard di utilizzo integrata di Unity Gateway per monitorare l'uso, monitorare i costi e ottenere informazioni sulle prestazioni e sul consumo dei servizi modellati. Dalla pagina Unity Gateway, clicca su Governa in alto a destra, poi su Crea Dashboard di utilizzo. Il warehouse che esegue le query del dashboard viene selezionato automaticamente.

Quando è disponibile una versione più recente della dashboard di utilizzo integrata, gli amministratori degli account possono cliccare su Aggiorna nella riga della versione della dashboard nel menu a tendina Govern nella pagina Unity Gateway.

Per gestire il dashboard, è possibile usare le opzioni di configurazione del dashboard seguenti:

• Ambito: selezionare se definire l'ambito del dashboard nell'account o nell'area di lavoro.
• Autorizzazioni: scegliere se le query vengono eseguite usando le autorizzazioni del proprietario del dashboard o le autorizzazioni di ogni visualizzatore. Vedere Che cosa sono le autorizzazioni per i dati condivisi?.
• Aggiornamenti automatici: Quando attivi questa opzione, la dashboard si aggiorna automaticamente ogni volta che una versione più recente diventa disponibile e un amministratore dell'account visita la pagina Unity Gateway.

Quando il dashboard viene aggiornato alla versione 0.3 o successiva, viene creata automaticamente una pianificazione per aggiornare il dashboard ogni 6 ore. Se necessario, questa pianificazione può essere disabilitata nel dashboard di Lakeview. Vedere Creare una pianificazione.

Visualizzare il dashboard di utilizzo

Per visualizzare la dashboard, clicca su Governa in alto a destra nella pagina Unity Gateway, poi clicca su Dashboard di Utilizzo. Il cruscotto si apre in una nuova scheda. Il cruscotto integrato offre una visibilità completa sull'utilizzo dei servizi, le prestazioni e i costi del modello Unity Gateway. Include più pagine che monitora le richieste, il consumo di token, le metriche di latenza, le percentuali di errore, i dettagli dei costi, il traffico del server MCP esterno e l'attività dell'agente di codifica.

Il dashboard fornisce l'analisi tra aree di lavoro per impostazione predefinita. Tutte le pagine del dashboard possono essere filtrate in base all'intervallo di date e all'ID dell'area di lavoro.

• Scheda Panoramica: mostra le metriche di utilizzo di alto livello, tra cui il volume delle richieste giornaliere, le tendenze di utilizzo dei token nel tempo, i principali utenti per consumo di token e il numero totale di utenti univoci. Usa questa scheda per ottenere una rapida panoramica dell'attività complessiva del Gateway Unity e identificare gli utenti e i modelli più attivi.
• Scheda Prestazioni: tiene traccia delle metriche delle prestazioni chiave, inclusi i percentili di latenza (P50, P90, P95, P99), il tempo per il primo byte, le percentuali di errore e le distribuzioni del codice di stato HTTP. Usare questa scheda per monitorare l'integrità del servizio modello e identificare i colli di bottiglia o i problemi di affidabilità delle prestazioni.
• Scheda Utilizzo: mostra le suddivisioni dettagliate del consumo in base al servizio modello, all'area di lavoro e al richiedente. Questa scheda mostra i modelli di utilizzo dei token, le distribuzioni delle richieste e i rapporti di riscontri nella cache.
• Scheda Osservabilità costi: mostra le suddivisioni dei costi in base al servizio modello, al modello di destinazione, all'utente, ai tag del servizio e ai tag di richiesta. Questa scheda include anche il costo stimato per i modelli esterni. Vedi Analizza il costo del Gateway Unity.
• Scheda Server MCP esterno: mostra il volume delle richieste, le percentuali di errore, gli utenti e le connessioni e le tendenze di utilizzo giornaliere per il traffico del server MCP esterno.
• Scheda Agenti di Codifica: Traccia l'attività degli agenti di codifica integrati inclusi Claude Code, Codex CLI, Cursor e Gemini CLI. Questa scheda mostra metriche come i giorni attivi, le sessioni di codifica, i commit e le righe di codice aggiunti o rimossi per monitorare l'utilizzo degli strumenti di sviluppo. Per altri dettagli, vedere Dashboard dell'agente di codifica .

Schema della tabella di utilizzo

La system.ai_gateway.usage tabella presenta lo schema seguente:

Schemi di colonne annidati

Le tabelle seguenti descrivono i campi all'interno delle colonne annidate STRUCT . La disponibilità del campo dipende dal servizio, dal modello e dal client utilizzato per la richiesta.

Metadati di invocazione e token

Metadati del servizio MCP

Questi campi vengono popolati in mcp_metadata per le righe MCP_SERVICE.

Metadati della sessione

I session_metadata campi aiutano a correlare le richieste all'interno di una sessione e a distinguere agenti di codifica, interfacce client e impostazioni delle richieste. Ogni campo viene popolato quando le informazioni corrispondenti sono disponibili dal client o dalla richiesta.

Contrassegna le richieste per il monitoraggio dell'utilizzo

I tag di richiesta sono coppie chiave-valore personalizzate associate dal chiamante alle singole richieste. Usare i tag di richiesta per attribuire l'utilizzo da parte di progetto, team, ambiente, utente finale o qualsiasi altra dimensione pertinente all'organizzazione. I tag delle richieste vengono registrati nella system.ai_gateway.usage tabella e possono essere usati per filtrare, aggregare e analizzare i dati di utilizzo.

Per etichettare le singole richieste, includere l'intestazione HTTP Databricks-Ai-Gateway-Request-Tags con un oggetto JSON che contiene una mappatura di chiavi di tipo stringa a valori di tipo stringa. I tag di richiesta vengono registrati nella request_tags colonna nella tabella di utilizzo e nelle tabelle di inferenza.

Per esempi che mostrano come impostare i tag delle richieste con API REST, OpenAI SDK e Anthropic SDK, vedi Request tagging.

Ad esempio, è possibile aggregare l'utilizzo in base al progetto usando i tag di richiesta:

SELECT
  request_tags['project'] AS project,
  COUNT(*) AS request_count,
  SUM(total_tokens) AS total_tokens
FROM system.ai_gateway.usage
WHERE request_tags['project'] IS NOT NULL
GROUP BY request_tags['project']
ORDER BY total_tokens DESC;

Limitazioni

• Unity Gateway non traccia l'uso dei token per risposte non streaming e non embedding superiori a 1 MiB.

Risorse aggiuntive

• Governance dell'IA con Unity Gateway
• Crea un servizio di modelli personalizzati
• Modelli di fondazione e incorporamento delle query
• integrazione dell'agente di codifica
• Richieste di log e risposte alle tabelle di inferenza
• Applicare limiti di tariffa ai servizi modello e MCP