Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Questo articolo risponde alle domande frequenti sulle capacità di IA utilizzate nelle funzionalità di analisi nella scheda Copilot Studio Monitor.
Come viene usata l'intelligenza artificiale generativa per l'analisi?
Copilot Studio usa l'intelligenza artificiale per valutare la qualità delle risposte generative e identificare i modelli nelle query utente tramite il clustering. Questi cluster forniscono informazioni dettagliate sulle prestazioni dell'agente.
Le risposte generative utilizzano le fonti di conoscenza che scegli per generare una risposta. La funzionalità raccoglie anche eventuali commenti e suggerimenti forniti. Analisi usa modelli di linguaggio di grandi dimensioni per classificare i messaggi di chat tra utenti e agenti in livelli che indicano la qualità delle risposte generative. Queste classificazioni vengono aggregate per fornire un riepilogo delle prestazioni dell'agente.
Il clustering utilizza i LLM per suddividere i messaggi degli utenti in gruppi basati su argomenti condivisi e fornire a ciascun gruppo un nome descrittivo. Copilot Studio usa i nomi di questi cluster per fornire diversi tipi di informazioni dettagliate che è possibile usare per migliorare l'agente.
Qualità delle risposte generative
Qual è l'uso previsto della qualità della risposta?
Usare l'analisi della qualità delle risposte per comprendere le prestazioni dell'agente e identificare i miglioramenti. Attualmente, è possibile usare l'analisi per capire se la qualità delle risposte generative di un agente soddisfa le aspettative.
Oltre alla qualità complessiva, la qualità dell'analisi delle risposte identifica le aree in cui un agente ha prestazioni scarse o non riesce a raggiungere gli obiettivi previsti. Identificare dove le risposte generative hanno prestazioni scarse e adottare misure per migliorare la loro qualità.
Quando si identificano prestazioni scarse, seguire le procedure consigliate che consentono di migliorare la qualità. Ad esempio, dopo aver identificato le origini delle conoscenze con prestazioni scarse, è possibile modificare l'origine delle informazioni o suddividere l'origine delle informazioni in più origini più incentrate per migliorare la qualità.
Quali dati vengono usati per creare analisi per la qualità della risposta?
La qualità dell'analisi delle risposte si basa su un campione di interazioni di risposte generative . Richiede la query dell'utente, la risposta dell'agente e le fonti di conoscenza pertinenti usate dal modello generativo per la risposta generativa. L'analisi della qualità della risposta usa tali informazioni per valutare se la qualità della risposta generativa è buona e, in caso contrario, perché la qualità è scarsa. Ad esempio, la qualità della risposta può identificare risposte incomplete, irrilevanti o non completamente fondate.
Quali sono le limitazioni della qualità dell'analisi delle risposte e come gli utenti possono ridurre al minimo gli effetti di queste limitazioni?
La qualità dell'analisi delle risposte non si avvale di tutte le risposte generate. L'analisi misura invece un esempio di sessioni dell'agente utente. Gli agenti con meno del numero minimo di risposte generative riuscite non possono ricevere una qualità di riepilogo analitico della risposta.
Esistono casi in cui l'analisi non valuta accuratamente una singola risposta. In un livello aggregato, deve essere accurato per la maggior parte dei casi.
L'analisi della qualità delle risposte non fornisce una suddivisione delle query specifiche che hanno portato a prestazioni di bassa qualità. Non forniscono inoltre una suddivisione delle fonti di conoscenza comuni o degli argomenti usati quando si verificano risposte di bassa qualità.
Le analisi dei dati non vengono calcolate per le risposte che usano conoscenze generative.
La completezza delle risposte è una delle metriche utilizzate per valutare la qualità delle risposte. Questa metrica misura quanto la risposta affronta completamente il contenuto del documento recuperato.
Se il sistema non recupera un documento rilevante con informazioni aggiuntive per la domanda, non valuta la metrica di completezza di quel documento.
Quali protezioni sono disponibili per la qualità dell'analisi delle risposte all'interno di Copilot Studio per l'IA responsabile?
Gli utenti degli agenti non visualizzano i risultati dell'analisi. I risultati sono disponibili solo per i creatori di agenti e gli amministratori.
Gli autori e gli amministratori possono usare solo la qualità dell'analisi delle risposte per visualizzare la percentuale di risposte di buona qualità e qualsiasi motivo predefinito per prestazioni scarse. I risultati vengono aggregati e presentati come percentuali e categorie predefinite.
L'analisi è stata testata per la qualità delle risposte accuratamente durante lo sviluppo per garantire prestazioni ottimali. Tuttavia, in casi rari, la qualità delle valutazioni della risposta potrebbe risultare imprecisa.
Analisi del sentimento per le sessioni di conversazione
Qual è l'uso previsto dell'analisi del sentiment?
Usare l'analisi del sentiment per comprendere il livello di soddisfazione degli utenti nelle sessioni di conversazione in base a un'analisi di intelligenza artificiale dei messaggi utente all'agente. È possibile comprendere il sentiment complessivo della sessione (positivo, negativo o neutro), esaminare i motivi e adottare misure per risolverlo.
Quali dati vengono usati per l'analisi del sentiment?
L'analisi del sentiment utilizza i messaggi degli utenti inviati all'agente per un campione di sessioni di conversazione.
L'analisi del sentiment utilizza queste informazioni per valutare se la soddisfazione dell'utente durante la sessione è positiva, negativa o neutra. Ad esempio, un utente può usare parole e un tono di voce che indicano frustrazione o insoddisfazione in base all'interazione con l'agente. In questo caso, la sessione è classificata come sentimento negativo.
Quali sono i limiti dell'analisi del sentiment e come possono gli utenti mitigare questi limiti?
Le analisi dei sentimenti non vengono calcolate usando tutte le sessioni conversazionali. L'analisi misura invece un esempio di sessioni dell'agente utente. Gli agenti al di sotto di un numero minimo di risposte generative giornaliere di successo non possono ricevere un punteggio sentimentale.
L'analisi del sentiment attualmente dipende dalle risposte generative e richiede un numero minimo di risposte giornaliere di successo per calcolare il punteggio di sentiment dell'agente.
Per calcolare il sentiment di una sessione, devono esserci almeno due messaggi utente. Inoltre, a causa delle attuali limitazioni tecniche, l'analisi del sentiment non viene eseguita su sessioni che superano un totale di 26 messaggi (inclusi sia i messaggi dell'utente che degli agenti)
L'analisi del sentiment non fornisce una suddivisione dei messaggi specifici degli utenti che hanno portato al punteggio di sentiment.
Quali protezioni sono disponibili per l'analisi del sentiment all'interno di Copilot Studio per l'intelligenza artificiale responsabile?
Gli utenti degli agenti non visualizzano i risultati dell'analisi. I risultati sono disponibili solo per i creatori di agenti e gli amministratori.
È possibile usare l'analisi del sentiment solo per visualizzare la suddivisione del sentiment in tutte le sessioni.
Abbiamo testato accuratamente l'analisi del sentiment durante lo sviluppo per garantire buone prestazioni. Tuttavia, in casi rari, le valutazioni del sentiment potrebbero essere imprecise.
Temi delle domande dell'utente
Qual è l'uso previsto dei temi?
Il clustering in base ai temi e all'analisi a livello di tema consente di comprendere rapidamente cosa chiedono gli utenti su larga scala. Questa funzionalità analizza grandi volumi di query utente e presenta argomenti di alto livello ("temi") che rappresentano gli argomenti principali a cui gli utenti si preoccupano. Questa analisi consente di passare dall'analisi delle singole conversazioni all'identificazione di modelli più ampi, esigenze emergenti e aree di interesse.
Fornendo una panoramica strutturata basata sui dati dell'attività utente, l'analisi a livello di tema consente di:
Identificare gli argomenti più comuni con cui gli utenti interagiscono.
Rilevare lacune nella copertura o in esperienze poco chiare.
Monitorare l'evoluzione degli interessi degli utenti nel tempo.
Classificare in ordine di priorità i miglioramenti in base alla domanda reale degli utenti.
Come funziona l'analisi dei temi a livello generale?
Questa funzionalità opera come processo a più fasi che organizza continuamente le query utente in gruppi significativi. A livello generale, questo processo include due fasi chiave:
Generazione dei candidati dei temi
Il sistema analizza un set recente di query utente e identifica i temi candidati che rappresentano argomenti di alto livello distinti. Il sistema rileva modelli, analogie e soggetti ricorrenti tra le query per derivare questi candidati.
Attribuzione di query ai temi
Dopo che il sistema genera i temi candidati, associa le singole query al tema più rilevante. Ogni tema rappresenta una raccolta di domande utente correlate e si evolve man mano che il sistema elabora nuove query. Il sistema affina questi temi nel tempo usando segnali come la somiglianza semantica e il feedback degli utenti. Questo processo di perfezionamento consente alla rappresentazione di adattarsi man mano che cambia il comportamento dell'utente.
Quali dati vengono usati per creare temi?
Gli utenti generano temi dalle query che generano risposte generative. Il processo è incentrato su una finestra recente di attività per garantire che i temi riflettano gli interessi degli utenti correnti e le tendenze in continua evoluzione. Man mano che i nuovi dati diventano disponibili, il sistema aggiorna i temi per mantenerli rilevanti.
Poiché i temi si basano su modelli nelle query utente, la funzionalità dipende dalla presenza di una quantità significativa di attività da analizzare. In situazioni in cui sono presenti dati limitati o query altamente frammentate, il sistema potrebbe non generare temi o fornire informazioni dettagliate limitate.
Quali sono le limitazioni dell'analisi del tema e come posso attenuarle?
L'analisi dei temi è un sistema di clustering basato sui dati e la sua efficacia dipende dalla natura e dal volume delle query utente. Alcune potenziali limitazioni includono:
I dati insufficienti o altamente diversificati potrebbero causare temi troppo ampi o limitati.
Gli argomenti strettamente correlati possono talvolta essere suddivisi in temi separati.
Le query non correlate possono essere raggruppate occasionalmente.
Le modifiche apportate alla lingua dell'utente nel tempo potrebbero influire sulla coerenza dei temi.
Per ottenere il massimo valore dai temi:
Esaminare regolarmente i temi generati.
Fornire feedback (ad esempio: pollici su o giù) per migliorare la qualità.
Interpretare i temi come informazioni dettagliate direzionali anziché categorizzazioni esatte.
Quali protezioni di intelligenza artificiale responsabili sono disponibili?
Il clustering e l'analisi dei temi sono progettati tenendo presente i principi di IA responsabili.
I creatori autorizzati e gli amministratori sono gli unici che possono vedere i temi.
Solo quelli autorizzati a visualizzare le query utente possono visualizzare la suddivisione dei temi.
I temi riflettono il contenuto delle query utente, quindi forniscono un riepilogo onesto per i creatori e gli amministratori da visualizzare.
Queste misure di sicurezza consentono di garantire che i temi forniscano informazioni dettagliate utili mantenendo un'esperienza sicura e controllata.
Analisi delle metriche personalizzate
Qual è l'uso previsto delle metriche personalizzate?
Utilizza analisi di metriche personalizzate per capire come i tuoi agenti conversazionali influenzano i risultati aziendali. Esempi includono il tasso di follow-up, la classificazione dell'intento del cliente e altre misurazioni specifiche per il tuo scenario aziendale.
Le metriche personalizzate possono mostrare dove gli agenti non riescono a raggiungere gli obiettivi previsti. Definisci cosa misurare, testa la metrica con i dati della sessione campione e affina la descrizione in base ai risultati.
Quali dati vengono usati per calcolare le metriche personalizzate?
Le metriche personalizzate utilizzano i messaggi conversazionali scambiati durante una sessione, inclusi i contenuti inviati nei messaggi Adaptive Card. Non usano dettagli di invocazione degli strumenti o informazioni memorizzate in sistemi esterni.
Preview valuta un campione di sessioni storiche così puoi testare la metrica prima di salvarla. Dopo aver salvato la metrica, Copilot Studio la calcola per tutte le sessioni applicabili dei sette giorni precedenti e poi la calcola quotidianamente per le nuove sessioni.
A seconda della descrizione della metrica, Copilot Studio classifica le sessioni in categorie generate o assegna un punteggio numerico. Le metriche numeriche calcolano un punteggio medio. Un risultato numerico nullo significa che la sessione non ha dati per la metrica; non rappresenta un punteggio zero.
Quali sono le limitazioni delle metriche personalizzate e come gli utenti possono ridurre al minimo gli effetti delle limitazioni?
Le metriche personalizzate possono valutare solo le informazioni contenute nei messaggi della conversazione. Non possono verificare risultati che avvengono al di fuori della conversazione, come una transazione completata successivamente in un sistema esterno. Una metrica può anche produrre risultati limitati quando la sua descrizione è vaga o quando le sessioni disponibili non contengono le informazioni necessarie per calcolarla.
Ogni metrica produce un risultato per ogni sessione applicabile. Le metriche numeriche supportano i punteggi con aggregazione media; non estraggono e aggregano importi delle transazioni o altri valori numerici arbitrari.
Il modello di IA potrebbe classificare erroneamente o assegnare un punteggio errato alle singole sessioni. Rivedi i risultati dell'anteprima e il ragionamento prima di salvare una metrica. Le sessioni che non corrispondono a una categoria di classificazione generata vengono inserite nella categoria di riserva Altro . Se i risultati di anteprima non corrispondono ai risultati attesi, affina la descrizione della metrica e visualizzala di nuovo in anteprima.
Se si modificano significativamente le istruzioni o la configurazione di un agente dopo aver definito una metrica, la metrica potrebbe non riflettere più accuratamente il comportamento aggiornato dell'agente. Controllare le metriche personalizzate dopo aver apportato modifiche significative all'agente.
Quali protezioni sono disponibili per le metriche personalizzate all'interno di Copilot Studio per l'IA responsabile?
Le persone che hanno accesso alla pagina Monitor dell'agente possono visualizzare i risultati aggregati delle metriche personalizzate. Il ruolo di sicurezza Bot Transcript Viewer è necessario per aprire i messaggi di una singola sessione. Gli utenti che interagiscono con l'agente non hanno accesso ai suoi risultati di analisi.
Prima di salvare, esaminare e approvare tutte le metriche personalizzate. Durante la definizione della metrica, si confronta la metrica con i dati di sessione campione e si esaminano i risultati individuali e il ragionamento del modello. Se i risultati non soddisfano le aspettative, è possibile aggiornare o eliminare la metrica. Copilot Studio non calcola una metrica salvata senza la tua esplicita conferma.
Il prompt di calcolo generato dall'IA è visibile e in sola lettura, così puoi capire come Copilot Studio interpreta la descrizione della tua metrica. Puoi modificare o cancellare metriche personalizzate.
Le singole classificazioni, i punteggi e il ragionamento delle singole sessioni possono essere imprecisi. Ripassa i risultati in aggregato e affina la descrizione della metrica quando l'anteprima non corrisponde alla misurazione prevista.