Copilot Studio の Analytics ページには、analytics セッション全体にわたるエージェントの全体的な有効性に関する集計された分析情報が表示されます。 このページは、さまざまなパフォーマンス コンテキストに重点を置くコア領域に分かれています。 また、このページには、エージェントの高レベルの主要業績評価指標 (KPI) メトリックを提供する [概要 ] 領域、エージェントまたはエージェントのツールに起因する時間とコストの節約を分析する [節約 ] 領域、およびエージェントのパフォーマンスに関する主要な分析情報を提供する [概要 ] 領域も表示されます。
詳細情報については、以下をご覧ください。
- 概要と要約エリアについては、分析の概要を参照してください
- 節約領域については、「エージェントの時間とコスト削減の分析」を参照してください。
会話エージェントの有効性を確認して改善する際に重点を置く 7 つの主要な領域があります。
[分析] ページには、会話エージェントの有効性を確認して改善するための 7 つの主要な領域があります。
- テーマ: テーマ は、ユーザーの質問を AI が提案するカテゴリにクラスタリングすることで、分析の分析情報を得るのに役立ちます。
- 会話の結果: 会話の最終的な結果を知ることで、エージェントが成功している場所と改善が必要な場所を特定し始めるのに役立ちます。
- エージェント: 子エージェントと接続済みエージェントの通話量指標、成功率、現在のステータスを確認します。
- 生成された回答率と品質: エージェントがユーザーの質問に対する回答を提供するのに苦労する時期と、ナレッジ ソースを使用する方法を理解することは、エージェントの回答率と品質を向上させる方法を見つけるのに役立ちます。
- ツールの使用: ツールが使用される頻度と、ツールが成功する頻度を学習すると、それらのツールがユーザーにとって役立ち、成功しているかどうかを理解するのに役立ちます。
- 有効性: ユーザーフィードバックを確認することで、新しいユーザーのシナリオと問題を特定し、ユーザーが求めている内容に基づいて直接改善を行うことができます。
- ナレッジ ソースの使用: 個々のナレッジ ソースが使用される頻度とエラーを返す頻度を学習すると、エージェントの回答の品質とカバレッジを向上させることができます。
過去 90 日間に発生したイベントの分析を表示できます。
会話の結果
会話の結果 セクションには、エージェントとユーザー間の各セッションにおける結果の種類を追跡するグラフが表示されます。
グラフは、積み上げヒストグラムまたは積み上げ面グラフのいずれとして表示されるかに関係なく、色分けされ、種類別に積み上げられた結果の相対的な量を視覚化します。 解決済み、エスカレーション済み、破棄済み、および エンゲージメントなし はそれぞれ、各データ ポイントのそれぞれの色で表されます。 y 軸はセッション数を示します。
1 つのデータ ポイント (特定の日) に固有の個々の結果に関するメトリックを表示するには、関心のある日の指定された結果の色 (たとえば、キャンセル済みを示すティール色) を表す領域にマウスカーソルを合わせてください。 この例では、11 月 24 日にすべてのセッション結果の 35.6% を表す 90 の破棄されたセッションがありました。
グラフの下の凡例で、いずれかの結果ラベルにカーソルを合わせると、グラフ内でその結果が強調表示されます。
積み上げ面グラフの結果を表示または非表示にするには、凡例ラベルの 1 つまたは複数を選択 (オンまたはオフ) します。 これを行って、次の場合に残っている結果をより明確にします。
- 個々の結果行が視覚的にまとまって表示されます。
- 傾向線が正または負の傾向にあるが、グラフ上の積み上げ結果の集計によってこれらの傾向線がフラット化されている場合、より明確に表示したいと考えます。
Note
この方法でグラフから結果を削除すると、表示された結果の大きなプールからその結果が削除されます。 表示された結果を削除すると、比率の分母が変更されるため、プールに対する残りの結果の表示パーセント値が変更されます。
次の例では、グラフから エスカレーション済み ラベルと エンゲージメントなし ラベルが削除されています。 ヒントは、11 月 23 日に破棄されたセッションが 95 件あることを示しています。これは、グラフに表示されている残りの結果の 60.5% ( 解決済み + 破棄済み 結果の合計) を表しています。
会話の結果データ (グラフに視覚化されたデータ) をダウンロードするには、メニュー アイコン
を選択し、[ CSV のダウンロード] を選択します。
Note
ダウンロード時にグラフから結果を削除した場合、そのデータは CSV に表示されません。
会話の結果に関する詳細情報を含むサイド パネルを開くには、グラフで 詳細を表示 を選択します。 会話の結果 サイド パネルには次のものが含まれます。
- セッション の結果の円グラフの内訳。解決済み、エスカレーション済み、および破棄済み 結果の相対的な重み付け (パーセント表示) を示しています。
- 解決されたすべてのセッション結果を説明する、解決済み確認済み と 暗黙的解決済み の結果の理由の、相対的な重み付け (パーセント表示) を示す積み上げ横棒グラフです。
- エスカレーションされたすべてのセッション結果を説明する、システムが意図した、システムが意図しない、および ユーザーが要求した 結果の理由の、相対的な重み付け (パーセント表示) を示す積み上げ横棒グラフです。
- 各結果につながった上位のトピック。
Note
生のカウント情報を含むヒントを表示するには、円グラフまたは積み上げ横棒グラフセグメントのいずれかにカーソルを合わせます。
セッション は、次の 2 つの状態のいずれかになります。
エンゲージメントなし: ユーザーがエージェントと対話するか、エージェントがユーザーにプロアクティブ メッセージを送信すると、セッションが開始されます。 セッションは 従事していない 状態で始まります。
エンゲージ: ユーザーはエージェントとアクティブに対話します。 エージェントのオーケストレーション モードに基づく動作には違いがあります。
クラシック オーケストレーション: セッションは、以下のいずれかのトピックがトリガーされたときにエンゲージされます。
- ユーザーが直接トリガーするカスタム トピック
- トピックを優先する
- フォールバック トピック
- 会話を促進するトピック
生成型AIオーケストレーション: ユーザーがプランを直接トリガーし、次のいずれかの要素を含めると、セッションが開始されます。
- 非システム トピック
- トピックを優先する
- フォールバック トピック
- 知識の源泉
- ツール
関与したセッションには、次のいずれかの結果があります。
| 結果カテゴリ | 結果 | 説明 |
|---|---|---|
| 解決済み | セッションは正常に終了します。 解決されたセッションには、解決済みの確認済みセッションと暗黙的な 解決 済みセッションの 2 種類 があります。 | |
| 解決済み確認済み | セッションは、会話の終了 トピックがトリガーされ、ユーザーが対話が成功したことを確認した時点で 解決済み確認済み と見なされます。 | |
| 暗黙的解決済み | セッションは、ユーザーによる確認なしに、代わりにエージェントのロジックに基づいて完了した場合に、暗黙的解決済み と見なされます。
解決済みの暗黙的な状態は、エージェントがクラシック AI オーケストレーションと Generative AI オーケストレーションのどちらを使用しているかによって異なります。 - クラシック オーケストレーション: セッションは、会話の終了 トピックがトリガーされ、ユーザーが確認を提供せずにセッション タイムアウトを許容した場合に、暗黙的解決済み と見なされます。 - 生成 AI オーケストレーション: セッションは、セッションがタイムアウトし、アクティブなプランが残っていない場合に、暗黙的に解決済み と見なされます。 アクティブなプランは、ユーザーの入力を待機しているプランです。 |
|
| エスカレーション済み | エスカレーション トピックがトリガーされるか、エージェントに転送 ノードが実行されると、セッションは終了し、エスカレート済みと見なされます (会話がライブ チャット オペレーターに転送されるかどうかに関係なく、現在の分析セッションは終了します)。 エスカレーションされたセッションには、 システムが意図した、 システムが意図しない、およびユーザーが要求した の 3 種類があります。 | |
| システムの意図 | 作成者によって設定された自動ビジネス ルールの結果として、セッションが自動的にエスカレートされます。 エスカレーションは会話の結果として予想されるものであり、調査や変更が必要なことではありません。 例: ユーザーが 25,000 ドルを超える情報をサード パーティに転送する。 この量がビジネス ルールのしきい値を超えると、結果としてセッションが自動的にエスカレートされます。 |
|
| システムの予期しない動作 | エスカレーションは、セッションが作成者によって設定された 1 つ以上のしきい値を超えた結果として自動的に発生します。 通常、この結果はユーザーが会話に詰まっており、助けを必要としていることを示します。 例: セッションが特定のタスクを実行するために 3 回失敗した後にエスカレートされる。 |
|
| ユーザーが要求した | 会話中に明示的なユーザー要求があったため、セッションはエスカレートされます。 例: ユーザーが Transfer me to an agent を入力する。 |
|
| 中止 | 実行中のセッションが 30 分後にタイムアウトし、解決済みまたはエスカレーション済み状態に到達しなかった場合、セッションは終了し、放棄済み と見なされます。 |
ツール コード エディターを使用して、 conversationOutcome パラメーターを使用してツールの結果を設定することもできます。 たとえば、確認された成功の場合は conversationOutcome: ResolvedConfirmed、暗黙の成功の場合は conversationOutcome: ResolvedImplied です。
エンゲージメントの測定に関するガイダンス文書をご参照ください。測定や改善の方法に関する提案やベストプラクティスが示されています。
エージェント
エージェント一覧には、メイン エージェントの接続済みエージェントおよび子エージェントに関する、高レベルのボリューム、パフォーマンス、ステータス指標が表示されます。 一覧では、種類列において、記載されたエージェントがメインエージェントと持つ関係の種類を識別します。 エージェントが子エージェントの場合、その種類は Child となります。 接続されたエージェントには、作成された場所を反映する一覧の種類があります (例: Copilot Studio、Azure AI Foundry)。 各リストされたエージェントの通話 メトリクスは、メイン エージェントから接続済みまたは子エージェントへの通話量を表します。
成功率は、正常に完了した通話の割合 (すべての通話の割合) を反映します。
状態は、接続されているエージェントと子エージェントごとの個々の管理状態を示します。
既定では、エージェントの一覧にはメイン エージェントの接続済み子エージェント上位 5 件が表示され、質問総数の多い順にランク付けされます。 5 つ以上のエージェントがある場合は、すべて表示するを選択してすべてのエージェントを表示します。
Note
すべて表示ボタンは、メイン エージェントに接続されているエージェントまたは子エージェントが 5 つ以上存在する場合にのみ表示されます。
生成される回答率と質
生成型回答では、エージェントは AI を使用して、ナレッジソースと提供された指示に基づいて、ユーザーの質問に対する回答を生成できます。 ただし、エージェントがすべてのユーザー クエリに応答できない場合があります。 [生成された回答率と品質] セクションでは、応答のないクエリと回答の品質を追跡、整理、分析して、エージェントの応答パフォーマンスを向上させるためのガイダンスを提供します。
回答率には、選択した期間内の回答および未回答の質問の数と、時間の経過に伴う変化率が表示されます。
回答の品質 は、AI を使用して回答の品質を測定します。 Copilot Studio は、回答された質問のサンプル セットを調べて、応答の完全性、関連性、根拠のレベルなど、さまざまな品質を分析します。 回答が一定の標準を満たしている場合、Copilot Studio は回答を 良い 品質としてラベル付けします。 Copilot Studio では、その標準を満たしていない回答に 品質の低い ラベルが付けられます。 低回答の場合、Copilot Studio は品質評価の理由を割り当て、各カテゴリに割り当てられた回答の割合を示します。
グラフ内の棒グラフの任意のセグメントにカーソルを合わせると、良い または 悪い 品質ラベルの個々の理由の相対的な重みが表示されます。 ヒントには、計算されたパーセント値に到達するためにサンプリングされた回答の数も示されます。
グラフの下の凡例で、いずれかの品質ラベル理由にカーソルを合わせると、グラフ内でその理由が強調表示されます。
横棒グラフのセグメントを選択すると、その応答品質でフィルター処理された ユーザーの質問 のページが開きます。 [ 質問の表示 ] を選択すると 、構成された期間内のすべての質問のフィルター処理されていない一覧が表示 されます。
ユーザーの質問の一覧を詳細に調べる
ドリルダウンして、メトリックとサポート コンテキストに貢献した特定の質問 (エージェントの応答方法、ユーザーの反応、関連するナレッジ ソースなど) を表示します。 このビューは、応答の品質に関するより良い分析情報を提供し、ナレッジ カバレッジの可能性のあるギャップを特定するのに役立ちます。
Important
リストとそのメトリックを表示するには、 Bot Transcript Viewer セキュリティ ロールが必要です。 管理者のみが、エージェントの共有時に ボット トランスクリプト ビューアー セキュリティ ロールを割り当てる ことで、このロールを付与することができます。
単一またはグループ環境でこのセキュリティ ロールを有効にするには、「 トランスクリプト設定を構成する方法」を参照してください。
現在、質問の一覧へのドリルダウンは、生成された回答率と品質、ナレッジ ソースの使用に関するメトリック パネルでサポートされています。
質問ウィンドウの一覧にドリルダウンするには:
- [ 生成された回答率と品質 ] パネルで、[ 質問の表示] を選択します。
- [生成された回答率と品質] パネルで、上にマウス ポインターを合わせ、[良い] または [低] の回答バー セグメントを選択します。
- [生成された回答率と品質] パネルで、[回答済み] または [未回答] の質問の割合メトリックを選択します。
- [ナレッジ ソースの使用] パネルで、一覧表示されているソースのいずれかをクリックするか、[すべて表示] を選択して、エージェントで使用されているすべてのナレッジ ソースのページを開き、目的のソースを選択します。
ユーザーの質問リストは、ドリルダウンしたデータ ポイントに基づいてフィルター処理されます。 これは、質問リストの上の既定のフィルター設定に反映されます。 たとえば、[生成された回答の品質] タイルで [低品質] バーの不適切なバー セグメントを選択すると、一覧に表示されている質問に対して [応答品質] フィルターがIrrelevantに設定されます。
必要に応じて、リスト ページで次のアクションを実行できます。
- さらにフィルター処理を適用 して、リストのディメンション フィルターを使用して質問の一覧をさらに絞り込みます。
- 評価のテスト メソッドで定義した条件に従って、一覧表示されている質問を評価します。
- 一覧表示されている質問を .csv ファイルとしてダウンロードします。
- 個々の質問に固有の詳細情報を参照してください。
質問ウィンドウの一覧には、次のものが表示されます。
| Column | 説明 |
|---|---|
| 質問 | 質問がされた。 |
| 答えた | 生成 AI 応答の状態: 回答済みまたは応答なし。 |
| 応答の品質 | サンプリングされた質問の応答品質。 設定可能な値は Poor および Good です。 |
| 反応 | 親指を立てるか、親指を下げるか、または反応をしないかを選び、必要に応じてテキストベースのコメントを追加することができます。 |
| 日付 | 質問が回答された日付。 |
| 知識源 | エージェントの応答で引用されたナレッジ ソースの一覧。 |
詳細については、[質問の 詳細を表示 ] を選択して、質問の詳細サイド パネルを開きます。 このパネルには、各質問に関連する応答品質に関する追加の分析情報が表示されます。
| 詳細な質問レベルのパラメーター | 説明 |
|---|---|
| タイム スタンプ | 質問が回答された最新のインスタンスのタイムスタンプ。 |
| ユーザー クエリ | 質問がされた。 |
| 応答 | 生成 AI 応答。 |
| 高評価/低評価の値 | Thumbs up/Thumbs down パラメーターに対するこの質問の最新のインスタンスの値。 |
| コメント | 「いいね」/「よくないね」 という反応に加え、ユーザーが提供するオプションのテキストベースのコメント。 |
| 応答品質1 | ユーザー クエリに対する応答の品質に関する質問に対する回答。 設定可能な値は Poor および Good です。 |
| 理由2 | 応答品質が Poor場合、このパラメーターはその理由を説明します。 |
1 応答品質は常に使用できるわけではありません。品質分析のために質問がサンプリングされた場合にのみ表示されます。
2 応答品質が Good の場合、または質問がサンプリングされなかった場合、Reason パラメーターには値が割り当てられません。
セッションを詳細に分析する
セッションにドリルダウンして、メトリックに貢献した特定のセッションを表示し、基になるセッション データを調べます。 このより深いビューは、最上位レベルのエージェント メトリックの背後にある 理由 と 方法 を理解するのに役立ち、潜在的な問題を特定して調査することができます。
セッションの一覧を使用してエージェントのパフォーマンスを分析し、セッションの結果 (resolved、 escalated、 abandoned、または unengaged) につながるセッション レベルのデータを調べることで調査します。 たとえば、チャネルでフィルター処理し、低 CSAT セッションに焦点を当て、セッション データを掘り下げ、それらのチャネルの顧客のエクスペリエンスが低下している理由を把握します。
セッションリストウィンドウにドリルダウンするには:
- [会話の結果] パネルで、[セッションの表示] を選択して、分析期間のすべてのセッションを表示します。
- [会話の結果] パネルで、[詳細を表示] を選択します。 これにより、会話セッションの結果に関するその他のメトリックのサイド ウィンドウが開きます。 強調表示されているメトリック プロットを選択して、セッションのフィルター一覧を表示します。
セッション一覧は、ドリルダウンしたデータ ポイントに基づいてフィルター処理されます。 これは、セッション一覧の上の既定のフィルター設定に反映されます。 たとえば、[
必要に応じて、[*Sessions]\(セッション\) リスト ページでより多くのフィルター処理を適用して、リストのディメンション フィルターを使用してセッションのリストをさらに絞り込むことができます。 いずれかのセッションをクリックすると、セッショントランスクリプト ウィンドウが表示されます。
Note
セッションを表示するには、 Bot Transcript Viewer のセキュリティ ロールが必要です。
セッションの一覧は毎日更新され、1 日あたり最大 10,000 セッションが表示されます。 過去 28 日間のセッションのみが保存され、表示できます。
セッション ウィンドウの一覧は、次のパラメーターで並べ替えられます。
| 詳細なセッション レベルのパラメーター | 説明 |
|---|---|
| [開始時間] | セッションが呼び出されたときのタイムスタンプ。 |
| 期間 | エージェントとの会話の長さ (分と秒で表示)。 |
| Messages | ユーザーとエージェントの間で交換されたメッセージの数。 |
| 結果 | エージェントの会話の結果。 指定できる値は、Resolved、Escalated、Abandoned、および Unengaged です。 |
| 結果の理由 | セッションの結果が発生した理由を説明する追加のコンテキスト (システム エラーや暗黙的な解決など)。 |
| チャネル | Teams、Microsoft 365 Copilot、SharePointなど、会話が行われたチャネル。 |
| CSAT(顧客満足度) | ユーザーフィードバックに基づくセッションの顧客満足度 (CSAT) 評価 (使用可能な場合)。 |
ツールの使用
ツールの使用状況セクションでは、ツールが起動される頻度を時間軸で追跡するグラフと指標、エージェントがそれらのツールを正常に使用した頻度が表示されます。 また、エージェントが各ツールを使用する頻度を示す傾向指標と、呼び出されたツールのうち正常に使用された割合も表示します。
このグラフには、 Analytics ページの上部で定義された期間に使用された上位 5 つのツールが表示されます。
グラフの下の凡例で、いずれかのツールにカーソルを合わせると、グラフ内でそのツールが強調表示されます。
指定した期間に使用されたすべてのツールの一覧とトレンド指標を表示するサイドパネルを開くには、チャート上の詳細を表示を選択します。 ツール使用状況パネルでは、各ツールで使用された問題の割合の計算結果を表示できます。 エージェントに子エージェントがある場合、メインエージェントと子エージェントの両方 (すべて)、メイン エージェントのみ、または子エージェントのみの計算結果を表示するように選択できます。
有効性
[有効性] セクションには、セッションの反応、エージェントの回答、アンケート結果、センチメント スコアから収集されたユーザー フィードバックが表示されます。 満足度は、多くのサブセクションに分かれています。
- 反応: 特定のエージェントの応答に対する、ユーザーの「高評価/低評価」フィードバックやコメントを含む応答。
- 顧客満足度: 顧客満足度 (CSAT) スコアの表示。
- センチメント (プレビュー): セッション全体の AI ベースのセンチメント分析。
フィードバック データは、Dataverse の会話トランスクリプト テーブルに格納されます。 この機能をサポートするチャネルの一覧については、機能の詳細を参照してください。
リアクション
[ Reactions]\(反応\ ) セクションには、反応からエージェントの応答まで収集されたユーザー フィードバックが表示されます。 このグラフは、ユーザーがエージェントから受け取った各回答に対して、サムアップ (肯定的) ボタンまたはサムダウン (否定的) ボタンのいずれかを選択した回数をカウントしています。
Note
- Microsoft 365 Copilot チャネルに公開されたエージェントは、反応をサポートしていません。
- コメントを表示するには、ボット トランスクリプト ビューアー セキュリティ ロールが必要です。
ユーザーの反応は既定で [オン] です。 必要に応じて、この機能をオフにすることができます。 ユーザーのフィードバックの使用に関する免責事項を追加または編集することもできます。
エージェントを開き、設定 に移動し、ユーザーフィードバックセクションを探します。
[エージェント メッセージに対するユーザーの反応を収集する] をオンまたはオフにします。
利用規約を追加または編集して、ユーザーがフィードバックの使用方法を確認できるようにします。 プライバシー情報とヒントを提供することもできます。
コメントを詳しく見る
ユーザーが反応した後は、コメントを残すことができます。
[分析] ページで、ユーザーのコメントにドリルダウンするには、[リアクション] タイルの [
コメント] アイコンを選択します。
必要に応じて、[ コメント ] リスト ページで次のアクションを実行できます。
- さらにフィルター処理を適用 して、リストのディメンション フィルターを使用してユーザー コメントの一覧をさらに絞り込みます。
- 評価のテスト メソッドで定義した条件に従って、一覧表示されたコメントを評価します。
- 個々のコメントに固有の詳細情報を参照してください。
反応をドリルダウンする
個々のユーザーの反応に寄与するエージェントの応答の一覧にドリルダウンするには、[ リアクション ] 円グラフで、 サムアップ または サムダウン 円セグメントのいずれかを選択します。 既定では、エージェントの応答の一覧 ( [リアクション ] リスト) は、ドリルダウンしたユーザーの反応に基づいてフィルター処理されます。
必要に応じて、[ リアクション ] リスト ページで次のアクションを実行できます。
- さらにフィルター処理を適用 して、リストのディメンション フィルターを使用して、エージェントの応答の一覧をさらに絞り込みます。
- 評価のテスト 方法で定義した条件に従って、一覧表示されているエージェントの応答を評価します。
- 個々のエージェントの応答に固有の詳細情報を参照してください。
時間の経過に伴う反応の傾向を確認する
[リアクション] タイルの [詳細を参照] を選択して、[リアクション] サイド パネルを開きます。 このパネルは、時間の経過でいいねと悪いねからの肯定的および否定的な反応の傾向を示しています。
顧客満足度
[顧客満足度] セクションには、ユーザーのアンケート結果に基づいてユーザーの満足度に関する情報が表示されます。
満足度スコア: ユーザーがセッションの最後の要求に回答してアンケートを受けたセッションの平均顧客満足度 (CSAT) スコアから計算された 5 つのうちスコア。
Note
1および2のスコアは不満に、3のスコアは中立に、4および5の数値は満足にマッピングされます。セッションごとの満足度:
Dissatisfied、Neutral、Satisfiedの各スコアカテゴリーの相対的な重み付けを可視化した積み重み棒グラフ。 チャートの各セグメントにカーソルを合わせると、サンプルのサイズと各スコアカテゴリーの重み付けの数値が表示されます。 Bot Transcript Viewer 権限を持つユーザーの場合は、選択したバー セグメントの部分に基づいてフィルター処理された 顧客セッションの一覧にドリルダウン できます。
選択した期間の満足度スコアの傾向を表示するには、[ 詳細を表示 ] を選択します。
センチメント (プレビュー)
感情分析では、AI を使用してセッションのサンプルからのユーザー メッセージを分析し、エージェントの全体的なユーザーセンチメントを評価します。 数値は、ネガティブなユーザーセンチメントを持つセッションの割合を表しています。
[ 詳細を表示] を選択すると、各センチメント カテゴリ ( Positive、 Neutral、 Negative) の相対的な重み付けのセンチメント データが表示されます。
知識源の利用
ナレッジ ソースの使用 セクションでは、エージェントが ナレッジ ソース をどのように使用しているか、およびそれらのソースがエラーを返す頻度に関する分析情報を提供します。 使用可能なメトリック、フィルター処理、ドリルダウン機能の詳細については、「 ナレッジ ソースの使用」を参照してください。