自律エージェントのパフォーマンスを分析する

Copilot Studio の 分析 ページでは、分析セッション 全体における イベント トリガー を使用するエージェントの総合的な正常性に関する集計分析情報を提供します。 また、このページには、エージェントの高レベルの主要業績評価指標 (KPI) メトリックを提供する [概要 ] 領域、エージェントまたはエージェントのツールに起因する時間とコストの節約を分析する [節約 ] 領域、およびエージェントのパフォーマンスに関する主要な分析情報を提供する [概要 ] 領域も表示されます。

詳細情報については、以下をご覧ください。

• 概要と要約エリアについては、分析の概要を参照してください
• 節約領域については、「エージェントの時間とコスト削減の分析」を参照してください。

自律エージェントのパフォーマンスを検証、改善する際には、以下の 4 つの重点領域に焦点を当てる必要があります:

• 実行の結果: トリガーによって開始されたセッションの最終結果を知ることで、エージェントが成功している点と改善が必要な点を特定することができます。
• トリガーの使用: どのトリガーがどのくらいの頻度で使用されているかを確認すると、エージェントが何をしているのか、なぜ行っているのかを理解するのに役立ちます。
• ツールの使用: ツールがどのくらいの頻度で使用され、どのくらいの頻度で成功しているかを学ぶことで、それらのツールが有用で成功しているかどうかを理解することができます。
• ナレッジ ソースの使用: 個々のナレッジ ソースを使用する頻度と、エージェントがエラーを返した頻度を学習します。

時間の範囲を変更するには、分析 ページの上部にある範囲ドロップダウンを選択します。 過去 90 日間に発生したセッションの分析を表示できます。

実行結果

実行の結果 セクションには、各セッション の結果の種類を追跡するグラフが表示されます。

実行結果データ (グラフで可視化されたデータ) をダウンロードするには、メニュー アイコン を選択し、CSV のダウンロード を選択します。

また、セッション 期間の内訳も確認できます。 実行の結果 グラフで 詳細の表示 を選択します。 サイド パネルが開き、成功した実行と失敗したセッションの平均期間と、セッションの長さが時間の経過と共にどのように変化したかが表示されます。

セッション期間が長くなると、エージェントが含まれるワークフローで遅延が発生する可能性があります。 トリガーまたはエージェント レベルでより具体的な手順を提供することで、エージェントの速度を向上させることができます。

トリガーの使用

トリガーの使用 セクションには、各トリガーがセッションを開始した頻度を追跡するグラフとメトリックが表示されます。 このグラフは、時間の経過に伴うトリガーの使用の変化を示しています。

詳細の表示 を選択すると、選択した期間中に使用されたすべてのトリガーの内訳、実行をトリガーした最も一般的なイベント、実行の失敗が最も多かったイベントが表示されます。

この情報を使用して、改善のために特定の実行をターゲットにし、エージェントが最も多く応答するイベントの種類を把握できます。

ツールの使用

ツールの使用状況セクションでは、ツールが起動される頻度を時間軸で追跡するグラフと指標、エージェントがそれらのツールを正常に使用した頻度が表示されます。 また、エージェントが各ツールを使用する頻度を示す傾向指標と、呼び出されたツールのうち正常に使用された割合も表示します。

このグラフには、 Analytics ページの上部で定義された期間に使用された上位 5 つのツールが表示されます。

グラフの下の凡例で、いずれかのツールにカーソルを合わせると、グラフ内でそのツールが強調表示されます。

指定した期間に使用されたすべてのツールの一覧とトレンド指標を表示するサイドパネルを開くには、チャート上の詳細を表示を選択します。 ツール使用状況パネルでは、各ツールで使用された問題の割合の計算結果を表示できます。 エージェントに子エージェントがある場合、メインエージェントと子エージェントの両方 (すべて)、メイン エージェントのみ、または子エージェントのみの計算結果を表示するように選択できます。

知識源の利用

ナレッジ ソースの使用 セクションでは、エージェントが ナレッジ ソース をどのように使用しているか、およびそれらのソースがエージェントをどの程度効果的にサポートしているかについての分析情報が提供されます。 パネルには、定義された日付範囲で使用される上位 5 つのナレッジ ソースが表示されます。これには、各ソースの種類、合計質問、応答の品質、反応が含まれます。 一覧表示されているソースのいずれかをクリックすると、そのソースを参照したすべての ユーザーの質問 のページが開きます。 パネルの右上隅にある [ すべて表示 ] ボタンを選択して、エージェントが使用するすべてのナレッジのページを開きます。

[ 詳細を表示] を選択して、ナレッジ ソースの使用傾向とエラー率を含むサイド パネルを開きます。 これらのグラフを使用して、ユーザー支援に効果的なナレッジソースと、改善すべき対象を特定できます。

サイドパネルで すべて を選択すると、メイン エージェントと子エージェントの両方のメトリクスが表示されます。メイン エージェント を選択するとメインエージェントのみのメトリクスが表示されます。子エージェント を選択すると子エージェントのみのメトリクスが表示されます。

• ソースの使用傾向 は、選択した期間にエージェントによって ナレッジ ソース が使用された頻度のグラフです。 グラフの下の凡例で、いずれかのナレッジ ソースにカーソルを合わせてグラフ内のナレッジ ソースを強調表示し、グラフ ビューからナレッジ ソースを選択して有効または無効にします。
• エラー は、エラーが発生した、各ナレッジ ソースの種類 (SharePoint など) を使用したセッションの割合を示します。