セキュリティ データ量の増加が続く中、組織は、AI、コンプライアンス、調査に使用されるテレメトリのコスト効率の高いリテンション期間をバランスを取り、必要なデータのみを高パフォーマンスストレージ層に保持するという課題に直面しています。 インジェスト時にデータを変更してデータ保持戦略を最適化することで、Microsoft Sentinelのデータ変換のフィルター処理と分割を使用して、この課題に対処します。
この記事では、カスタム データ収集規則 (DCR) 構成を手動で作成することなく、フィルターと分割のデータ変換を構成する方法について説明します。 データ インジェストを調整することで、これらの変換によってパフォーマンスが向上し、ノイズが軽減されます。
データ変換を使用すると、格納されるデータと階層を制御することで、セキュリティ データ パイプラインを最適化できます。 フィルター変換と分割変換を使用すると、次の利点があります。
コストの最適化: 脅威の検出に貢献しない価値の低いデータを除外することで、ストレージと処理のコストを削減します。 アクセス頻度の低いデータをコスト効率の高い Data Lake ストレージにルーティングし、優先度の高いデータを分析レベルに保持します。
SOC 効率の向上: アクション可能で価値の高いイベントにセキュリティ オペレーション センター (SOC) を集中させます。 インジェスト時にノイズを取り除くことで、アナリストは無関係なログを分析する時間を短縮し、実際の脅威の調査に時間を費やします。
クエリパフォーマンスの向上: Analytics レベルのデータセットが小さいと、クエリの実行時間が短縮されます。 この改善により、脅威ハンティング、インシデント調査、分析ルールの応答性が向上します。
コンプライアンスとリテンション期間の柔軟性: 運用ワークロードの分析レベルを最適化しながら、Data Lake レベルで規制監査とフォレンジック分析のための包括的なデータ保持を維持します。 このアプローチは、パフォーマンスを損なうことなくコンプライアンス要件を満たします。
スケーラブルなデータ管理: organizationのデータ 量が増えるにつれて、変換によってコストとパフォーマンスを制御できます。 テーブル間で一貫性のあるポリシーを適用して、予測可能なデータ管理を確保します。
フィルター変換と分割変換は、ニーズに合わせてデータを進化させる大規模な変換フレームワークの最初の手順です。 データ変換の概念の詳細については、「Microsoft Sentinelでのカスタム データ インジェストと変換」を参照してください。
前提条件
フィルター変換ルールまたは分割変換ルールを構成する前に、次の要件を確認します。
Microsoft Sentinel ワークスペースを Defender ポータルにオンボードする必要があります。 詳細については、「Microsoft Defender ポータルにMicrosoft Sentinelを接続する」を参照してください。
ロールベースのアクセス制御 (RBAC) が統合されたMicrosoft Defender ポータルで、[データ操作のアクセス許可] グループの下のデータ (管理) アクセス許可。
Microsoft Sentinel ワークスペースには、次のアクセス許可が必要です。
提供する Log Analytics 共同作成者 ロール:
- Microsoft.OperationalInsights/workspaces/write
- Log Analytics ワークスペースに対する Microsoft.OperationalInsights/workspaces/tables/write アクセス許可。
サポートされているテーブル
フィルター変換と分割変換には、テーブルのサポート要件が異なります。
- フィルター処理: データ収集規則 (DCR) をサポートするすべてのテーブルでサポートされます。
- 分割: Analytics のみのインジェスト、Data Lake only インジェスト、およびデータ収集規則 (DCR) をサポートする任意のテーブルでサポートされます。
コネクタのテーブルで DCR がサポートされているかどうかを確認するには、「Microsoft Sentinel データ コネクタを検索する」を参照してください。
フィルター変換
フィルター変換を使用すると、インジェスト中に調査に役立たないデータを破棄することでノイズを減らすことができます。 フィルター変換ルールを使用して、除外するデータを決定する KQL 条件を指定し、残りのデータを分析レベルに送信します。
次の必要がある場合は、フィルター変換を使用します。
- ノイズを減らす: ファイアウォール ログからの "許可" イベントなど、重大度の低い定期的なログを除外して、アクション可能なイベントに SOC を集中させます。
- コストの最適化: 脅威検出に寄与しないデータを破棄することで、ストレージと処理のコストを削減します。
- パフォーマンスの向上: 格納されているデータの量を減らすことで、クエリを高速化し、分析を合理化します。
フィルター変換の次の例を考えてみましょう。
企業はファイアウォール ログに依存して異常を特定します。 ほとんどのファイアウォール ログは、脅威検出に影響しない重大度の低い定期的な "許可" イベントです。 ブロックされたトラフィックや重大度の高いなどの重要なイベントのみを保持し、低価値のログを除外するには、KQL 条件を使用してフィルター変換ルールを作成し、"許可" されていない中程度または高の重大度のデータのみを Analytics レベルに送信します。
分割変換
分割変換を使用すると、指定した条件に基づいて、Analytics 層と Data Lake 層の間でデータをルーティングできます。 分割変換ルールを使用して、Analytics のどのデータが存在するかを決定する KQL 式を定義します。 式と一致しないデータは、Data Lake 層にのみルーティングされます。
注:
分割変換を構成すると、Analytics レベルに指定されたデータも Data Lake 層にミラー化されます。 分析条件に一致しないデータは、Data Lake レベルにのみ適用されます。 この構成により、長期的な保持とコンプライアンスを目的として、すべてのデータが Data Lake で引き続き使用できるようになります。
適切なストレージ層にデータをルーティングしてコストとパフォーマンスのバランスを取る必要がある場合は、分割変換を使用します。
- ストレージ コストを最適化する: 古いログまたはアクセス頻度の低いログを Data Lake 層にルーティングして、コスト効率の高い長期的なストレージを実現します。
- パフォーマンスを維持する: アクティブな脅威ハンティング中にクエリを高速化するために、最新のログを分析レベルに保持します。
- コンプライアンス要件を満たす: 運用の機敏性を損なうことなく、規制監査とフォレンジック分析の履歴ログを保持します。
分割変換の次の例を考えてみましょう。
企業は、脅威の検出とコンプライアンスのために、毎日数百万のファイアウォール ログ エントリを取り込みます。 SOC チームは、アクティブな調査のために最近のログにリアルタイムでアクセスする必要がありますが、規制監査の履歴ログも保持する必要があります。 分析層にリアルタイム データをルーティングし、履歴データを Data Lake 層にルーティングする分割変換ルールを作成します。
重要
Microsoft Sentinelで作成した変換は、DCR を使用してAzure Monitor で作成された変換と競合する可能性があります。 たとえば、特定のリージョン以外のすべてがフィルター処理され、そのリージョンのみを除外するフィルターが適用されているテーブルに DCR が既に適用されている場合、データは取り込まれます。 DCR と変換をテーブルに適用することの組み合わせの効果を理解し、チェックしてください。
フィルター変換ルールを構成する
フィルター変換ルールを作成するには、次の手順に従います。
Microsoft Defender ポータルで、[Microsoft Sentinel>Configuration>Tables] に移動します。
テーブルを選択します。 サイド パネルで、[ フィルター 規則] を選択します。
サイド パネルで、[ ルール名] を入力します。
[ 条件 ] フィールドに、除外するデータを指定する KQL 式を入力します。KQL 式は、取り込みたくないデータに対して true と評価する必要があります。
フィルターを有効にするには、 ルールの状態 スイッチを [オン] に 設定します。
重要
フィルターでデータをフィルター処理します。フィルター条件に一致するデータは破棄され、Analytics レベルまたは Data Lake レベルには取り込まれません。 KQL 式で、除外するデータが正確にキャプチャされていることを確認します。
別の条件を追加するには、[ 条件の追加] を選択し、新しい KQL 式を入力してデータを除外します。 複数の条件が論理 OR と組み合わされるため、いずれかの条件に一致するデータが除外されます。
[ 保存] を選択 してルールを適用します。
テーブルの [変換 ルール] 列を確認して、フィルター 規則が適用されていることを確認します。 列には、 フィルター ルールがアクティブな場合にフィルターが表示されます。
分割変換ルールを構成する
分割変換ルールを作成するには、次の手順に従います。
Defender ポータルで、[Microsoft Sentinel>Configuration>Tables] に移動します。
テーブルを選択し、[ 分割ルール] を選択します。
サイド パネルで、[ ルール名] を入力します。
[ KQL 式 ] フィールドに、分析レベルに取り込むデータを定義する KQL 式を入力します。 この式と一致しないデータは、Data Lake 層に取り込まれます。
[ 保存] を選択 してルールを適用します。
テーブルの [変換 ルール] 列を確認して、分割ルールが適用されていることを確認します。 分割 ルールがアクティブ な場合、列に分割が表示されます。
注:
Data Lake 層に取り込まれた分割データは、元のテーブルと同じ名前の別のテーブルに取り込まれますが、"_SPLT" サフィックスが付いています。 たとえば、"FirewallLogs" テーブルに分割規則を適用すると、Data Lake 層にルーティングされたデータは別の "FirewallLogs_SPLT" テーブルに取り込まれます。 この設定を使用すると、Analytics レベルと Data Lake レベルの保持ポリシーとアクセス ポリシーを個別に管理できます。
分割テーブルのリテンション期間を構成する
分割ルールを作成した後、各レベルの保持設定を構成します。
元のテーブルの下に、結果の 分析 テーブルと Data Lake 分割テーブルを表示します。
リテンション期間を構成するには、Analytics テーブルまたは Data Lake テーブルを選択します。
[ データ保持設定] を選択します。
保持期間を構成し、保存します。
または、元のテーブルを選択し、結合された [データ保持設定] ダイアログから Analytics と Data Lake の両方の リテンション期間を構成 します。
ルールの管理
既存のルールを管理するには、テーブルを選択し、管理するルールの種類に応じて [ ルールの分割 ] または [ フィルター ルール ] を選択します。
- ルールを無効にするには、[ルールの 状態 ] スイッチを選択してルールをオフにし、[ 保存] を選択します。
- [削除] を選択してルールを 削除します。
KQL クエリを実行してルールを確認し、データが正しく取り込まれており、正しい層にルーティングされていることを確認します。
既知の制限
フィルター変換と分割変換を使用する場合は、次の制限事項に注意してください。
XDR テーブルの可視性: XDR テーブルに適用された分割変換とフィルター変換は、最初の 30 日間のデータの詳細ハンティングには表示されません。 変換が適用され、最初の 30 日を超えてデータが経過すると、高度なハンティングで正常に動作します。 Log Analytics またはMicrosoft Sentinelからクエリを実行したデータは、コスト削減をすぐに反映します。
伝達遅延: 変換が有効になるまでに最大 1 時間かかることがあります。
テーブルのサポート: データ収集規則 (DCR) をサポートするテーブルのみが、分割変換とフィルター変換をサポートします。