データ インジェスト ツールを選択する

移行のターゲット プラットフォームを選択したら、履歴データを転送するツールを選択します。

次のツールは、履歴データをAzure Monitor、Azure Data Explorer、またはAzure Blob Storageに転送できます。 次の表に、各ターゲット プラットフォームで使用できるツールと、インジェスト プロセスに役立つ一般的なツールを示します。

Microsoft Sentinel Data Lake Azure Data Explorer Azure Blob Storage 一般的なツール
- Azure Monitor custom log ingestion tool
- ダイレクトAPI		 - ライティングイング
- ログスタッシュ		 - Azure Data Factory or Azure Synapse
- AzCopy		 - Azure Data Box
- SIEM データ移行アクセラレータ

Microsoft Sentinel Data Lake

Microsoft Sentinel Data Lake は、Microsoft Sentinel プラットフォームのネイティブ データ レイヤーです。 これは、Microsoft Sentinel内のセキュリティ データの統一されたクエリ可能な履歴と、長期的なデータ保持に推奨されるプラットフォームへの最も簡単なパスです。

詳細については、「Microsoft Sentinel データ レイクとは」および「Microsoft Sentinel データ レイクのオンボード」を参照してください。

Azure カスタム ログ インジェスト ツールを監視する

GitHubの Azure Monitor カスタム ログ インジェスト ツールは、Azure Monitor ログ ワークスペースにカスタム データを送信する PowerShell スクリプトです。 スクリプトは、すべてのログ ファイルが存在するフォルダーを指し示し、そのファイルをそのフォルダーにプッシュします。 スクリプトは、ログ ファイルの CSV 形式または JSON 形式を受け入れます。

ダイレクトAPI

このオプションでは、カスタム ログを Azure Monitor ログに取り込みます。 詳細については、「チュートリアル: Logs インジェスト API を使用してAzure Monitor ログにデータを送信する」を参照してください。 REST API を使用する PowerShell スクリプトを使用してログを取り込みます。 または、他のプログラミング言語を使用してインジェストを実行することもできます。また、他のAzure サービスを使用して、Azure Functionsや logic Apps Azureなどのコンピューティング レイヤーを抽象化することもできます。

Azure Data Explorer

Azure Data Explorer (ADX) では、いくつかのデータ インジェスト方法がサポートされています。 詳細については、「Azure Data Explorer データ インジェストの概要」を参照してください。

ADX が受け入れるインジェスト方法は、さまざまなコンポーネントに基づいています。

  • .NET、Go、Python、Java、NodeJS、API など、さまざまな言語の SDK。
  • Event Grid や Storage Blob Event Hubs などのマネージド パイプラインとAzure Data Factory。
  • Logstash、Kafka、Power Automate、Apache Spark などのコネクタまたはプラグイン。

データ移行のユース ケースに合わせて調整された 2 つの方法である LightIngest と Logstash を確認します。

データ取り込みにはLightIngestを使います

ADX は、履歴データ移行ユース ケース専用の LightIngest ユーティリティ を開発しました。 LightIngest を使用して、ローカル ファイル システムまたはAzure Blob Storageから ADX にデータをコピーできます。

LightIngest の主な利点と機能を次に示します。

  • 取り込み時間に時間の制約がないため、大量のデータを取り込む場合に LightIngest が最も便利です。
  • LightIngest は、レコードが取り込まれた時間ではなく、作成された時間に従ってクエリを実行する場合に便利です。
  • ユーティリティは実際のコピーを実行しないため、LightIngest の複雑なサイズ設定に対処する必要はありません。 LightIngest は、コピーする必要がある BLOB について ADX に通知し、ADX によってデータがコピーされます。

[LightIngest] を選択した場合は、これらのヒントとベスト プラクティスを確認してください。

  • 移行を高速化し、コストを削減するには、ADX クラスターのサイズを大きくして、インジェストに使用できるノードを増やします。 移行が終了したら、サイズを小さくします。
  • データを ADX に取り込んだ後のクエリをより効率的にするには、コピーしたデータが元のイベントのタイムスタンプを使用していることを確認します。 データが ADX にコピーされたときのタイムスタンプは、データで使用しないでください。 CreationTime プロパティの一部として、ファイル名のパスとして LightIngest にタイムスタンプを指定します。
  • パスまたはファイル名にタイムスタンプが含まれていない場合でも、 パーティション分割ポリシーを使用してデータを整理するように ADX に指示できます。

Logstash

Logstash は、多くのソースからデータを同時に取り込み、データを変換し、お気に入りの "stash" にデータを送信する、オープンソースサーバー側のデータ処理パイプラインです。 Logstash からAzure Data Explorerにデータを取り込む方法について説明します。 Logstash は、Windows、Linux、macOS マシンで実行されます。

パフォーマンスを最適化するには、1 秒あたりのイベントに従って Logstash レベルのサイズを構成 します。 LightIngest はコピーを実行するために ADX クラスター コンピューティングに依存するため、可能な限り LightIngest を使用することをお勧めします。

Ingest data into Azure Blob Storage

データを取り込んでAzure Blob Storageするには、いくつかの方法があります。

データ移行のユース ケースに合わせて調整されたAzure Data FactoryまたはAzure Synapseを確認します。

Azure Data Factory 或 Azure Synapse to copy data

Azure Data Factory (ADF) または Synapse パイプラインでCopy アクティビティを使用するには、

  1. セルフホステッド統合ランタイムを作成して構成します。 このコンポーネントは、オンプレミス ホストからデータをコピーする役割を担います。
  2. ソース データ ストア (ファイル システム とシンク データ ストア BLOB ストレージ) のリンクされたサービスを作成します。
  3. データをコピーするには、データの コピー ツールを使用します。 または、PowerShell、Azure portal、.NET SDK などのメソッドを使用することもできます。

AzCopyを使ってデータをコピーしてください

AzCopy は、ストレージ アカウントとの間でファイルをコピーする単純なコマンド ライン ユーティリティです。 AzCopy は、Windows、Linux、macOS で使用できます。 AzCopy を使用してオンプレミスのデータを Blob Storage Azureにコピーする方法について説明します。

次のオプションを使用して、データをコピーすることもできます。

大規模なデータ インジェストにAzure Data Boxを使用する

ソース SIEM がAzureに適切に接続できないシナリオでは、AzCopy、LightIngest、Azure Data Factoryなどのツールを使用してデータを取り込むのが遅いか、または不可能になる可能性があります。 このシナリオに対処するには、Azure Data Box を使用して、顧客のデータ センターからアプライアンスにローカルにデータをコピーし、そのアプライアンスを Azure データ センターに送付します。 Azure Data Box は AzCopy または LightIngest の代わりではありませんが、このツールを使用して、顧客のデータ センターとAzure間のデータ転送を高速化できます。

Azure Data Box には、移行するデータの量に応じて、次の 3 つの異なる SKU が用意されています。

移行が完了すると、Azure サブスクリプションの 1 つ下のストレージ アカウントでデータを使用できるようになります。 その後、AzCopy、LightIngest、またはAzure Data Factoryを使用して、ストレージ アカウントからデータを取り込むことができます。

SIEM データ移行アクセラレータを使用する

インジェスト ツールを選択するだけでなく、チームは基盤環境の設定に時間を費やす必要があります。 環境設定を容易にするために、 SIEMデータ移行アクセラレータを利用すれば、以下の作業を自動化できます:

  • ソースからターゲット プラットフォームにログを移動するために使用される Windows 仮想マシンをデプロイします
  • 次のツールをダウンロードして、仮想マシン デスクトップに抽出します。
  • 履歴ログをホストするターゲット プラットフォームをデプロイします。
    • Azure ストレージ アカウント (Azure Blob Storage)
    • Azure Data Explorer のクラスターとデータベース
    • Azure Monitor Logs ワークスペース (基本ログ; Microsoft Sentinel で有効化)

SIEM データ移行アクセラレータを使用するには:

  1. SIEM データ移行アクセラレータ ページで、ページの下部にある Azure へデプロイ をクリックし、認証します。
  2. [ 基本] を選択し、リソース グループと場所を選択し、[ 次へ] を選択します。
  3. [ 移行 VM] を選択し、次の操作を行います。
    • 仮想マシン名、ユーザー名、パスワードを入力します。
    • 既存の vNet を選択するか、仮想マシン接続用の新しい vNet を作成します。
    • 仮想マシンのサイズを選択します。
  4. [ ターゲット プラットフォーム] を選択し、次のいずれかの操作を行います。
    • この手順をスキップします。
    • ADX クラスターとデータベース名、SKU、ノード数を指定します。
    • Azure Blob Storageアカウントの場合は、既存のアカウントを選択します。 アカウントをお持ちでない場合は、新しいアカウント名、種類、冗長性を指定します。
    • Azure Monitor Logs の場合は、新しいワークスペースの名前を入力します。

次のステップ

データを取り込む

  • Last updated on