Azure Log Analyticsを使用してログとメトリックを収集する

この記事では、ログ インジェスト API を使用して、Azure Synapse Analyticsで Apache Spark 診断のAzure Log Analytics先を使用する方法について説明します。

Azure Synapse Apache Spark 診断の放出は、サポートされている宛先全体で Spark 診断を収集するための統合構成モデルを提供します。 Azure Log Analyticsの場合、ログ インジェスト API が推奨されるインジェスト メカニズムです。

この記事では、エミッタ のプロパティを構成し、Apache Spark ログ、イベント ログ、メトリックをLog Analyticsにルーティングし、監視とトラブルシューティングのために取り込まれたデータに対してクエリを実行する方法について説明します。

データ コレクター API からの移行

現在、Azure Synapse Analytics で HTTP データ コレクター API を使用している場合は、Log Ingestion API に移行して、最新のAzure Monitor インジェスト アーキテクチャとベスト プラクティスに準拠します。

新しいモデルの主な変更点:

• スキーマ定義は 、データ収集規則 (DCR) を使用して明示的に定義され、予測可能なスキーマ検証と、以前の自由形式ペイロード アプローチと比較して一貫性のあるクエリ結果が提供されます。
• インジェスト フローは 、データ収集エンドポイント (DCE) と DCR マッピングを介してルーティングされ、データ コレクター API エンドポイントにデータを直接投稿するよりも、より制御された信頼性の高いインジェスト パスを提供します。
• 認証では、 クライアント シークレット を使用したサービス プリンシパルと 証明書ベースの認証の両方がサポートされます。
• エミッタタイプは AzureLogAnalytics から AzureLogIngestionに変更されます。
• 移行には、通常、DCR リソースと DCE リソースの作成、Azure Synapse Apache Spark プール構成 (Spark の構成や診断設定など) の更新、Azure Log Analytics のカスタム テーブルへのデータの正常な取り込みの検証が含まれます。

ログ インジェスト API の概要

Azure Synapse Analytics の Apache Spark 診断の場合、Log Ingestion API は、認証、スキーマ定義、ルーティング、Azure Log Analytics へのデータ配信のための構造化インジェスト モデルを提供します。

主なコンポーネント

プログラムによるインジェストには、ログ インジェスト API 用に構成されたユーザー作成の DCR のみを使用できます。

ステップ バイ ステップの構成

ステップ 1. Log Analytics ワークスペースの準備

Spark 診断を受信するには、Log Analytics ワークスペースが必要です。 これは、Azure Monitor Logs の基本的なストレージとクエリユニットです。

お持ちでない場合は、Azure ポータルでLog Analytics ワークスペースを作成します。

ステップ 2. データ収集エンドポイント (DCE) を作成する

Azure ポータルでデータ収集エンドポイント (DCE) を作成します。 DCE は、ログ インジェスト API の Spark プロパティで構成するエンドポイント URI を提供します。 DCE のリージョンは、Log Analytics ワークスペースのリージョンと同じである必要があります。

ユーザーは必要に応じて、シナリオに応じて 1 つ以上のテーブルの種類 (logs、 events、 metrics) を作成でき、各テーブルの種類には、対応する独自の DCR 構成とストリーム名があります。 実際に必要なテーブルの種類のみを作成して構成します。

1. Azure ポータルで、左側のナビゲーション ウィンドウの Monitor に移動します。

2. [設定] で、[データ収集エンドポイント] を選択し、[作成] を選択します。

   

3. エンドポイントを作成し、DCE 名 (たとえば、 DCEdemo) を書き留めます。

手順 3. サンプル JSON スキーマを準備する

カスタム ログ テーブルを作成するときは、データ収集規則 (DCR) を構成する必要があります。 DCR で指定されたデータ ストリーム定義に基づいて、Log Analytics ワークスペースに対応するテーブル スキーマが自動的に生成されます。

次の定義済みの JSON スキーマでは、各サンプルが特定のデータ型にマップされます。 シナリオに合ったサンプルをダウンロードし、関連付けられているカスタム テーブルと DCR を作成するときにアップロードします。

• Spark イベント ログ - イベント テーブル JSON スキーマのサンプル
• Spark ドライバーと Executor ログ - ログ テーブルの JSON スキーマサンプル
• Spark メトリック - メトリック テーブル JSON スキーマのサンプル

ステップ 4. カスタム テーブルの作成 (直接取り込み)

Log Ingestion API オプションを使用して Log Analytics ワークスペースにカスタム テーブルを作成し、関連付けられている DCR に JSON スキーマ サンプルをアップロードします。 この手順は、Spark 診断の宛先を設定し、取り込まれたデータが予想されるスキーマに準拠していることを確認するために必要です。 インジェストを成功させるには、Log Analytics ワークスペース、DCE、DCR のリージョンが同じである必要があります。

1. Azure portal で Log Analytics ワークスペース (loganalyticsworkspacedemo など) を開きます。

2. [テーブル>作成>新しいカスタム ログ (直接取り込み) を選択します。

   

3. テーブルの設定を入力します。

   • テーブル名: たとえば、SparkLogTest (サフィックス "_CL" が自動的に追加されます)。
   • テーブル プラン: アナリティクス
   • データ収集規則: 新しい DCR ( SparkLogTestrule など) を作成します。
   • データ収集エンドポイント: データ収集エンドポイントの作成 (DCE) ステップ (DCEdemo など) から DCE を選択します。

   

4. 次へを選択します。

5. [スキーマと変換] で、JSON スキーマ サンプルをアップロードします。 スキーマはクライアント側で完全に安定しているため、DCR 変換を構成する必要はありません。

ステップ 5. サービス プリンシパルを準備し、DCR 識別子を収集する

1. Microsoft Entra IDにアプリを登録します。

   

2. TenantId、ClientId、ClientSecret を記録します (クライアント シークレット認証を使用する場合)。 これらの値は、手順 6 の Spark 構成で使用します。

3. 各テーブルの DCR リソースにMonitoring Metrics Publisher ロールをアプリに付与します。 ロールの割り当て手順については、「Azure ポータルを使用して Azure ロールを割り当てる」を参照してください。

   

4. ストリーム名と DCR ID を取得します。 作成した各テーブルの DCR ID と ストリーム名 は、Azure ポータルの Data Collection Rule (DCR) リソースの JSON ビューから取得できます。

   ストリーム名の形式は常に Custom-<Log Analytics table name> です。 たとえば、テーブル名が AppLogs_CLの場合、ストリーム名は次のようになります: Custom-AppLogs_CL。

   次の手順では、これらのストリーム名を使用して、Spark 構成で対応する logStream、 eventStream、 metricStream 値、logDcr、eventDcr、metricDcr の値を構成します。

   

ステップ 6. Spark プロパティを構成する

Spark を構成するには、Azure Synapse Analyticsで Apache Spark 構成を作成し、次のいずれかの認証オプションを選択します。 特定のエミッタに対して 1 つのオプションのみを使用します。

Azure Synapse Analyticsの Apache Spark 構成には、ノートブックと Spark ジョブ定義が実行時に使用する Spark 設定とライブラリが格納されます。 作成する手順については、 Apache Spark 構成の管理に関するページを参照してください。

• クライアント シークレットを使用して簡単にセットアップする場合は、オプション 1 を選択します。
• 組織で証明書ベースの認証と、Azure Key Vaultでの一元化された証明書管理が必要な場合は、オプション 2 を選択します。
• 証明書ベースの認証を使用し、Synapse のリンクされたサービスを介してAzure Key Vaultから証明書を取得する場合は、オプション 3 を選択します (ワークスペース MSI はKey Vaultにアクセスします)。

どちらのオプションでも、[ インポート ] ボタンをクリックすると、構成 YAML ファイルをすばやく読み込むことができます。

オプション 1: サービス プリンシパルとクライアント シークレットを使用して構成する

このオプションは、サービス プリンシパルの資格情報とクライアント シークレットを使用して簡単にセットアップする場合に使用します。

1. Apache Spark 構成を作成します。

2. 適切な値を持つ次の Spark プロパティ を環境成果物に追加するか、リボンの [インポート ] を選択して、必要なプロパティが既に含まれている サンプル yaml ファイルをダウンロードします。

   spark.synapse.diagnostic.emitters: <EMITTER_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.type: AzureLogIngestion
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.categories: DriverLog,ExecutorLog,EventLog,Metrics
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.dceUri: https://<DCE_NAME>.<REGION>.ingest.monitor.azure.com
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.logDcr: <LOG_DCR_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.logStream: <LOG_STREAM_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.eventDcr: <EVENT_DCR_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.eventStream: <EVENT_STREAM_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metricDcr: <METRIC_DCR_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metricStream: <METRIC_STREAM_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.tenantId: <SP_TENANT_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.clientId: <SP_CLIENT_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.secret: <SP_CLIENT_SECRET>
   

3. 変更を保存して公開します。

オプション 2: サービス プリンシパル証明書認証を使用して構成する

組織で証明書ベースの認証が必要な場合は、このオプションを使用します。

開始する前に、サービス プリンシパルが証明書で作成されていることを確認します。 詳細については、「 Azure CLI を使用して証明書を含むサービス プリンシパルを作成する」を参照してください。

1. Apache Spark 構成を作成します。

2. 適切な値を持つ次の Spark プロパティ を環境成果物に追加するか、リボンの [インポート ] を選択して、必要なプロパティが既に含まれている サンプル yaml ファイルをダウンロードします。

   spark.synapse.diagnostic.emitters: "<EMITTER_NAME>"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.type: "AzureLogIngestion"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.categories: "DriverLog,ExecutorLog,EventLog,Metrics"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.dceUri: "https://<DCE_NAME>.<REGION>.ingest.monitor.azure.com"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.logDcr: "<LOG_DCR_ID>"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.logStream: "<LOG_STREAM_NAME>"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.eventDcr: "<EVENT_DCR_ID>"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.eventStream: "<EVENT_STREAM_NAME>"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metricDcr: "<METRIC_DCR_ID>"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metricStream: "<METRIC_STREAM_NAME>"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.tenantId: "<SP_TENANT_ID>"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.clientId: "<SP_CLIENT_ID>"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.certificate.keyVault: "https://<KEYVAULT_NAME>.vault.azure.net/"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.certificate.keyVault.certificateName: "<SP_CERT_NAME>"
   

3. 変更を保存して公開します。

オプション 3: リンクされたサービスを使用して構成する

サービス プリンシパル証明書を格納するようにSynapse StudioでKey Vaultリンクされたサービスを構成するには、次の手順に従います。

1. 前のセクション「オプション 2」のすべての手順に従います。

2. Synapse StudioでKey Vaultリンクされたサービスを作成します。

   a. Synapse Studio>Manage>Linked services に移動し、 New を選択します。

   b. 検索ボックスで、Azure Key Vault を検索します。

   c. リンクされたサービスの名前を入力します。

   d. キー コンテナーを選択し、[ 作成] を選択します。

3. spark.synapse.diagnostic.emitter.<EMITTER_NAME>.certificate.keyVault.linkedService項目を Apache Spark 構成に追加します。

4. 適切な値を持つ次の Spark プロパティ を Spark 構成に追加するか、リボンの [インポート ] を選択して、必要なプロパティが既に含まれている サンプル yaml ファイルをダウンロードします。

   spark.synapse.diagnostic.emitters: <EMITTER_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.type: AzureLogIngestion
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.categories: DriverLog,ExecutorLog,EventLog,Metrics
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.dceUri: https://<DCE_NAME>.<REGION>.ingest.monitor.azure.com
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.logDcr: <LOG_DCR_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.logStream: <LOG_STREAM_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.eventDcr: <EVENT_DCR_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.eventStream: <EVENT_STREAM_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metricDcr: <METRIC_DCR_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metricStream: <METRIC_STREAM_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.tenantId: <SP_TENANT_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.clientId: <SP_CLIENT_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.certificate.keyVault: https://<KEYVAULT_NAME>.vault.azure.net/
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.certificate.keyVault.certificateName: <SP_CERT_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.certificate.keyVault.linkedService: <AZURE_KEY_VAULT_LINKED_SERVICE>

Apache Spark 構成の一覧については、「使用可能な Apache Spark 構成」を参照してください。

ステップ 7. Apache Spark 構成をノートブックまたは Spark ジョブ定義にアタッチするか、ワークスペースの既定値として設定します

スコープに基づいて、次のいずれかの方法を使用します。

• 対象となるロールアウト、テスト、または項目ごとの制御が必要な場合は、Apache Spark 構成を特定のノートブックまたは Spark ジョブ定義にアタッチします。
• ワークスペース全体に一貫した Spark 診断設定を適用する場合は、Apache Spark 構成をワークスペースの既定値として設定します。

ノートブックまたは Spark ジョブ定義に構成を適用するには:

1. Azure Synapse Analytics Studio でノートブックまたは Spark ジョブ定義に移動します。
2. ノートブックまたは Spark ジョブ定義に関連付けられているターゲット Apache Spark プールを選択または構成します。
3. 必要な Spark 構成 (ログ インジェスト設定など) が Apache Spark プールまたはセッションに適用されていることを確認します。
4. 構成を有効にするために Spark セッションを開始または実行します。

ワークスペースまたは Apache Spark プール レベルで設定を構成するには:

1. [Azure Synapse Studio で管理] に移動します。
2. Apache Spark プールに移動し、ターゲットの Apache Spark プールを選択します。
3. 必要な Spark 設定 (診断やログ インジェスト関連のプロパティなど) を構成します。
4. 構成を保存します。 この設定は、このプールで作成されたすべての新しい Spark セッションに適用されます。

手順 8. Apache Spark アプリケーションを送信してログとメトリックを表示する

その方法は次のとおりです。

1. 前の手順で構成した Apache Spark プールに Apache Spark アプリケーションを送信します。 次のいずれかの方法を使用して、これを行うことができます。

   • Synapse Studioでノートブックを実行します。
   • Synapse Studioで、Apache Spark ジョブ定義を使用して Apache Spark バッチ ジョブを送信します。
   • Apache Spark アクティビティを含むパイプラインを実行します。

2. 指定した Log Analytics ワークスペースに移動し、Apache Spark アプリケーションの実行が開始されたときにアプリケーションのメトリックとログを表示します。

カスタム アプリケーション ログを書き込む

Apache Log4j ライブラリを使用して、カスタム ログを書き込むことができます。

Scala の例:

%%spark
val logger = org.apache.log4j.LogManager.getLogger("com.contoso.LoggerExample")
logger.info("info message")
logger.warn("warn message")
logger.error("error message")
//log exception
try {
      1/0
 } catch {
      case e:Exception =>logger.warn("Exception", e)
}
// run job for task level metrics
val data = sc.parallelize(Seq(1,2,3,4)).toDF().count()

PySpark の例:

%%pyspark
logger = sc._jvm.org.apache.log4j.LogManager.getLogger("com.contoso.PythonLoggerExample")
logger.info("info message")
logger.warn("warn message")
logger.error("error message")

Kusto を使用してデータのクエリを実行する

Apache Spark イベントのクエリの例を次に示します。

SparkEventTest_CL
| where workspaceName_s == "{SynapseWorkspace}" and Event_s== "EventName"
| order by TimeGenerated desc
| limit 100

Apache Spark アプリケーション ドライバーと Executor ログのクエリの例を次に示します。

SparkLogTest_CL
| where workspaceName_s == "{SynapseWorkspace}" and Message contains "SampleMessage"
| order by TimeGenerated desc
| limit 100

Apache Spark メトリックのクエリの例を次に示します。

SparkMetricsTest_CL 
| where workspaceName_s == "{SynapseWorkspace}" and name_s== "{MetricsName}"
| order by TimeGenerated desc
| limit 100

アラートの作成および管理

ユーザーは、設定された頻度でクエリを実行してメトリックとログを評価し、その結果に基づいてアラートを発行することができます。 詳細については、「Azure Monitor を使用してログ アラートを作成、表示、管理する」を参照してください。

データ流出保護が有効になっている Synapse ワークスペース

データ流出保護を有効にして Synapse ワークスペースを作成した後。

この機能を有効にする場合は、ワークスペースの承認済みのMicrosoft Entra テナントで、Azure Monitorプライベート リンク スコープ (AMPLS) へのマネージド プライベート エンドポイント接続要求を作成する必要があります。

次の手順に従って、Azure Monitorプライベート リンク スコープ (AMPLS) へのマネージド プライベート エンドポイント接続を作成できます。

1. 既存の AMPLS がない場合は、Azure Monitor Private Link接続のセットアップに従って作成できます。
2. Azure ポータルで AMPLS に移動し、Azure Monitor Resources ページで Add を選択して、Azure Log Analytics ワークスペースに接続を追加します。
3. Synapse Studio > Manage > Managed private endpoints に移動し、New ボタンを選択して、Azure Monitor Private Link Scopes を選択し、続行 します。

   

4. 作成したAzure Monitor Private Linkスコープを選択し、Create ボタンを選択します。

   

5. プライベート エンドポイントのプロビジョニングを数分待ちます。
6. Azure ポータルでもう一度 AMPLS に移動し、Private Endpoint connections ページで、プロビジョニングされた接続を選択し、Approve を選択します。

利用可能な構成

関連するコンテンツ

• Azure Log Analytics のレガシ HTTP データ コレクター API パス
• ノートブックで Spark アプリケーションを実行します。
• Azure Storage アカウントを使用して Apache Spark アプリケーション ログとメトリックを収集する。
• Azure Event Hubsを使用して Apache Spark アプリケーションのログとメトリックを収集します。