Collecter les journaux et les données de performance avec Azure Log Analytics

Cet article explique comment utiliser la destination Azure Log Analytics pour les diagnostics Apache Spark dans Azure Synapse Analytics à l’aide de l’API d’ingestion de journal.

L’émission des diagnostics Apache Spark dans Azure Synapse fournit un modèle de configuration unifié pour collecter les diagnostics Spark vers toutes les destinations prises en charge. Pour Azure Log Analytics, l’API d’ingestion de journal est le mécanisme d’ingestion recommandé.

Cet article explique comment configurer les propriétés de l’émetteur, router les journaux Apache Spark, les journaux d’événements et les métriques vers Log Analytics, et interroger les données ingérées à des fins de surveillance et de résolution des problèmes.

Migrer à partir de l’API Collecteur de données

Si vous utilisez actuellement l’API HTTP Data Collector dans Azure Synapse Analytics, migrez vers l’Log Ingestion API afin de vous conformer à la dernière architecture d’ingestion d’Azure Monitor et aux meilleures pratiques.

Changements clés dans le nouveau modèle :

• Les définitions de schéma sont explicitement définies par le biais de règles de collecte de données (DCR), ce qui fournit une validation de schéma prévisible et des résultats de requête plus cohérents par rapport à l’approche précédente de la charge utile libre.
• Le flux d’ingestion est acheminé par le biais de points de terminaison de collecte de données (DCEs) et de mappages DCR, offrant un chemin d’ingestion plus contrôlé et fiable que la publication de données directement sur le point de terminaison de l’API collecteur de données.
• L’authentification prend en charge le principal de service à l’aide d’un secret client et d’une authentification par certificat.
• Le type d’émetteur passe de AzureLogAnalytics à AzureLogIngestion.
• La migration implique généralement la création de ressources DCR et DCE, la mise à jour de Azure Synapse configurations de pool Apache Spark (par exemple, la configuration Spark ou les paramètres de diagnostic) et la validation de l’ingestion des données dans des tables personnalisées dans Azure Log Analytics.

Vue d’Ensemble de l’API d’Ingestion des Logs

Pour les diagnostics Apache Spark dans Azure Synapse Analytics, l’API d’ingestion de journal fournit un modèle d’ingestion structuré pour l’authentification, la définition de schéma, le routage et la remise des données dans Azure Log Analytics.

Composants principaux

Seuls les DCRs créés par l’utilisateur et configurés pour l’API d’ingestion des logs peuvent être utilisés pour l’ingestion programmatique.

Configuration pas à pas

Étape 1. Préparer l’espace de travail Log Analytics

Un espace de travail Log Analytics est requis pour recevoir des diagnostics Spark. Il s'agit de l'unité de stockage et de requête de base pour Azure Monitor Logs.

Si vous n’en avez pas, créez un espace de travail Log Analytics dans le portail Azure.

Étape 2. Créer un point de terminaison de collecte de données (DCE)

Créez un point de terminaison de collecte de données (DCE) dans le portail Azure. Le DCE fournit l’URI de point de terminaison que vous configurez dans les propriétés Spark pour l’API d’ingestion de journal. La région de la DCE doit être identique à la région de votre espace de travail Log Analytics.

Les utilisateurs peuvent éventuellement créer un ou plusieurs types de tables (logs, events, metrics) en fonction de leur scénario, et chaque type de table possède sa propre configuration DCR et son nom de flux correspondants. Créez et configurez uniquement les types de tables dont vous avez réellement besoin.

1. Dans le portail Azure, accédez à Monitor dans le volet de navigation gauche.

2. Sous Paramètres, sélectionnez Points de terminaison de collecte de données, puis sélectionnez Créer.

   

3. Créez le point de terminaison, puis notez le nom DCE (par exemple). DCEdemo

Étape 3. Préparer un exemple de schéma JSON

Lors de la création de tables de journal personnalisées, vous devez configurer une règle de collecte de données (DCR). En fonction des définitions de flux de données spécifiées dans la DCR, le système génère automatiquement le schéma de table correspondant dans votre espace de travail Log Analytics.

Les exemples de schéma JSON préétablis suivants correspondent à un type de données spécifique. Téléchargez l’exemple qui correspond à votre scénario et chargez-le lorsque vous créez la table personnalisée et la DCR associées.

• Journaux d’événements Spark - Exemple de schéma JSON de table d’événements
• Journaux d’exécution et de pilote Spark : Exemple de schéma JSON de table de journaux
• Métriques Spark - Exemple de schéma JSON de table de métriques

Étape 4. Créer une table personnalisée (ingestion directe)

Créez une table personnalisée dans votre espace de travail Log Analytics avec l’option API d’ingestion de journal, puis chargez l’exemple de schéma JSON dans le DCR associé. Cette étape est nécessaire pour configurer la destination des diagnostics Spark et s’assurer que les données ingérées sont conformes au schéma attendu. La région de l’espace de travail Log Analytics, DCE et DCR doit être la même pour une ingestion réussie.

1. Dans le portail Azure, ouvrez votre espace de travail Log Analytics (par exemple, loganalyticsworkspacedemo).

2. Sélectionnez Tables>Créer> un nouveau journal personnalisé (Ingestion Directe).

   

3. Entrez les paramètres du tableau :

   • Nom de la table : Par exemple, SparkLogTest (le suffixe « _CL » est ajouté automatiquement).
   • Plan de table : Analytique
   • Règle de collecte de données : créez une DCR (par exemple , SparkLogTestrule).
   • Point de terminaison de collecte de données : sélectionnez la DCE à partir de l’étape Créer un point de terminaison de collecte de données (DCE) ( par exemple , DCEdemo).

   

4. Sélectionnez Suivant.

5. Dans Schéma et transformation, chargez l’exemple de schéma JSON. Vous n’avez pas besoin de configurer la transformation DCR, car le schéma est entièrement stabilisé côté client.

Étape 5. Préparer le principal de service et collecter l’identificateur DCR

1. Inscrivez une application dans Microsoft Entra ID.

   

2. Enregistrez tenantId, ClientId et ClientSecret (si vous utilisez l’authentification de secret client). Vous utilisez ces valeurs dans la configuration Spark à l’étape 6.

3. Accordez à l’application le rôle Éditeur de métriques de surveillance sur la ressource DCR de chaque table. Pour connaître les étapes d’attribution de rôle, consultez Affecter des rôles Azure à l’aide du portail Azure.

   

4. Récupérez le nom du flux et l’ID DCR. Vous pouvez récupérer l’ID DCR et le nom du flux pour chaque table que vous avez créée à partir de la vue JSON de la ressource Data Collection Rule (DCR) dans le portail Azure.

   Le format du nom du flux est toujours : Custom-<Log Analytics table name>. Par exemple, si votre nom de table est AppLogs_CL, le nom du flux sera : Custom-AppLogs_CL.

   À l’étape suivante, vous configurerez les valeurs correspondantes logStream, eventStream et metricStream, ainsi que les valeurs logDcr, eventDcr et metricDcr dans la configuration de Spark à l’aide de ces noms de flux.

   

Étape 6. Configurer les propriétés Spark

Pour configurer Spark, créez une configuration Apache Spark dans Azure Synapse Analytics et choisissez l’une des options d’authentification suivantes. Utilisez une seule option pour un émetteur donné.

Une configuration Apache Spark dans Azure Synapse Analytics stocke les paramètres et bibliothèques Spark que les notebooks et les définitions de travaux Spark utilisent lors de l’exécution. Pour plus d’informations sur la création d’une configuration, consultez Gérer la configuration d’Apache Spark.

• Choisissez l’option 1 si vous souhaitez une configuration plus simple à l’aide d’une clé secrète client.
• Choisissez l’option 2 si votre organisation nécessite une authentification basée sur des certificats et une gestion centralisée des certificats dans Azure Key Vault.
• Choisissez l’option 3 si vous utilisez l’authentification par certificat et souhaitez récupérer le certificat depuis Azure Key Vault via un service lié Synapse (l’identité MSI de l’espace de travail accède à Key Vault).

Dans les deux options, vous pouvez cliquer sur le bouton Importer pour charger rapidement un fichier YAML de configuration.

Option 1 : Configurer avec le principal du service et le secret client

Utilisez cette option pour configurer rapidement avec les informations d’identification du principal de service et une clé secrète client.

1. Créez une configuration Apache Spark.

2. Ajoutez les propriétés Spark suivantes avec les valeurs appropriées à l’artefact d’environnement, ou sélectionnez Importer dans le ruban pour télécharger l’exemple de fichier yaml, qui contient déjà les propriétés requises.

   spark.synapse.diagnostic.emitters: <EMITTER_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.type: AzureLogIngestion
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.categories: DriverLog,ExecutorLog,EventLog,Metrics
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.dceUri: https://<DCE_NAME>.<REGION>.ingest.monitor.azure.com
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.logDcr: <LOG_DCR_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.logStream: <LOG_STREAM_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.eventDcr: <EVENT_DCR_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.eventStream: <EVENT_STREAM_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metricDcr: <METRIC_DCR_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metricStream: <METRIC_STREAM_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.tenantId: <SP_TENANT_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.clientId: <SP_CLIENT_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.secret: <SP_CLIENT_SECRET>
   

3. Enregistrez et publiez les modifications.

Option 2 : Configurer avec l’authentification par certificat du principal de service

Utilisez cette option lorsque votre organisation nécessite une authentification basée sur des certificats.

Avant de commencer, vérifiez que votre principal de service est créé avec un certificat. Pour plus d’informations, consultez Créer un principal de service contenant un certificat à l’aide d’Azure CLI.

1. Créez une configuration Apache Spark.

2. Ajoutez les propriétés Spark suivantes avec les valeurs appropriées à l’artefact d’environnement, ou sélectionnez Importer dans le ruban pour télécharger l’exemple de fichier yaml, qui contient déjà les propriétés requises.

   spark.synapse.diagnostic.emitters: "<EMITTER_NAME>"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.type: "AzureLogIngestion"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.categories: "DriverLog,ExecutorLog,EventLog,Metrics"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.dceUri: "https://<DCE_NAME>.<REGION>.ingest.monitor.azure.com"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.logDcr: "<LOG_DCR_ID>"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.logStream: "<LOG_STREAM_NAME>"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.eventDcr: "<EVENT_DCR_ID>"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.eventStream: "<EVENT_STREAM_NAME>"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metricDcr: "<METRIC_DCR_ID>"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metricStream: "<METRIC_STREAM_NAME>"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.tenantId: "<SP_TENANT_ID>"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.clientId: "<SP_CLIENT_ID>"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.certificate.keyVault: "https://<KEYVAULT_NAME>.vault.azure.net/"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.certificate.keyVault.certificateName: "<SP_CERT_NAME>"
   

3. Enregistrez et publiez les modifications.

Option 3 : Configurer avec un service lié

Pour configurer un service lié Key Vault dans Synapse Studio pour stocker le certificat de principal de service, procédez comme suit :

1. Suivez toutes les étapes de la section précédente, « Option 2 ».

2. Créez un service lié Key Vault dans Synapse Studio :

   a. Accédez à Synapse Studio>Manage> ServicesLinked, puis sélectionnez New.

   B. Dans la zone de recherche, recherchez Azure Key Vault.

   C. Entrez un nom pour le service lié.

   d. Choisissez votre coffre de clés, puis sélectionnez Créer.

3. Ajoutez un spark.synapse.diagnostic.emitter.<EMITTER_NAME>.certificate.keyVault.linkedService élément à la configuration Apache Spark.

4. Ajoutez les propriétés Spark suivantes avec les valeurs appropriées à la configuration spark, ou sélectionnez Importer dans le ruban pour télécharger l’exemple de fichier yaml, qui contient déjà les propriétés requises.

   spark.synapse.diagnostic.emitters: <EMITTER_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.type: AzureLogIngestion
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.categories: DriverLog,ExecutorLog,EventLog,Metrics
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.dceUri: https://<DCE_NAME>.<REGION>.ingest.monitor.azure.com
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.logDcr: <LOG_DCR_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.logStream: <LOG_STREAM_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.eventDcr: <EVENT_DCR_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.eventStream: <EVENT_STREAM_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metricDcr: <METRIC_DCR_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metricStream: <METRIC_STREAM_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.tenantId: <SP_TENANT_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.clientId: <SP_CLIENT_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.certificate.keyVault: https://<KEYVAULT_NAME>.vault.azure.net/
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.certificate.keyVault.certificateName: <SP_CERT_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.certificate.keyVault.linkedService: <AZURE_KEY_VAULT_LINKED_SERVICE>

Pour obtenir la liste des configurations Apache Spark, consultez Configurations Apache Spark disponibles

Étape 7. Attacher la configuration Apache Spark aux notebooks ou aux définitions de travaux Spark, ou définir celle-ci comme espace de travail par défaut

Utilisez l’une des approches suivantes en fonction de votre étendue :

• Attachez la configuration Apache Spark à des notebooks ou des définitions de travaux Spark spécifiques lorsque vous souhaitez un déploiement, un test ou un contrôle par élément ciblé.
• Définissez la configuration Apache Spark comme paramètre par défaut de l’espace de travail lorsque vous souhaitez appliquer des paramètres de diagnostic Spark cohérents dans l’espace de travail.

Pour appliquer la configuration aux carnets ou à la définition de tâche Spark :

1. Accédez à votre notebook ou à votre définition de travail Spark dans Azure Synapse Analytics Studio.
2. Sélectionnez ou configurez le pool Apache Spark cible associé au notebook ou à la définition de travail Spark.
3. Vérifiez que les configurations Spark requises (par exemple, les paramètres d’ingestion de journal) sont appliquées au pool ou à la session Apache Spark.
4. Démarrez ou exécutez la session Spark pour que la configuration prenne effet.

Pour configurer les paramètres au niveau de l’espace de travail ou du pool Apache Spark :

1. Accédez à Manage dans Azure Synapse Studio.
2. Accédez aux pools Apache Spark et sélectionnez le pool Apache Spark cible.
3. Configurez les paramètres Spark requis (par exemple, les diagnostics ou les propriétés liées à l’ingestion de journal).
4. Enregistrez la configuration. Les paramètres s’appliquent à toutes les nouvelles sessions Spark créées dans ce pool.

Étape 8 : Envoyer une application Apache Spark, et voir les journaux et les métriques

Voici comment procéder :

1. Envoyez une application Apache Spark au pool Apache Spark configuré à l’étape précédente. Pour cela, vous avez plusieurs possibilités :

   • Exécutez un bloc-notes dans Synapse Studio.
   • Dans Synapse Studio, envoyez un travail de traitement par lots Apache Spark via une définition de travail Apache Spark.
   • Exécutez un pipeline qui contient l’activité Apache Spark.

2. Accédez à l’espace de travail Log Analytics spécifié, puis visualisez les métriques et les journaux de l’application Apache Spark quand celle-ci commence à s’exécuter.

Écrire des journaux d’application personnalisés

Vous pouvez utiliser la bibliothèque Apache Log4j pour écrire des journaux personnalisés.

Exemple pour Scala :

%%spark
val logger = org.apache.log4j.LogManager.getLogger("com.contoso.LoggerExample")
logger.info("info message")
logger.warn("warn message")
logger.error("error message")
//log exception
try {
      1/0
 } catch {
      case e:Exception =>logger.warn("Exception", e)
}
// run job for task level metrics
val data = sc.parallelize(Seq(1,2,3,4)).toDF().count()

Exemple pour PySpark :

%%pyspark
logger = sc._jvm.org.apache.log4j.LogManager.getLogger("com.contoso.PythonLoggerExample")
logger.info("info message")
logger.warn("warn message")
logger.error("error message")

Interroger des données avec Kusto

Voici un exemple d’interrogation d’événements Apache Spark :

SparkEventTest_CL
| where workspaceName_s == "{SynapseWorkspace}" and Event_s== "EventName"
| order by TimeGenerated desc
| limit 100

Voici un exemple d’interrogation du pilote d’application Apache Spark et des journaux d’exécution :

SparkLogTest_CL
| where workspaceName_s == "{SynapseWorkspace}" and Message contains "SampleMessage"
| order by TimeGenerated desc
| limit 100

Voici un exemple d’interrogation des métriques Apache Spark :

SparkMetricsTest_CL 
| where workspaceName_s == "{SynapseWorkspace}" and name_s== "{MetricsName}"
| order by TimeGenerated desc
| limit 100

Création et gestion des alertes

Les utilisateurs peuvent lancer des requêtes pour évaluer les métriques et les journaux à une fréquence définie et déclencher une alerte en fonction des résultats. Pour plus d’informations, consultez Création, affichage et gestion des alertes de journaux avec Azure Monitor.

Espace de travail Synapse avec protection contre l’exfiltration des données activée

Une fois l’espace de travail Synapse créé avec la protection contre l’exfiltration des données activée.

Quand vous voulez activer cette fonctionnalité, vous devez créer des demandes de connexion de point de terminaison privé managé à des étendues de liaison privée Azure Monitor (AMPLS) dans les locataires Microsoft Entra approuvés de l’espace de travail.

Vous pouvez suivre les étapes ci-dessous pour créer une connexion de point de terminaison privé gérée vers des périmètres de liaison privée Azure Monitor (AMPLS) :

1. S'il n'existe pas d'AMPLS existant, vous pouvez suivre Azure Monitor Private Link configuration de connexion pour en créer un.
2. Accédez à votre AMPLS dans Azure portail, dans la page Azure Monitor Resources, sélectionnez Add pour ajouter une connexion à votre espace de travail Azure Log Analytics.
3. Accédez à Synapse Studio > Gérer > les points de terminaison privés managés, sélectionnez le bouton Nouveau, sélectionnez Étendues Private Link Azure Monitor, puis continuer.

   

4. Choisissez votre étendue de Azure Monitor Private Link que vous avez créée, puis sélectionnez Create bouton.

   

5. Attendez quelques minutes pour l’approvisionnement de points de terminaison privés.
6. Accédez à nouveau à votre AMPLS dans le portail Azure, sur la page Connexions de point de terminaison privé, sélectionnez la connexion approvisionnée, puis Approuver.

Configurations disponibles

Contenu connexe

• Chemin d’accès de l’API collecteur des données HTTP ancien pour Azure Log Analytics
• Exécutez une application Spark dans le notebook.
• Collecter les journaux et les métriques des applications Apache Spark avec un compte de stockage Azure.
• Collecter les journaux et les métriques des applications Apache Spark avec Azure Event Hubs.