Logboeken en metrische gegevens verzamelen met Azure Log Analytics

In dit artikel wordt beschreven hoe u de Azure Log Analytics-bestemming gebruikt voor diagnostische gegevens van Apache Spark in Azure Synapse Analytics met behulp van de API voor logboekopname.

De diagnostische uitvoer van Azure Synapse Apache Spark biedt een uniform configuratiemodel voor het verzamelen van Spark-diagnostiek voor alle ondersteunde bestemmingen. Voor Azure Log Analytics is de API voor logboekopname het aanbevolen opnamemechanisme.

In dit artikel wordt uitgelegd hoe u emittereigenschappen configureert, Apache Spark-logboeken, gebeurtenislogboeken en metrische gegevens routeert naar Log Analytics en de opgenomen gegevens opvraagt voor bewakings- en probleemoplossingsdoeleinden.

Migreren vanuit de Data Collector-API

Als u momenteel de HTTP Data Collector-API gebruikt in Azure Synapse Analytics, migreert u naar de Log Ingestion-API om te voldoen aan de nieuwste Azure Monitor opnamearchitectuur en aanbevolen procedures.

Belangrijke wijzigingen in het nieuwe model:

• Schemadefinities worden expliciet gedefinieerd via regels voor gegevensverzameling (DCR's), waardoor voorspelbare schemavalidatie en consistentere queryresultaten worden geboden in vergelijking met de vorige vrije nettoladingbenadering.
• De gegevensinvoerstroom wordt via Data Collection Endpoints (DCE’s) en DCR-toewijzingen geleid, wat een beter gecontroleerd en betrouwbaarder gegevensinvoerpad biedt dan gegevens rechtstreeks naar het eindpunt van de Data Collector API te verzenden.
• Authenticatie ondersteunt zowel een service-principal met clientgeheim als certificaatgebaseerde authenticatie.
• Het emittertype verandert van AzureLogAnalytics in AzureLogIngestion.
• Migratie omvat meestal het maken van DCR- en DCE-resources, het bijwerken van Azure Synapse configuraties van Apache Spark-pools (bijvoorbeeld Spark-configuratie of diagnostische instellingen) en het valideren van dat gegevens worden opgenomen in aangepaste tabellen in Azure Log Analytics.

Overzicht van api voor logboekopname

Voor diagnostische gegevens van Apache Spark in Azure Synapse Analytics biedt de API voor logboekopname een gestructureerd opnamemodel voor verificatie, schemadefinitie, routering en levering van gegevens in Azure Log Analytics.

Belangrijke onderdelen

Alleen door de gebruiker gemaakte DCR's die zijn geconfigureerd voor de API voor logboekopname, kunnen worden gebruikt voor programmatische opname.

Stapsgewijze configuratie

Stap 1. Log Analytics-werkruimte voorbereiden

Een Log Analytics-werkruimte is vereist voor het ontvangen van Spark-diagnostische gegevens. Dit is de basisopslag- en queryeenheid voor Azure Monitor Logs.

Als u nog geen werkruimte hebt, maakt u een Log Analytics werkruimte in de Azure-portal.

Stap 2. Een eindpunt voor gegevensverzameling maken (DCE)

Maak een DCE (Data Collection Endpoint) in de Azure-portal. De DCE biedt de eindpunt-URI die u configureert in Spark-eigenschappen voor logboekopname-API. De regio van de DCE moet hetzelfde zijn als de regio van uw Log Analytics-werkruimte.

Gebruikers kunnen desgewenst een of meer tabeltypen (logs, events, metrics) maken, afhankelijk van hun scenario, en elk tabeltype heeft een eigen bijbehorende DCR-configuratie en stroomnaam. Maak en configureer alleen de tabeltypen die u daadwerkelijk nodig hebt.

1. Ga in Azure Portal naar Monitor in het linkernavigatiedeelvenster.

2. Selecteer onder Instellingeneindpunten voor gegevensverzameling en selecteer vervolgens Maken.

   

3. Maak het eindpunt en noteer de DCE-naam (bijvoorbeeld DCEdemo).

Stap 3. Voorbeeld-JSON-schema voorbereiden

Wanneer u aangepaste logboektabellen maakt, moet u een DCR (Data Collection Rule) configureren. Op basis van de gegevensstroomdefinities die zijn opgegeven in de DCR, genereert het systeem automatisch het bijbehorende tabelschema in uw Log Analytics-werkruimte.

De volgende vooraf gedefinieerde JSON-schemavoorbeelden worden elk toegewezen aan een specifiek gegevenstype. Download het voorbeeld dat past bij uw scenario en upload het wanneer u de bijbehorende aangepaste tabel en DCR maakt.

• Spark-gebeurtenislogboeken - JSON-schemavoorbeeld van gebeurtenistabel
• Spark-stuurprogramma- en uitvoerderslogboeken - JSON-schemavoorbeeld logboektabel
• Spark-metrische gegevens - JSON-schemavoorbeeld voor metrische tabel

Stap 4. Aangepaste tabel maken (Directe opname)

Maak een aangepaste tabel in uw Log Analytics-werkruimte met de optie Log Ingestion-API en upload het JSON-schemavoorbeeld naar de bijbehorende DCR. Deze stap is vereist voor het instellen van de bestemming voor Spark-diagnostische gegevens en ervoor te zorgen dat de opgenomen gegevens voldoen aan het verwachte schema. De regio van de Log Analytics-werkruimte, DCE en DCR moet hetzelfde zijn voor een geslaagde opname.

1. Open in Azure Portal uw Log Analytics-werkruimte (bijvoorbeeld loganalyticsworkspacedemo).

2. Selecteer Tabellen>Nieuwe aangepaste logboek maken> (Directe opname).

   

3. Voer de tabelinstellingen in:

   • Tabelnaam: SparkLogTest (achtervoegsel '_CL' wordt bijvoorbeeld automatisch toegevoegd).
   • Tafelplan: Analysefunctie
   • Regel voor gegevensverzameling: maak een nieuwe DCR (bijvoorbeeld SparkLogTestrule).
   • Eindpunt voor gegevensverzameling: selecteer de DCE uit de stap Een eindpunt voor gegevensverzameling maken ( bijvoorbeeld DCEdemo).

   

4. Kies Volgende.

5. Upload in Schema en Transformatiehet JSON-schemavoorbeeld. U hoeft dcr-transformatie niet te configureren omdat het schema volledig is gestabiliseerd aan de clientzijde.

Stap 5. Service principal voorbereiden en DCR-id verzamelen

1. Registreer een app in Microsoft Entra ID.

   

2. Noteer de TenantId, ClientId en ClientSecret (als u verificatie van het clientgeheim gebruikt). U gebruikt deze waarden in de Spark-configuratie in stap 6.

3. Geef de app de rol Monitoring Metrics Publisher op de DCR-resource van elke tabel. Zie Azure-rollen toewijzen met behulp van Azure Portal voor stappen voor roltoewijzing.

   

4. Haal de stroomnaam en DCR-id op. U kunt de DCR-id en streamnaam ophalen voor elke tabel die u hebt gemaakt op basis van de Data Collection Rule (DCR) resource JSON weergave in de Azure-portal.

   De indeling van de streamnaam is altijd: Custom-<Log Analytics table name>. Als de tabelnaam bijvoorbeeld is AppLogs_CL, is de stroomnaam: Custom-AppLogs_CL.

   In de volgende stap configureert u de bijbehorende logStreamwaarden, eventStreammetricStream waarden en logDcr, eventDcr, metricDcr-waarden in de Spark-configuratie met behulp van deze stroomnamen.

   

Stap 6. Spark-eigenschappen configureren

Als u Spark wilt configureren, maakt u een Apache Spark-configuratie in Azure Synapse Analytics en kiest u een van de volgende verificatieopties. Gebruik slechts één optie voor een bepaalde emitter.

In een Apache Spark-configuratie in Azure Synapse Analytics worden Spark-instellingen en -bibliotheken opgeslagen die notebooks en Spark-taakdefinities tijdens runtime gebruiken. Zie Apache Spark-configuratie beheren voor stappen om er een te maken.

• Kies Optie 1 als u een eenvoudigere installatie wilt uitvoeren met behulp van een clientgeheim.
• Kies Optie 2 als uw organisatie verificatie op basis van certificaten en gecentraliseerd certificaatbeheer in Azure Key Vault vereist.
• Kies Optie 3 als u verificatie op basis van certificaten gebruikt en het certificaat wilt ophalen uit Azure Key Vault via een gekoppelde Synapse-service (MSI-werkruimte heeft toegang tot Key Vault).

In beide opties kunt u op de knop Importeren klikken om snel een YAML-configuratiebestand te laden.

Optie 1: Configureren met service-principal en clientgeheim

Gebruik deze optie voor snelle instelling met referenties van de service-principal en een clientgeheim.

1. Maak een Apache Spark-configuratie.

2. Voeg de volgende Spark-eigenschappen met de juiste waarden toe aan het omgevingsartefact of selecteer Importeren op het lint om het yaml-voorbeeldbestand te downloaden, dat al de vereiste eigenschappen bevat.

   spark.synapse.diagnostic.emitters: <EMITTER_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.type: AzureLogIngestion
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.categories: DriverLog,ExecutorLog,EventLog,Metrics
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.dceUri: https://<DCE_NAME>.<REGION>.ingest.monitor.azure.com
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.logDcr: <LOG_DCR_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.logStream: <LOG_STREAM_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.eventDcr: <EVENT_DCR_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.eventStream: <EVENT_STREAM_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metricDcr: <METRIC_DCR_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metricStream: <METRIC_STREAM_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.tenantId: <SP_TENANT_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.clientId: <SP_CLIENT_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.secret: <SP_CLIENT_SECRET>
   

3. Sla de wijzigingen op en publiceer deze.

Optie 2: Configureren met verificatie van service-principalcertificaten

Gebruik deze optie wanneer uw organisatie verificatie op basis van certificaten vereist.

Voordat u begint, moet u ervoor zorgen dat uw service-principal wordt gemaakt met een certificaat. Zie Een service-principal met een certificaat maken met behulp van Azure CLI voor meer informatie.

1. Maak een Apache Spark-configuratie.

2. Voeg de volgende Spark-eigenschappen met de juiste waarden toe aan het omgevingsartefact of selecteer Importeren op het lint om het yaml-voorbeeldbestand te downloaden, dat al de vereiste eigenschappen bevat.

   spark.synapse.diagnostic.emitters: "<EMITTER_NAME>"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.type: "AzureLogIngestion"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.categories: "DriverLog,ExecutorLog,EventLog,Metrics"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.dceUri: "https://<DCE_NAME>.<REGION>.ingest.monitor.azure.com"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.logDcr: "<LOG_DCR_ID>"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.logStream: "<LOG_STREAM_NAME>"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.eventDcr: "<EVENT_DCR_ID>"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.eventStream: "<EVENT_STREAM_NAME>"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metricDcr: "<METRIC_DCR_ID>"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metricStream: "<METRIC_STREAM_NAME>"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.tenantId: "<SP_TENANT_ID>"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.clientId: "<SP_CLIENT_ID>"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.certificate.keyVault: "https://<KEYVAULT_NAME>.vault.azure.net/"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.certificate.keyVault.certificateName: "<SP_CERT_NAME>"
   

3. Sla wijzigingen op en publiceer deze.

Optie 3: Configureren met een gekoppelde service

Als u een Key Vault gekoppelde service in Synapse Studio wilt configureren om het service-principalcertificaat op te slaan, voert u de volgende stappen uit:

1. Volg alle stappen in de vorige sectie, 'Optie 2'.

2. Maak een Key Vault gekoppelde service in Synapse Studio:

   a. Ga naar Synapse Studio>Manage>Linked services en selecteer vervolgens Nieuw.

   b. Zoek in het zoekvak naar Azure Key Vault.

   Hoofdstuk c. Voer een naam in voor de gekoppelde service.

   d. Kies uw sleutelkluis en selecteer Maken.

3. Voeg een spark.synapse.diagnostic.emitter.<EMITTER_NAME>.certificate.keyVault.linkedService item toe aan de Apache Spark-configuratie.

4. Voeg de volgende Spark-eigenschappen met de juiste waarden toe aan de Spark-configuratie of selecteer Importeren op het lint om het yaml-voorbeeldbestand te downloaden, dat al de vereiste eigenschappen bevat.

   spark.synapse.diagnostic.emitters: <EMITTER_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.type: AzureLogIngestion
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.categories: DriverLog,ExecutorLog,EventLog,Metrics
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.dceUri: https://<DCE_NAME>.<REGION>.ingest.monitor.azure.com
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.logDcr: <LOG_DCR_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.logStream: <LOG_STREAM_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.eventDcr: <EVENT_DCR_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.eventStream: <EVENT_STREAM_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metricDcr: <METRIC_DCR_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metricStream: <METRIC_STREAM_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.tenantId: <SP_TENANT_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.clientId: <SP_CLIENT_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.certificate.keyVault: https://<KEYVAULT_NAME>.vault.azure.net/
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.certificate.keyVault.certificateName: <SP_CERT_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.certificate.keyVault.linkedService: <AZURE_KEY_VAULT_LINKED_SERVICE>

Zie Beschikbare Apache Spark-configuraties voor een lijst met Apache Spark-configuraties

Stap 7. Koppel de Apache Spark-configuratie aan notebooks of Spark-taakdefinities of stel deze in als de standaardinstelling voor de werkruimte

Gebruik een van de volgende benaderingen op basis van uw bereik:

• Koppel de Apache Spark-configuratie aan specifieke notebooks of Spark-taakdefinities wanneer u gerichte implementatie, testen of beheer per item wilt.
• Stel de Apache Spark-configuratie in als de standaardinstelling voor de werkruimte wanneer u consistente diagnostische Instellingen voor Spark wilt toepassen in de werkruimte.

De configuratie toepassen op notebooks of een Spark-taakdefinitie:

1. Navigeer naar uw notebook of Spark-taakdefinitie in Azure Synapse Analytics Studio.
2. Selecteer of configureer de Apache Spark-doelpool die is gekoppeld aan de notebook- of Spark-taakdefinitie.
3. Zorg ervoor dat de vereiste Spark-configuraties (bijvoorbeeld instellingen voor logboekopname) worden toegepast op de Apache Spark-pool of -sessie.
4. Start of voer de Spark-sessie uit om de configuratie van kracht te laten worden.

De instellingen op werkruimte- of Apache Spark-poolniveau configureren:

1. Navigeer naar Beheren in Azure Synapse Studio.
2. Ga naar Apache Spark-pools en selecteer de Apache Spark-doelpool.
3. Configureer de vereiste Spark-instellingen (bijvoorbeeld diagnostische gegevens of eigenschappen voor logboekopname).
4. Sla de configuratie op. De instellingen zijn van toepassing op alle nieuwe Spark-sessies die in deze pool zijn gemaakt.

Stap 8. Een Apache Spark-toepassing verzenden en de logboeken en metrische gegevens weergeven

U doet dit als volgt:

1. Dien een Apache Spark-toepassing in bij de Apache Spark-pool die in de vorige stap is geconfigureerd. U kunt dit op een van de volgende manieren doen:

   • Voer een notebook uit in Synapse Studio.
   • Dien in Synapse Studio een Apache Spark-batchtaak in via een Apache Spark-taakdefinitie.
   • Voer een pijplijn uit die Apache Spark-activiteit bevat.

2. Ga naar de opgegeven Log Analytics-werkruimte en bekijk vervolgens de metrische gegevens en logboeken van de toepassing wanneer de Apache Spark-toepassing wordt uitgevoerd.

Aangepaste toepassingslogboeken schrijven

U kunt de Apache Log4j-bibliotheek gebruiken om aangepaste logboeken te schrijven.

Voorbeeld voor Scala:

%%spark
val logger = org.apache.log4j.LogManager.getLogger("com.contoso.LoggerExample")
logger.info("info message")
logger.warn("warn message")
logger.error("error message")
//log exception
try {
      1/0
 } catch {
      case e:Exception =>logger.warn("Exception", e)
}
// run job for task level metrics
val data = sc.parallelize(Seq(1,2,3,4)).toDF().count()

Voorbeeld voor PySpark:

%%pyspark
logger = sc._jvm.org.apache.log4j.LogManager.getLogger("com.contoso.PythonLoggerExample")
logger.info("info message")
logger.warn("warn message")
logger.error("error message")

Query's uitvoeren op gegevens met Kusto

Hier volgt een voorbeeld van het uitvoeren van query's op Apache Spark-gebeurtenissen:

SparkEventTest_CL
| where workspaceName_s == "{SynapseWorkspace}" and Event_s== "EventName"
| order by TimeGenerated desc
| limit 100

Hier volgt een voorbeeld van het uitvoeren van query's op het apache Spark-toepassingsstuurprogramma en uitvoerderslogboeken:

SparkLogTest_CL
| where workspaceName_s == "{SynapseWorkspace}" and Message contains "SampleMessage"
| order by TimeGenerated desc
| limit 100

Hier volgt een voorbeeld van het uitvoeren van query's op metrische Apache Spark-gegevens:

SparkMetricsTest_CL 
| where workspaceName_s == "{SynapseWorkspace}" and name_s== "{MetricsName}"
| order by TimeGenerated desc
| limit 100

Waarschuwingen maken en beheren

Gebruikers kunnen query's uitvoeren om metrische gegevens en logboeken te evalueren op basis van een ingestelde frequentie en een waarschuwing activeren op basis van de resultaten. Zie Logboekwaarschuwingen maken, weergeven en beheren met behulp van Azure Monitor voor meer informatie.

Synapse-werkruimte waarvoor beveiliging tegen gegevensexfiltratie is ingeschakeld

Nadat de Synapse-werkruimte is gemaakt met gegevensexfiltratiebeveiliging ingeschakeld.

Als u deze functie wilt inschakelen, moet u aanvragen voor verbindingen met beheerde privé-eindpunten maken voor Azure Monitor Private Link-scopes (AMPLS) in de goedgekeurde Microsoft Entra-tenants voor de werkruimte.

U kunt de onderstaande stappen volgen om een beheerde privé-eindpuntverbinding te maken met Azure Monitor AMPLS-bereiken (Private Link):

1. Als er geen bestaande AMPLS is, kunt u Azure Monitor Private Link verbindingsinstallatie volgen om er een te maken.
2. Ga in Azure portal naar uw AMPLS en selecteer op de pagina Azure Monitor ResourcesToevoegen om verbinding met uw Azure Log Analytics werkruimte toe te voegen.
3. Navigeer naar Synapse Studio > Beheren > Beheerde privé-eindpunten, selecteer de knop Nieuw, selecteer Azure Monitor Private Link-scopes en Doorgaan.

   

4. Kies het Azure Monitor Private Link Scope dat je hebt gemaakt en selecteer de knop Maken.

   

5. Wacht enkele minuten totdat het privé-eindpunt is ingericht.
6. Navigeer opnieuw naar uw AMPLS in Azure Portal en selecteer op de pagina Privé-eindpuntverbindingen de ingerichte verbinding en Goedkeuren.

Beschikbare configuraties

Verwante inhoud

• Legacy HTTP Data Collector API-pad voor Azure Log Analytics
• Voer een Spark-toepassing uit in een notebook.
• Verzamel Apache Spark-toepassingslogboeken en metrische gegevens met een Azure Storage-account.
• Verzamel logboeken en metrische gegevens van Apache Spark-toepassingen met Azure Event Hubs.