Samla in loggar och mått med Azure Log Analytics

Den här artikeln beskriver hur du använder Azure Log Analytics mål för Apache Spark-diagnostik i Azure Synapse Analytics med hjälp av Log Ingestion API.

Generering av diagnostik i Azure Synapse Apache Spark ger en enhetlig konfigurationsmodell för att samla in Spark-diagnostik för alla destinationer som stöds. För Azure Log Analytics är LOG Ingestion API den rekommenderade inmatningsmekanismen.

Den här artikeln beskriver hur du konfigurerar egenskaper för utsändare, dirigerar Apache Spark-loggar, händelseloggar och mått till Log Analytics och frågar inmatade data i övervaknings- och felsökningssyfte.

Migrera från API:et för datainsamlare

Om du för närvarande använder HTTP Data Collector API i Azure Synapse Analytics migrerar du till api:et Log Ingestion för att anpassa till den senaste Azure Monitor inmatningsarkitekturen och bästa praxis.

Viktiga ändringar i den nya modellen:

• Schemadefinitioner definieras uttryckligen via datainsamlingsregler (DCR), vilket ger förutsägbar schemavalidering och mer konsekventa frågeresultat jämfört med den tidigare metoden för nyttolast i fritt format.
• Inmatningsflödet dirigeras via datainsamlingsslutpunkter (DCE) och DCR-mappningar, vilket ger en mer kontrollerad och tillförlitlig inmatningssökväg än att publicera data direkt till API-slutpunkten för datainsamlaren.
• Autentisering stöder både tjänstens huvudnamn med klienthemlighet och certifikatbaserad autentisering.
• Utsändartypen ändras från AzureLogAnalytics till AzureLogIngestion.
• Migrering innebär vanligtvis att du skapar DCR- och DCE-resurser, uppdaterar Azure Synapse Apache Spark-poolkonfigurationer (till exempel Spark-konfiguration eller diagnostikinställningar) och verifierar att data har matats in i anpassade tabeller i Azure Log Analytics.

Översikt över API för logginmatning

För Apache Spark-diagnostik i Azure Synapse Analytics tillhandahåller API:et för logginmatning en strukturerad inmatningsmodell för autentisering, schemadefinition, routning och dataleverans till Azure Log Analytics.

Nyckelkomponenter

Endast användarskapade DCR:er som konfigurerats för Loggingsinsamlings-API kan användas för programmatisk dataingång.

Stegvis konfiguration

Steg 1. Förbereda Log Analytics-arbetsytan

En Log Analytics-arbetsyta krävs för att ta emot Spark-diagnostik. Det är den grundläggande lagrings- och frågeenheten för Azure Monitor Logs.

Om du inte har en skapar du en Log Analytics-arbetsyta i Azure-portalen.

Steg 2. Skapa en datainsamlingsslutpunkt (DCE)

Skapa en datainsamlingsslutpunkt (DCE) i Azure-portalen. DCE tillhandahåller den slutpunkts-URI som du konfigurerar i Spark-egenskaper för LOG Ingestion API. Regionen för DCE måste vara densamma som regionen för din Log Analytics-arbetsyta.

Användare kan också skapa en eller flera tabelltyper (logs, , eventsmetrics) beroende på deras scenario, och varje tabelltyp har sin egen motsvarande DCR-konfiguration och strömnamn. Skapa och konfigurera bara de tabelltyper som du faktiskt behöver.

1. I Azure-portalen går du till Övervaka i det vänstra navigeringsfönstret.

2. Under Inställningar väljer du Slutpunkter för datainsamling och sedan Skapa.

   

3. Skapa slutpunkten och notera sedan DCE-namnet (till exempel DCEdemo).

Steg 3. Förbereda JSON-exempelschema

När du skapar anpassade loggtabeller måste du konfigurera en datainsamlingsregel (DCR). Baserat på de dataströmsdefinitioner som anges i DCR genererar systemet automatiskt motsvarande tabellschema på Log Analytics-arbetsytan.

Följande fördefinierade JSON-schemaexempel på varje mappning till en specifik datatyp. Ladda ned exemplet som passar ditt scenario och ladda upp det när du skapar den associerade anpassade tabellen och DCR.

• Spark-händelseloggar – JSON-schemaexempel för händelsetabell
• Spark-förar- och exekverarloggar – JSON-scheman för loggtabellexempel
• Spark-mått – JSON-schemaexempel för måtttabell

Steg 4. Skapa anpassad tabell (direkt inmatning)

Skapa en anpassad tabell i Log Analytics-arbetsytan med alternativet Log Ingestion API och ladda upp JSON-schemaexemplet till den associerade DCR:n. Det här steget krävs för att konfigurera målet för Spark-diagnostik och se till att inmatade data överensstämmer med det förväntade schemat. Regionen för Log Analytics-arbetsytan, DCE och DCR måste vara samma för lyckad inmatning.

1. Öppna Log Analytics-arbetsytan i Azure-portalen (till exempel loganalyticsworkspacedemo).

2. Välj Tabeller>Skapa ny>Ny anpassad loggfil (Direkt inmatning).

   

3. Ange tabellinställningarna:

   • Tabellnamn: SparkLogTest (suffixet "_CL" läggs till automatiskt).
   • Tabellöversikt: Analys
   • Datainsamlingsregel: Skapa en ny DCR (till exempel SparkLogTestrule).
   • Slutpunkt för datainsamling: Välj DCE från steget Skapa en datainsamlingsslutpunkt (DCE) ( till exempel DCEdemo).

   

4. Klicka på Nästa.

5. I Schema och transformering laddar du upp JSON-schemaexemplet. Du behöver inte konfigurera DCR-transformering eftersom schemat är helt stabiliserat på klientsidan.

Steg 5. Förbered tjänstens huvudobjekt och hämta DCR-identifieraren

1. Registrera en app i Microsoft Entra ID.

   

2. Registrera TenantId, ClientId och ClientSecret (om du använder klienthemlighetsautentisering). Du använder dessa värden i Spark-konfigurationen i steg 6.

3. Ge appen rollen Monitoring Metrics Publisher på varje tabells DCR-resurs. Information om rolltilldelningssteg finns i Tilldela Azure-roller med hjälp av Azure-portalen.

   

4. Hämta strömnamnet och DCR-ID:t. Du kan hämta DCR-ID:t och strömsnamnet för varje tabell som du skapade från < DCR(Data Collection Rule) > resursen JSON i Azure portalen.

   Formatet för strömnamn är alltid: Custom-<Log Analytics table name>. Om t.ex. tabellnamnet är AppLogs_CLblir strömnamnet: Custom-AppLogs_CL.

   I nästa steg konfigurerar du motsvarande logStream, , eventStreammetricStream värden och logDcr , eventDcr, metricDcr-värden i Spark-konfigurationen med hjälp av dessa strömnamn.

   

Steg 6. Konfigurera Spark-egenskaper

Om du vill konfigurera Spark skapar du en Apache Spark-konfiguration i Azure Synapse Analytics och väljer något av följande autentiseringsalternativ. Använd endast ett alternativ för en viss utsändare.

En Apache Spark-konfiguration i Azure Synapse Analytics lagrar Spark-inställningar och bibliotek som anteckningsböcker och Spark-jobbdefinitioner använder under körning. Anvisningar för hur du skapar en finns i Hantera Apache Spark-konfiguration.

• Välj Alternativ 1 om du vill ha en enklare konfiguration med hjälp av en klienthemlighet.
• Välj Alternativ 2 om din organisation kräver certifikatbaserad autentisering och centraliserad certifikathantering i Azure Key Vault.
• Välj alternativ 3 om du använder certifikatbaserad autentisering och vill hämta certifikatet från Azure Key Vault via en länkad tjänst i Synapse (arbetsytans MSI har åtkomst till Key Vault).

I båda alternativen kan du klicka på knappen Importera för att snabbt läsa in en YAML-konfigurationsfil.

Alternativ 1: Konfigurera med tjänstens huvudnamn och klienthemlighet

Använd det här alternativet för snabb installation med autentiseringsuppgifter för tjänstens huvudnamn och en klienthemlighet.

1. Skapa en Apache Spark-konfiguration.

2. Lägg till följande Spark-egenskaper med lämpliga värden för miljöartefakten eller välj Importera i menyfliksområdet för att ladda ned yaml-exempelfilen, som redan innehåller de egenskaper som krävs.

   spark.synapse.diagnostic.emitters: <EMITTER_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.type: AzureLogIngestion
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.categories: DriverLog,ExecutorLog,EventLog,Metrics
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.dceUri: https://<DCE_NAME>.<REGION>.ingest.monitor.azure.com
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.logDcr: <LOG_DCR_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.logStream: <LOG_STREAM_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.eventDcr: <EVENT_DCR_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.eventStream: <EVENT_STREAM_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metricDcr: <METRIC_DCR_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metricStream: <METRIC_STREAM_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.tenantId: <SP_TENANT_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.clientId: <SP_CLIENT_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.secret: <SP_CLIENT_SECRET>
   

3. Spara och publicera ändringarna.

Alternativ 2: Konfigurera med certifikatautentisering med tjänstehuvudnamn

Använd det här alternativet när din organisation kräver certifikatbaserad autentisering.

Innan du börjar, säkerställ att tjänstens huvudkonto har skapats med ett certifikat. Mer information finns i Skapa ett huvudnamn för tjänsten som innehåller ett certifikat med hjälp av Azure CLI.

1. Skapa en Apache Spark-konfiguration.

2. Lägg till följande Spark-egenskaper med lämpliga värden för miljöartefakten eller välj Importera i menyfliksområdet för att ladda ned yaml-exempelfilen, som redan innehåller de egenskaper som krävs.

   spark.synapse.diagnostic.emitters: "<EMITTER_NAME>"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.type: "AzureLogIngestion"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.categories: "DriverLog,ExecutorLog,EventLog,Metrics"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.dceUri: "https://<DCE_NAME>.<REGION>.ingest.monitor.azure.com"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.logDcr: "<LOG_DCR_ID>"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.logStream: "<LOG_STREAM_NAME>"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.eventDcr: "<EVENT_DCR_ID>"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.eventStream: "<EVENT_STREAM_NAME>"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metricDcr: "<METRIC_DCR_ID>"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metricStream: "<METRIC_STREAM_NAME>"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.tenantId: "<SP_TENANT_ID>"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.clientId: "<SP_CLIENT_ID>"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.certificate.keyVault: "https://<KEYVAULT_NAME>.vault.azure.net/"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.certificate.keyVault.certificateName: "<SP_CERT_NAME>"
   

3. Spara och publicera ändringarna.

Alternativ 3: Konfigurera med en länkad tjänst

Följ dessa steg för att konfigurera en Key Vault länkad tjänst i Synapse Studio för att lagra certifikatet för tjänstens huvudnamn:

1. Följ alla steg i föregående avsnitt, "Alternativ 2".

2. Skapa en Key Vault länkad tjänst i Synapse Studio:

   a. Gå till Synapse Studio>Manage>Länkade tjänster och välj sedan Ny.

   b. I sökrutan söker du efter Azure Key Vault.

   Punkt c Ange ett namn för den länkade tjänsten.

   d. Välj ditt nyckelvalv och välj Skapa.

3. Lägg till ett spark.synapse.diagnostic.emitter.<EMITTER_NAME>.certificate.keyVault.linkedService objekt i Apache Spark-konfigurationen.

4. Lägg till följande Spark-egenskaper med lämpliga värden i Spark-konfigurationen eller välj Importera i menyfliksområdet för att ladda ned yaml-exempelfilen, som redan innehåller de egenskaper som krävs.

   spark.synapse.diagnostic.emitters: <EMITTER_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.type: AzureLogIngestion
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.categories: DriverLog,ExecutorLog,EventLog,Metrics
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.dceUri: https://<DCE_NAME>.<REGION>.ingest.monitor.azure.com
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.logDcr: <LOG_DCR_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.logStream: <LOG_STREAM_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.eventDcr: <EVENT_DCR_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.eventStream: <EVENT_STREAM_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metricDcr: <METRIC_DCR_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metricStream: <METRIC_STREAM_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.tenantId: <SP_TENANT_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.clientId: <SP_CLIENT_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.certificate.keyVault: https://<KEYVAULT_NAME>.vault.azure.net/
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.certificate.keyVault.certificateName: <SP_CERT_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.certificate.keyVault.linkedService: <AZURE_KEY_VAULT_LINKED_SERVICE>

En lista över Apache Spark-konfigurationer finns i Tillgängliga Apache Spark-konfigurationer

Steg 7. Koppla Apache Spark-konfigurationen till notebook-filer eller Spark-jobbdefinitioner eller ange den som standard för arbetsytan

Använd någon av följande metoder baserat på ditt omfång:

• Koppla Apache Spark-konfigurationen till specifika notebook-filer eller Spark-jobbdefinitioner när du vill ha riktad distribution, testning eller kontroll per objekt.
• Ange Apache Spark-konfigurationen som standard för arbetsytan när du vill att konsekventa Spark-diagnostikinställningar ska tillämpas på arbetsytan.

Så här tillämpar du konfigurationen på notebook-filer eller Spark-jobbdefinitioner:

1. Gå till din anteckningsbok eller din Spark-jobbdefinition i Azure Synapse Analytics Studio.
2. Välj eller konfigurera den Apache Spark-målpool som är associerad med notebook- eller Spark-jobbdefinitionen.
3. Se till att nödvändiga Spark-konfigurationer (till exempel inställningar för logginmatning) tillämpas på Apache Spark-poolen eller -sessionen.
4. Starta eller kör Spark-sessionen för att konfigurationen ska börja gälla.

Så här konfigurerar du inställningarna på arbetsytan eller Apache Spark-poolnivån:

1. Gå till Hantera i Azure Synapse Studio.
2. Gå till Apache Spark-pooler och välj Apache Spark-målpoolen.
3. Konfigurera de nödvändiga Spark-inställningarna (till exempel diagnostik eller logginmatningsrelaterade egenskaper).
4. Spara konfigurationen. Inställningarna gäller för alla nya Spark-sessioner som skapats i den här poolen.

Steg 8. Skicka ett Apache Spark-program och visa loggarna och måtten

Så här gör du:

1. Skicka ett Apache Spark-program till Apache Spark-poolen som konfigurerades i föregående steg. Du kan använda något av följande sätt att göra det:

   • Kör en notebook i Synapse Studio.
   • I Synapse Studio skickar du ett Apache Spark-batchjobb via en Apache Spark-jobbdefinition.
   • Kör en pipeline som innehåller Apache Spark-aktivitet.

2. Gå till den angivna Log Analytics-arbetsytan och visa sedan programmåtten och loggarna när Apache Spark-programmet börjar köras.

Skriva anpassade programloggar

Du kan använda Apache Log4j-biblioteket för att skriva anpassade loggar.

Exempel för Scala:

%%spark
val logger = org.apache.log4j.LogManager.getLogger("com.contoso.LoggerExample")
logger.info("info message")
logger.warn("warn message")
logger.error("error message")
//log exception
try {
      1/0
 } catch {
      case e:Exception =>logger.warn("Exception", e)
}
// run job for task level metrics
val data = sc.parallelize(Seq(1,2,3,4)).toDF().count()

Exempel för PySpark:

%%pyspark
logger = sc._jvm.org.apache.log4j.LogManager.getLogger("com.contoso.PythonLoggerExample")
logger.info("info message")
logger.warn("warn message")
logger.error("error message")

Fråga efter data med Kusto

Följande är ett exempel på att köra frågor mot Apache Spark-händelser:

SparkEventTest_CL
| where workspaceName_s == "{SynapseWorkspace}" and Event_s== "EventName"
| order by TimeGenerated desc
| limit 100

Här är ett exempel på hur du kör frågor mot Apache Spark-programdrivrutinen och körloggarna:

SparkLogTest_CL
| where workspaceName_s == "{SynapseWorkspace}" and Message contains "SampleMessage"
| order by TimeGenerated desc
| limit 100

Och här är ett exempel på hur man frågar efter Apache Spark-mätvärden:

SparkMetricsTest_CL 
| where workspaceName_s == "{SynapseWorkspace}" and name_s== "{MetricsName}"
| order by TimeGenerated desc
| limit 100

Skapa och hantera aviseringar

Användare kan fråga för att utvärdera mått och loggar med en angivna frekvens och utlösa en avisering baserat på resultaten. Mer information finns i Skapa, visa och hantera loggaviseringar med hjälp av Azure Monitor.

Synapse-arbetsyta med dataexfiltreringsskydd aktiverat

När Synapse-arbetsytan har skapats med dataexfiltreringsskydd aktiverat.

När du vill aktivera den här funktionen måste du skapa begäranden om anslutning till hanterade privata slutpunkter för Azure Monitor Private Link-omfattningar (AMPLS) i arbetsytans godkända Microsoft Entra-klientorganisationer.

Du kan följa stegen nedan för att skapa en hanterad privat slutpunktsanslutning till Azure Monitor privata länkomfattningar (AMPLS):

1. Om det inte finns någon befintlig AMPLS kan du följa Azure Monitor Private Link anslutningskonfiguration för att skapa en.
2. Gå till din AMPLS i Azure-portalen och välj Lägg till på sidan Azure Monitor-resurser för att lägga till en anslutning till din Azure Log Analytics-arbetsyta.
3. Gå till Synapse Studio > Hantera > hanterade privata slutpunkter, välj knappen Ny, välj Azure Monitor Private Link Scopes och continue.

   

4. Välj ditt Azure Monitor Private Link omfång som du skapade och välj knappen Create.

   

5. Vänta några minuter medan etableringen av privata slutpunkter slutförs.
6. Gå till AMPLS i Azure portalen igen, på sidan Private Endpoint connections väljer du den etablerade anslutningen och Approve.

Tillgängliga konfigurationer

Relaterat innehåll

• Legacy HTTP Data Collector API-sökväg för Azure Log Analytics
• Kör ett Spark-program i notebook-filen.
• Samla in programloggar och mätvärden för Apache Spark-program med ett Azure Storage-konto.
• Samla in loggar och mätvärden för Apache Spark-program med Azure Event Hubs.