Recopilación de registros y métricas con Azure Log Analytics

En este artículo se describe cómo usar el destino de Azure Log Analytics para los diagnósticos de Apache Spark en Azure Synapse Analytics mediante la API de ingesta de registros.

La emisión de diagnósticos de Azure Synapse Apache Spark proporciona un modelo de configuración unificado para recopilar diagnósticos de Spark en todos los destinos admitidos. Para Azure Log Analytics, la API de ingesta de registros es el mecanismo de ingesta recomendado.

En este artículo se explica cómo configurar las propiedades del emisor, enrutar los registros de Apache Spark, los registros de eventos y las métricas a Log Analytics y consultar los datos ingeridos con fines de supervisión y solución de problemas.

Migrar desde la API del recopilador de datos

Si actualmente usa la API HTTP Data Collector en Azure Synapse Analytics, migre a la Log Ingestion API para alinearse con la arquitectura de ingesta más reciente de Azure Monitor y las prácticas recomendadas.

Cambios clave en el nuevo modelo:

  • Las definiciones de esquema se definen explícitamente mediante reglas de recopilación de datos (DCR), lo que proporciona validación de esquema predecible y resultados de consulta más coherentes en comparación con el enfoque anterior de carga de forma libre.
  • El flujo de ingesta se enruta a través de Puntos de conexión de recopilación de datos (DCE) y asignaciones de DCR, lo que ofrece una ruta de ingesta más controlada y fiable que enviar datos directamente al punto de conexión de la API de recopilación de datos.
  • La autenticación admite tanto la autenticación con entidad de servicio y secreto de cliente como la autenticación mediante certificados.
  • El tipo emisor cambia de AzureLogAnalytics a AzureLogIngestion.
  • Normalmente, la migración implica crear recursos de DCR y DCE, actualizar Azure Synapse configuraciones del grupo de Apache Spark (por ejemplo, configuración o configuración de diagnóstico de Spark) y validar que los datos se ingieren correctamente en tablas personalizadas en Azure Log Analytics.

Introducción a la API de ingesta de registros

Para los diagnósticos de Apache Spark en Azure Synapse Analytics, la API de ingesta de registros proporciona un modelo de ingesta estructurado para la autenticación, definición de esquema, enrutamiento y entrega de datos en Azure Log Analytics.

Componentes clave

Componente Purpose
Credenciales de registro de aplicaciones Proporciona la identidad de aplicación de Microsoft Entra que se usa para autenticar las solicitudes de API de ingestión de registros con un secreto de cliente o un certificado.
Tabla de Log Analytics Proporciona la tabla personalizada de destino donde se almacenan los diagnósticos de Spark ingeridos para consultar y supervisar.
Regla de recopilación de datos (DCR) Definen flujos de entrada, asignación de esquemas y transformaciones opcionales para el ingreso de datos.
Punto de conexión de recopilación de datos (DCE) Proporciona el URI del punto de conexión de ingesta (dceUri) usado por los clientes para enviar datos a través del enrutamiento basado en DCR.

Solo se pueden usar DCR creados por el usuario configurados para la API de ingesta de registros para ingesta mediante programación.

Configuración paso a paso

Paso 1. Preparación del área de trabajo de Log Analytics

Se requiere un área de trabajo de Log Analytics para recibir diagnósticos de Spark. Es la unidad básica de almacenamiento y consulta para Azure Monitor Logs.

Si no tiene una, cree un área de trabajo de Log Analytics en el portal de Azure.

Importante

A medida que complete los siguientes pasos, cree los recursos Punto de conexión de recopilación de datos (DCE) y Regla de recopilación de datos (DCR) en la misma región que el área de trabajo de Log Analytics.

Paso 2. Creación de un punto de conexión de recopilación de datos (DCE)

Cree un punto de conexión de recopilación de datos (DCE) en el portal de Azure. El DCE proporciona el URI de punto de conexión que se configura en las propiedades de Spark para la API de Ingestión de Registros. La región del DCE debe ser la misma que la región del área de trabajo de Log Analytics.

Opcionalmente, los usuarios pueden crear uno o varios tipos de tabla (logs, events, metrics) en función de su escenario, y cada tipo de tabla tiene su propia configuración de DCR y nombre de secuencia correspondientes. Solo cree y configure los tipos de tabla que realmente necesita.

  1. En el portal Azure, vaya a Monitor en el panel de navegación izquierdo.

  2. En Configuración, seleccione Puntos de conexión de recopilación de datos y, a continuación, seleccione Crear.

    Captura de pantalla que muestra cómo crear un punto de conexión de recopilación de datos.

  3. Cree el punto de conexión y anote el nombre de DCE (por ejemplo, DCEdemo).

Paso 3. Preparación del esquema JSON de ejemplo

Al crear tablas de registro personalizadas, debe configurar una regla de recopilación de datos (DCR). En función de las definiciones de flujo de datos especificadas en dcR, el sistema genera automáticamente el esquema de tabla correspondiente en el área de trabajo de Log Analytics.

Los siguientes ejemplos predefinidos de esquema JSON se asignan a un tipo de datos específico. Descargue el ejemplo que se adapte a su escenario y cárguelo al crear la tabla personalizada asociada y DCR.

Paso 4. Creación de una tabla personalizada (ingesta directa)

Cree una tabla personalizada en el área de trabajo de Log Analytics con la opción Log Ingestion API (API de ingesta de registros), y cargue el ejemplo de esquema JSON en el DCR asociado. Este paso es necesario para configurar el destino de los diagnósticos de Spark y asegurarse de que los datos ingeridos se ajustan al esquema esperado. La región del área de trabajo de Log Analytics, DCE y DCR debe ser la misma para la ingestión exitosa.

  1. En Azure Portal, abra el área de trabajo de Log Analytics (por ejemplo, loganalyticsworkspacedemo).

  2. Seleccione Tablas>Crear nuevo>Nuevo Registro Personalizado (Ingesta Directa).

    Captura de pantalla que muestra la creación de una tabla personalizada con ingesta directa.

  3. Escriba la configuración de la tabla:

    • Nombre de tabla: por ejemplo, SparkLogTest (sufijo "_CL" se agrega automáticamente).
    • Plan de tabla: Análisis
    • Regla de recopilación de datos: Cree una nueva DCR (por ejemplo, SparkLogTestrule).
    • Punto de conexión de recopilación de datos: seleccione el DCE en el paso Crear un punto de conexión de recopilación de datos (DCE) (por ejemplo, DCEdemo).

    Captura de pantalla que muestra cómo crear una configuración de ingesta directa de tabla personalizada.

  4. Seleccione Siguiente.

  5. En Esquema y transformación, cargue el ejemplo de esquema JSON. No es necesario configurar la transformación DCR porque el esquema está totalmente estabilizado en el lado cliente.

Paso 5. Preparar la entidad de servicio y recopilar el identificador de DCR

  1. Registre una aplicación en Microsoft Entra ID.

    Captura de pantalla que muestra tenantId y clientId.

  2. Registre tenantId, ClientId y ClientSecret (si usa la autenticación de secretos de cliente). Estos valores se usan en la configuración de Spark en el paso 6.

  3. Conceda a la aplicación el rol Monitoring Metrics Publisher en el recurso DCR de cada tabla. Para conocer los pasos de asignación de roles, consulte Asignación de roles de Azure mediante Azure Portal.

    Captura de pantalla que muestra la asignación del rol Monitoring Metrics Publisher.

  4. Recupere el nombre de la secuencia y el identificador de DCR. Puede recuperar el identificador de DCR y el nombre de flujo de cada tabla que creó en la vista JSON del recurso Data Collection Rule (DCR) en Azure Portal.

    El formato de nombre de secuencia siempre es: Custom-<Log Analytics table name>. Por ejemplo, si el nombre de la tabla es AppLogs_CL, el nombre de la secuencia será: Custom-AppLogs_CL.

    En el siguiente paso, configurará los valores correspondientes de logStream, eventStream y metricStream, así como los valores de logDcr, eventDcr y metricDcr, en la configuración de Spark mediante estos nombres de flujo.

    Captura de pantalla que muestra cómo recuperar el nombre del flujo y el identificador de DCR.

Paso 6. Configuración de las propiedades de Spark

Para configurar Spark, cree una configuración de Apache Spark en Azure Synapse Analytics y elija una de las siguientes opciones de autenticación. Use solo una opción para un emisor determinado.

Una configuración de Apache Spark en Azure Synapse Analytics almacena los valores de configuración y las bibliotecas de Spark que utilizan los cuadernos de notas y las definiciones de trabajos de Spark en tiempo de ejecución. Para conocer los pasos para crear uno, consulte Administración de la configuración de Apache Spark.

  • Elija la opción 1 si desea una configuración más sencilla mediante un secreto de cliente.
  • Elija la opción 2 si su organización requiere autenticación basada en certificados y administración centralizada de certificados en Azure Key Vault.
  • Elija la opción 3 si usa la autenticación basada en certificados y desea recuperar el certificado de Azure Key Vault a través de un servicio vinculado de Synapse (el MSI del área de trabajo accede a Key Vault).

En cualquiera de las opciones, puede hacer clic en el botón Importar para cargar rápidamente un archivo YAML de configuración.

Opción 1: Configurar con entidad de servicio y secreto de cliente

Use esta opción para la configuración rápida con credenciales de entidad de servicio y un secreto de cliente.

  1. Cree una configuración de Apache Spark.

  2. Agregue las siguientes propiedades de Spark con los valores adecuados al artefacto del entorno o seleccione Importar en la cinta de opciones para descargar el archivo yaml de ejemplo, que ya contiene las propiedades necesarias.

    spark.synapse.diagnostic.emitters: <EMITTER_NAME>
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.type: AzureLogIngestion
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.categories: DriverLog,ExecutorLog,EventLog,Metrics
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.dceUri: https://<DCE_NAME>.<REGION>.ingest.monitor.azure.com
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.logDcr: <LOG_DCR_ID>
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.logStream: <LOG_STREAM_NAME>
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.eventDcr: <EVENT_DCR_ID>
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.eventStream: <EVENT_STREAM_NAME>
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metricDcr: <METRIC_DCR_ID>
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metricStream: <METRIC_STREAM_NAME>
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.tenantId: <SP_TENANT_ID>
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.clientId: <SP_CLIENT_ID>
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.secret: <SP_CLIENT_SECRET>

  3. Guarde y publique los cambios.

Opción 2: Configurar con autenticación de certificados de entidad de servicio

Use esta opción cuando la organización requiera autenticación basada en certificados.

Antes de empezar, asegúrese de que su entidad de servicio se cree con un certificado. Para obtener más información, consulte Crear una entidad de servicio que contenga un certificado mediante CLI de Azure.

  1. Cree una configuración de Apache Spark.

  2. Agregue las siguientes propiedades de Spark con los valores adecuados al artefacto del entorno o seleccione Importar en la cinta de opciones para descargar el archivo yaml de ejemplo, que ya contiene las propiedades necesarias.

    spark.synapse.diagnostic.emitters: "<EMITTER_NAME>"
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.type: "AzureLogIngestion"
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.categories: "DriverLog,ExecutorLog,EventLog,Metrics"
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.dceUri: "https://<DCE_NAME>.<REGION>.ingest.monitor.azure.com"
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.logDcr: "<LOG_DCR_ID>"
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.logStream: "<LOG_STREAM_NAME>"
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.eventDcr: "<EVENT_DCR_ID>"
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.eventStream: "<EVENT_STREAM_NAME>"
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metricDcr: "<METRIC_DCR_ID>"
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metricStream: "<METRIC_STREAM_NAME>"
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.tenantId: "<SP_TENANT_ID>"
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.clientId: "<SP_CLIENT_ID>"
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.certificate.keyVault: "https://<KEYVAULT_NAME>.vault.azure.net/"
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.certificate.keyVault.certificateName: "<SP_CERT_NAME>"

  3. Guarde y publique los cambios.

Opción 3: Configurar con un servicio vinculado

Note

En esta opción, debe conceder permiso de certificado de lectura a la identidad administrada del área de trabajo. Para obtener más información, consulte Conceder acceso a claves, certificados y secretos de Key Vault con un control de acceso basado en roles de Azure.

Para configurar un servicio vinculado de Key Vault en Synapse Studio para almacenar el certificado de entidad de servicio, siga estos pasos:

  1. Siga todos los pasos de la sección anterior, "Opción 2".

  2. Cree un servicio vinculado Key Vault en Synapse Studio:

    a. Vaya a Synapse Studio>Manage>Servicios vinculados y seleccione Nuevo.

    b. En el cuadro de búsqueda, busque Azure Key Vault.

    c. Escriba un nombre para el servicio vinculado.

    d. Elija el almacén de claves y seleccione Crear.

  3. Agregue un spark.synapse.diagnostic.emitter.<EMITTER_NAME>.certificate.keyVault.linkedService elemento a la configuración de Apache Spark.

  4. Agregue las siguientes propiedades de Spark con los valores adecuados a la configuración de Spark o seleccione Importar en la cinta de opciones para descargar el archivo yaml de ejemplo, que ya contiene las propiedades necesarias.

   spark.synapse.diagnostic.emitters: <EMITTER_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.type: AzureLogIngestion
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.categories: DriverLog,ExecutorLog,EventLog,Metrics
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.dceUri: https://<DCE_NAME>.<REGION>.ingest.monitor.azure.com
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.logDcr: <LOG_DCR_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.logStream: <LOG_STREAM_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.eventDcr: <EVENT_DCR_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.eventStream: <EVENT_STREAM_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metricDcr: <METRIC_DCR_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metricStream: <METRIC_STREAM_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.tenantId: <SP_TENANT_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.clientId: <SP_CLIENT_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.certificate.keyVault: https://<KEYVAULT_NAME>.vault.azure.net/
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.certificate.keyVault.certificateName: <SP_CERT_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.certificate.keyVault.linkedService: <AZURE_KEY_VAULT_LINKED_SERVICE>

Para obtener una lista de las configuraciones de Apache Spark, consulte Configuraciones de Apache Spark disponibles.

Paso 7. Adjunte la configuración de Apache Spark a cuadernos o definiciones de trabajo de Spark, o establézcala como valor predeterminado del área de trabajo.

Use uno de los métodos siguientes en función del ámbito:

  • Adjunte la configuración de Apache Spark a notebooks específicos o a definiciones de trabajos de Spark cuando desee una implementación selectiva, realizar pruebas o tener control por elemento.
  • Establezca la configuración de Apache Spark como valor predeterminado del área de trabajo cuando quiera aplicar una configuración coherente de diagnóstico de Spark en el área de trabajo.

Para aplicar la configuración a cuadernos o definición de trabajo de Spark:

  1. Vaya a su cuaderno o definición de trabajo de Spark en Azure Synapse Analytics Studio.
  2. Seleccione o configure el grupo de Apache Spark de destino asociado con el cuaderno o la definición de trabajo de Spark.
  3. Asegúrese de que las configuraciones de Spark necesarias (por ejemplo, configuración de ingesta de registros) se aplican al grupo o sesión de Apache Spark.
  4. Inicie o ejecute la sesión de Spark para que la configuración surta efecto.

Para configurar las opciones en el área de trabajo o en el nivel de grupo de Apache Spark:

  1. Vaya a Administrar en Azure Synapse Studio.
  2. Vaya a Grupos de Apache Spark y seleccione el grupo de Apache Spark de destino.
  3. Configure los valores necesarios de Spark (por ejemplo, los relacionados con el diagnóstico o la ingesta de registros).
  4. Guarde la configuración. La configuración se aplicará a todas las nuevas sesiones de Spark creadas en este grupo.

Paso 8. Envío de una aplicación Apache Spark y visualización de los registros y métricas

A continuación se muestra cómo hacerlo:

  1. Envíe una aplicación de Apache Spark al grupo de Apache Spark configurado en el paso anterior. Para ello, puede usar cualquiera de los siguientes métodos:

    • Ejecute un cuaderno en Synapse Studio.
    • En Synapse Studio, envíe un trabajo por lotes de Apache Spark a través de una definición de trabajo de Apache Spark.
    • Ejecute una canalización que contenga una actividad de Apache Spark.

  2. Vaya al área de trabajo de Log Analytics especificada y, luego, vea las métricas y los registros de la aplicación cuando la aplicación Apache Spark empiece a ejecutarse.

Escritura de registros de aplicaciones personalizados

Puede usar la biblioteca Log4j de Apache para escribir registros personalizados.

Ejemplo de Scala:

%%spark
val logger = org.apache.log4j.LogManager.getLogger("com.contoso.LoggerExample")
logger.info("info message")
logger.warn("warn message")
logger.error("error message")
//log exception
try {
      1/0
 } catch {
      case e:Exception =>logger.warn("Exception", e)
}
// run job for task level metrics
val data = sc.parallelize(Seq(1,2,3,4)).toDF().count()

Ejemplo de PySpark:

%%pyspark
logger = sc._jvm.org.apache.log4j.LogManager.getLogger("com.contoso.PythonLoggerExample")
logger.info("info message")
logger.warn("warn message")
logger.error("error message")

Consulta de datos con Kusto

A continuación se muestra un ejemplo de consulta de eventos de Apache Spark:

SparkEventTest_CL
| where workspaceName_s == "{SynapseWorkspace}" and Event_s== "EventName"
| order by TimeGenerated desc
| limit 100

Este es un ejemplo de consulta de los registros de ejecutores y controladores de aplicación de Apache Spark:

SparkLogTest_CL
| where workspaceName_s == "{SynapseWorkspace}" and Message contains "SampleMessage"
| order by TimeGenerated desc
| limit 100

Y este es un ejemplo de consulta de métricas de Apache Spark:

SparkMetricsTest_CL 
| where workspaceName_s == "{SynapseWorkspace}" and name_s== "{MetricsName}"
| order by TimeGenerated desc
| limit 100

Creación y administración de alertas

Los usuarios pueden realizar consultas para evaluar las métricas y los registros según una frecuencia establecida y activar una alerta en función de los resultados. Para más información, consulte Creación, visualización y administración de alertas de registro mediante Azure Monitor.

Área de trabajo de Synapse con la protección contra filtración de datos habilitada

Después de crear el área de trabajo de Synapse con la protección contra filtración de datos habilitada.

Cuando quiera habilitar esta característica, tendrá que crear solicitudes de conexión de puntos de conexión privados administrados a Ámbitos de vínculo privado de Azure Monitor (AMPLS) en los inquilinos de Microsoft Entra aprobados del área de trabajo.

Puede seguir los pasos a continuación para crear una conexión de punto de conexión privado administrado a Ámbitos de Private Link de Azure Monitor (AMPLS):

  1. Si no existe ningún AMPLS, puede seguir la configuración de una conexión de Private Link de Azure Monitor para crear uno.
  2. Vaya a la página AMPLS en Azure portal, en la página Azure Monitor Resources, seleccione Agregar para agregar conexión al área de trabajo de Azure Log Analytics.
  3. Vaya a Synapse Studio > Administrar > Puntos de conexión privados administrados, seleccione Nuevo, seleccione Ámbitos de Private Link de Azure Monitor y Continuar.

    Captura de pantalla de creación de un punto de conexión privado administrado por AMPLS 1.

  4. Seleccione el Azure Monitor Private Link Scope que creó y seleccione el botón Crear.

    Captura de pantalla de creación de un punto de conexión privado administrado por AMPLS 2.

  5. Espere unos minutos para el aprovisionamiento de puntos de conexión privados.
  6. Vaya de nuevo a su AMPLS en Azure Portal; en la página Private Endpoint connections, seleccione la conexión aprovisionada y Aprobar.

Note

  • El objeto AMPLS tiene muchos límites que debe tener en cuenta al planear la configuración de Private Link. Consulte Límites de AMPLS para obtener una revisión más profunda de estos límites.
  • Compruebe si tiene permiso adecuado para crear un punto de conexión privado administrado.

Configuraciones disponibles

Configuration Description
spark.synapse.diagnostic.emitters Nombres de destino, separados por comas, de emisores de diagnóstico. Por ejemplo: MyDest1,MyDest2.
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.type Tipo de destino integrado. Para habilitar Azure Log Analytics mediante la API de ingesta de registros, establezca este valor en AzureLogIngestion.
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.categories Categorías de registro seleccionadas separadas por comas. Entre los valores disponibles se incluyen: DriverLog, ExecutorLog, EventLog y Metrics. Si no se establece, el valor predeterminado es todas las categorías.
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.dceUri El URI del Punto de conexión de recopilación de datos (DCE) usado para la ingesta al enrutar los datos a través de reglas de recopilación de datos (DCR).
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.logDcr Identificador de recursos de la regla de recopilación de datos (DCR) utilizado para enrutar los registros de Spark al destino.
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.logStream Nombre de secuencia definido en la regla de recopilación de datos (DCR) para los registros de Spark.
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.eventDcr Identificador de recurso de regla de recopilación de datos (DCR) que se usa para enrutar los registros de eventos de Spark.
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.eventStream Nombre de flujo definido en la regla de recopilación de datos (DCR) para los registros de eventos de Spark.
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metricDcr Identificador de recursos de la Regla de recopilación de datos (DCR) utilizado para enrutar las métricas de Spark.
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.metricStream Nombre de secuencia definido en la regla de recopilación de datos (DCR) para las métricas de Spark.
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.tenantId Identificador de inquilino de Microsoft Entra usado para la autenticación.
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.clientId Identificador de cliente (aplicación) registrado en Microsoft Entra ID.
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.secret Secreto de cliente asociado a la aplicación Microsoft Entra ID, que se usa junto con el identificador de inquilino y el identificador de cliente para autenticar el emisor al enviar datos de diagnóstico. Esta configuración es mutuamente excluyente con la autenticación basada en certificados: configure el secreto de cliente o el certificado, pero no ambos.
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.certificate.keyVault El URI de Azure Key Vault que almacena el certificado de autenticación.
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.certificate.keyVault.certificateName Nombre del certificado almacenado en Azure Key Vault, que se usa para la autenticación.
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.certificate.keyVault.linkedService Nombre del servicio vinculado de Azure Key Vault en Synapse. Cuando se especifica, la identidad administrada del área de trabajo usa este servicio vinculado para recuperar el certificado de Azure Key Vault.
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.filter.eventName.match Los nombres de eventos del agente de escucha de Spark separados por comas; puede especificar qué eventos se van a recopilar. Por ejemplo: SparkListenerApplicationStart,SparkListenerApplicationEnd.
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.filter.loggerName.match Los nombres de registradores de Log4j separados por comas; puede especificar qué registros recopilar. Por ejemplo: org.apache.spark.SparkContext,org.example.Logger.
spark.synapse.diagnostic.emitter.<EMITTER_NAME>.filter.metricName.match Sufijos de nombre de métrica de Spark separados por comas; puede especificar qué métricas se recopilan. Por ejemplo: jvm.heap.used.

Note

La autenticación es excluyente mutuamente: configure una de secret (texto sin formato) o certificate.keyVault + certificate.keyVault.certificateName (opcionalmente con certificate.keyVault.linkedService). El destino de ingesta de registros secret la recuperación del cliente de Azure Key Vault (con o sin un servicio vinculado). Si necesita mantener las credenciales en Key Vault, use la ruta de acceso basada en certificados.

Contenido relacionado

  • Last updated on