Adición de un origen de Apache Kafka a un eventstream de Fabric

En este artículo se muestra cómo agregar el origen de Apache Kafka a una secuencia de eventos de Fabric.

Apache Kafka es una plataforma distribuida de código abierto para crear sistemas de datos escalables y en tiempo real. Al integrar Apache Kafka como origen dentro de la secuencia de eventos, puede traer eventos en tiempo real sin problemas desde Apache Kafka y procesarlos antes de enrutarlos a varios destinos dentro de Fabric.

Requisitos previos

• Acceso al área de trabajo de Fabric con permisos de colaborador o superior.

• Un clúster de Apache Kafka en ejecución.

• Apache Kafka debe ser accesible públicamente y no estar detrás de un firewall o protegido en una red virtual. Si reside en una red protegida, conéctese a ella mediante la inserción de red virtual del conector Eventstream.

• Si tiene previsto usar la configuración de TLS/mTLS, asegúrese de que los certificados necesarios están disponibles en un Azure Key Vault:

  • Importe los certificados necesarios en Azure Key Vault en formato .pem.
  • El usuario que configura los datos de origen y de vista previa debe tener permiso para acceder a los certificados del Key Vault (por ejemplo, Key Vault usuario de certificado o Key Vault administrador).
  • Si el usuario actual no tiene los permisos necesarios, no se puede obtener una vista previa de los datos de esta fuente en Eventstream.

Adición de Apache Kafka como origen

Si aún no ha agregado ningún origen a la secuencia de eventos, seleccione el icono Conectar orígenes de datos . También puede seleccionar Agregar origen>Conectar orígenes de datos en la cinta de opciones.

Si estás agregando el origen a una secuencia de eventos ya publicada, cambia al modo Edición. En la cinta de opciones, seleccione Agregar origen>Conectar orígenes de datos.

En la página Seleccionar un origen de datos o orígenes de datos , seleccione Apache Kafka.

Configuración y conexión a Apache Kafka

1. En la página Conectar, seleccione Nueva conexión.

   

2. En la sección Configuración de conexión , en Bootstrap Server, escriba una o varias direcciones de servidor de arranque de Kafka. Separe varias direcciones con comas (,).

   

3. En la sección Credenciales de conexión, si tiene una conexión existente al clúster de Apache Kafka, selecciónela en la lista desplegable de Conexión. De lo contrario, siga estos pasos:

   1. Para Nombre de conexión, introduzca un nombre para la conexión.
   2. En Tipo de autenticación, confirme que está seleccionada la clave de API.
   3. En Clave y Secreto, escriba la clave de API y el secreto de clave.

      Nota:

      Si solo usa mTLS para realizar la autenticación, puede agregar cualquier cadena en la sección Clave durante la creación de la conexión.

4. Seleccione Conectar. 

5. Ahora, en la página Conectar, sigue estos pasos.

   1. En Tema, escriba el tema de Kafka.

   2. En Grupo de consumidores, escriba el grupo de consumidores del clúster de Apache Kafka. Este campo te proporciona un grupo de consumidores dedicado para la obtención de eventos.

   3. Seleccione Restablecer desplazamiento automático para especificar dónde empezar a leer desplazamientos si no hay ninguna confirmación.

   4. En Protocolo de seguridad, seleccione una de las siguientes opciones:

      • SASL_SSL: use esta opción cuando el clúster de Kafka use la autenticación basada en SASL. De forma predeterminada, el certificado de servidor del agente de Kafka debe estar firmado por una entidad de certificación (CA) incluida en la lista de ca de confianza. Si el clúster de Kafka usa una autoridad de certificación personalizada, puede configurarlo mediante la configuración de TLS/mTLS.
      • SSL (mTLS): use esta opción cuando el clúster de Kafka requiera autenticación mTLS y debe configurar un certificado de CA de servidor personalizado y un certificado de cliente en la configuración de TLS/mTLS.

   5. El mecanismo SASL predeterminado suele ser PLAIN, a menos que se configure lo contrario. Puede seleccionar el mecanismo SCRAM-SHA-256 o SCRAM-SHA-512 que se adapte a sus requisitos de seguridad.

   6. Si el clúster de Kafka usa una ENTIDAD de certificación personalizada o requiere mTLS, expanda la configuración de TLS/mTLS y configure las siguientes opciones según sea necesario:

      • Certificado de entidad de certificación de confianza: habilite esta opción para configurar el certificado de ca del servidor. Seleccione la suscripción, el grupo de recursos y el almacén de claves y proporcione el nombre del certificado.
      • Certificado de cliente y clave: habilite esta opción para configurar el certificado y la clave de cliente.
        • Usar el mismo almacén de claves de certificado de la entidad de certificación: active esta casilla cuando ambos certificados se almacenen en el mismo almacén de claves. A continuación, proporcione el nombre del certificado.
        • Si no activa esta casilla, seleccione la suscripción, el grupo de recursos y el almacén de claves y proporcione el nombre del certificado.

      Nota:

      Para orígenes en una red privada, asegúrese de que el Azure Key Vault que contiene sus certificados esté conectado a la red virtual de Azure utilizada por la puerta de enlace de datos de la red virtual de streaming para la inyección de red virtual del conector de Eventstream (por ejemplo, a través de un punto de conexión privado).

   

Requisitos de certificados TLS/mTLS

Si configuró la configuración de TLS/mTLS, consulte esta sección para ver las especificaciones de formato de certificado y errores de configuración comunes al cargar en Azure Key Vault.

Cadena de certificados

Requisitos de SAN del certificado de servidor

El certificado de servidor debe incluir la dirección IP del broker y el nombre DNS en el Nombre Alternativo del Sujeto (SAN) para pasar la verificación del nombre de host (ssl.endpoint.identification.algorithm=https):

subjectAltName:
  DNS.1 = {broker FQDN}
  DNS.2 = localhost
  IP.1  = {broker public IP}
  IP.2  = 127.0.0.1

Carga de certificados en Azure Key Vault

Los certificados se cargan como objetos de certificado Azure Key Vault en formato PEM. El archivo de agrupación PEM es certificado + clave privada concatenada en un archivo:

-----BEGIN CERTIFICATE-----
MIIExjCCA...
-----END CERTIFICATE-----
-----BEGIN RSA PRIVATE KEY-----
MIIEpAIB...
-----END RSA PRIVATE KEY-----

Use una directiva de importación que coincida con las propiedades clave:

{
  "secretProperties": {
    "contentType": "application/x-pem-file"
  },
  "keyProperties": {
    "exportable": true,
    "keyType": "RSA",
    "keySize": 4096,
    "reuseKey": false
  },
  "issuerParameters": {
    "name": "Unknown"
  }
}

Para importar el certificado, ejecute el siguiente comando:

az keyvault certificate import \
  --vault-name {kvName} \
  --name {certName} \
  --file {pemBundleFile} \
  --policy @{policyFile}

Errores comunes

Visualización de eventstream actualizado

Puede ver el origen Apache Kafka agregado a su secuencia de eventos en Modo de edición. 

Después de completar estos pasos, el origen de Apache Kafka está disponible para su visualización en la vista en directo.

Contenido relacionado

Otros conectores:

• Flujos de datos de Amazon Kinesis
• Azure Cosmos DB
• Azure Event Hubs
• Azure IoT Hub
• Azure SQL Database captura de cambios de datos (CDC)
• Punto de conexión personalizado
• Google Cloud Pub/Sub
• CDC de Base de Datos MySQL
• CDC de base de datos de PostgreSQL
• Datos de ejemplo
• Eventos de Azure Blob Storage
• Evento del espacio de trabajo Fabric