Føj Amazon MSK Kafka-kilde til en eventstream

I denne artikel kan du se, hvordan du føjer en Amazon MSK Kafka-kilde til en eventstream. 

Amazon MSK Kafka er en fuldt administreret Kafka-tjeneste, der forenkler konfiguration, skalering og administration. Ved at integrere Amazon MSK Kafka som en kilde i din eventstream kan du problemfrit hente hændelserne i realtid fra din MSK Kafka og behandle dem, før du distribuerer dem til flere destinationer i Fabric. 

Prerequisites

  • Adgang til et arbejdsområde i Fabric-kapacitetslicenstilstand (eller) prøvelicenstilstand med bidragydertilladelser eller højere tilladelser.

  • En Amazon Managed Streaming for Kafka (MSK) klynge i aktiv status.

  • Din Amazon MSK Kafka-klynge skal være offentligt tilgængelig og ikke være bag en firewall eller være sikret i et virtuelt netværk. Hvis den befinder sig i et beskyttet netværk, skal du forbinde til den ved at bruge Eventstream connector virtuel netværksinjektion.

  • Hvis du planlægger at bruge TLS/mTLS-indstillinger, skal du sikre dig, at de nødvendige certifikater er tilgængelige i en Azure Key Vault:

    • Importer de nødvendige certifikater til Azure Key Vault i .pem-format .
    • Brugeren, der konfigurerer kilden og forhåndsviser data, skal have tilladelse til at få adgang til certifikaterne i Key Vault (for eksempel Key Vault Certificate User eller Key Vault Administrator).
    • Hvis den nuværende bruger ikke har de nødvendige tilladelser, kan data ikke forhåndsvises fra denne kilde i Eventstream.

Tilføj Amazon MSK Kafka som kilde

  1. I Fabric Real-Time Intelligence skal du vælge Eventstream for at oprette en ny eventstream.

  2. På næste skærm vælger du Forforbund datakilder, eller vælg Tilføj kilde ->Forbind datakilder.

  3. På siden Vælg en datakilde skal du vælge Vis alle kilder.

  4. Søg efter Amazon MSK Kafka, og vælg derefter Connect på flisen.

    Skærmbillede, der viser valget af Amazon MSK Kafka som kildetype i guiden Hent hændelser.

Konfigurer og opret forbindelse til Amazon MSK Kafka

  1. Vælg Ny forbindelse på siden Opret forbindelse.

    Skærmbillede, der viser valget af linket Ny forbindelse på siden Opret forbindelse i guiden Hent hændelser.

  2. I afsnittet Forbindelsesindstillinger , for Bootstrap Server, indtast en eller flere offentlige Kafka Bootstrap Server endepunkter. Brug kommaer (,) til at adskille flere servere. Skærmbillede, der viser valget af feltet Bootstrap-server på siden Opret forbindelse i guiden Hent hændelser.

    Sådan henter du det offentlige slutpunkt:

    Skærmbillede, der viser det offentlige endpoint for Amazon Managed Streaming for Apache Kafka (MSK) klyngen.

  3. I afsnittet Forbindelsesoplysninger , hvis du har en eksisterende forbindelse til Amazon MSK Kafka-klyngen, skal du vælge den fra rullemenuen for Forbindelse. Ellers skal du følge disse trin:

    1. Angiv et navn til forbindelsen som Forbindelsesnavn.
    2. For Godkendelsestype skal du bekræfte, at API-nøglen er valgt.
    3. For Key og Secret, indtast API-nøgle og Key Secret for Amazon MSK Kafka-klyngen.

      Note

      Hvis du kun bruger mTLS til autentificeringen, kan du tilføje enhver streng i nøgleafsnittet under oprettelsen af forbindelsen.

  4. Vælg Opret forbindelse. 

  5. Følg nu disse trin på siden Opret forbindelse.

    1. Angiv emnet Kafka for Emne.

    2. For Forbrugergruppen indtaster du forbrugergruppen i din Kafka-klynge. Dette felt giver dig en dedikeret forbrugergruppe til hentning af hændelser.

    3. Vælg Nulstil automatisk forskydning for at angive, hvor læseforskydningerne skal starte, hvis der ikke er nogen bekræftelse.

    4. For sikkerhedsprotokollen vælger du en af følgende muligheder:

      • SASL_SSL: Brug denne mulighed, når din Kafka-klynge bruger SASL-baseret autentificering. Som standard skal Kafka-mæglerens servercertifikat underskrives af en certifikatmyndighed (CA), der er inkluderet i listen over betroede CA'er. Hvis din Kafka-klynge bruger en brugerdefineret CA, kan du konfigurere den ved at bruge TLS/mTLS-indstillinger.
      • SSL (mTLS): Brug denne mulighed, når din Kafka-klynge kræver mTLS-autentificering, og du skal konfigurere både et brugerdefineret server-CA-certifikat og et klientcertifikat i TLS/mTLS-indstillingerne.

    5. Standard SASL-mekanismen er SCRAM-SHA-512 og kan ikke ændres.

    6. Hvis din Kafka-klynge bruger en brugerdefineret CA eller kræver mTLS, udvid TLS/mTLS-indstillinger og konfigurer følgende muligheder efter behov:

      • Trust CA-certifikat: Aktivér denne mulighed for at konfigurere serverens CA-certifikat. Vælg dit abonnement, ressourcegruppe og nøglevault, og oplys derefter certifikatnavnet.
      • Klientcertifikat og nøgle: Aktivér denne mulighed for at konfigurere klientcertifikatet og nøglen.
        • Brug det samme CA-certifikatnøglehvælv: Vælg denne afkrydsningsboks, når begge certifikater er gemt i samme nøgleboks. Angiv derefter certifikatets navn.
        • Hvis du ikke markerer denne afkrydsningsboks, vælg abonnement, ressourcegruppe og nøglehvælving, og oplys derefter certifikatnavnet.

      Note

      For kilder i et privat netværk skal du sikre, at Azure Key Vault, der indeholder dine certifikater, er forbundet til det Azure virtuelle netværk, der bruges af den strømmende virtuelle netværksgateway til Eventstream connector virtuel netværksinjektion (for eksempel via et privat endpoint).

    Skærmbillede, der viser den første side i Amazon MSK Kafka-forbindelsesindstillingerne.

TLS/mTLS-certifikatkrav

Hvis du har konfigureret TLS/mTLS-indstillinger, henvises til dette afsnit for certifikatformatspecifikationer og almindelige konfigurationsfejl ved upload til Azure Key Vault.

Certifikatkæde

Certifikat Nøglestørrelse Underskrevet af Formål
CA-certifikat 4096-bit RSA Selvsigneret Trust anchor - mægleren verificerer klientcertifikater mod denne CA.
Servercertifikat 2048-bit RSA nøglecenter Mægleridentitet – klienten bekræfter, at mægleren er den, de udgiver sig for at være.
Klientcertifikat 2048-bit RSA nøglecenter Klientidentitet – mægleren verificerer, at forbindelsen er autoriseret.

Servercertifikat SAN-krav

Servercertifikatet skal inkludere mæglerens IP-adresse og DNS-navn i Subject Alternative Name (SAN) for at bestå værtsnavnsverifikation (ssl.endpoint.identification.algorithm=https):

subjectAltName:
  DNS.1 = {broker FQDN}
  DNS.2 = localhost
  IP.1  = {broker public IP}
  IP.2  = 127.0.0.1

Upload certifikater til Azure Key Vault

Certifikater uploades som Azure Key Vault certifikatobjekter i PEM-format. PEM-bundlefilen er certifikat + privat nøgle sammenkædet i én fil:

-----BEGIN CERTIFICATE-----
MIIExjCCA...
-----END CERTIFICATE-----
-----BEGIN RSA PRIVATE KEY-----
MIIEpAIB...
-----END RSA PRIVATE KEY-----

Brug en importpolitik , der matcher nøgleegenskaberne:

{
  "secretProperties": {
    "contentType": "application/x-pem-file"
  },
  "keyProperties": {
    "exportable": true,
    "keyType": "RSA",
    "keySize": 4096,
    "reuseKey": false
  },
  "issuerParameters": {
    "name": "Unknown"
  }
}

For at importere certifikatet skal du køre følgende kommando:

az keyvault certificate import \
  --vault-name {kvName} \
  --name {certName} \
  --file {pemBundleFile} \
  --policy @{policyFile}

Almindelige fejl

Undgå Gør det i stedet
Upload som PKCS#12/PFX Brug PEM-formatet med contentType: application/x-pem-file.
Uploadcertifikat uden privat nøgle PEM-pakken skal indeholde både certifikatet og nøglen.
Sat keySize: 2048 til en 4096-bit nøgle Værdien keySize skal matche den faktiske nøglestørrelse.
Sæt issuerParameters.name: "Self" "Unknown" Brug til eksternt underskrevne certifikater.
Brug Windows linjeafslutninger (CRLF) PEM-filen skal bruge Unix-linjeafslutninger (kun LF).

Vis opdateret hændelsesstream

Du kan se Amazon MSK Kafka-kilden tilføjet til din eventstream i Rediger-tilstand. 

Skærmbillede, der viser Amazon MSK Kafka-kilde i redigeringsvisning.

Når du har gennemført disse trin, er Amazon MSK Kafka-kildekoden tilgængelig til visualisering i Live view.

Skærmbillede, der viser Amazon MSK Kafka-kilde i livevisning.

Note

For at forhåndsvise begivenheder fra denne Amazon MSK Kafka-kilde, skal du sikre, at nøglen, der bruges til at oprette cloud-forbindelsen, har læsetilladelse for forbrugergrupper med forstavelsen "preview-".

For Amazon MSK Kafka-kilde kan kun beskeder i JSON-format forhåndsvisning.

Skærmbillede, der viser Amazon MSK Kafka-eksempel på kildedata.

Relateret indhold

Andre connectors:

  • Last updated on