Legg til Apache Kafka-kilde i en Fabric-hendelsesstrøm

Denne artikkelen viser deg hvordan du legger til Apache Kafka-kilde i en Fabric-hendelsesstrøm.

Apache Kafka er en åpen kildekode, distribuert plattform for bygging av skalerbare datasystemer i sanntid. Ved å integrere Apache Kafka som kilde i eventstrømmen din, kan du sømløst bringe sanntidshendelser fra Apache Kafka og behandle dem før du ruter til flere destinasjoner i Fabric.

Prerequisites

  • Tilgang til Fabric-arbeidsområdet med tillatelser som Bidragsyter eller høyere.

  • En Apache Kafka-klynge kjører.

  • Apache Kafka må være offentlig tilgjengelig og ikke være bak en brannmur eller sikret i et virtuelt nettverk. Hvis den befinner seg i et beskyttet nettverk, koble til den ved å bruke Eventstream connector virtuell nettverksinjeksjon.

  • Hvis du planlegger å bruke TLS/mTLS-innstillinger, sørg for at de nødvendige sertifikatene er tilgjengelige i en Azure Key Vault:

    • Importer de nødvendige sertifikatene til Azure Key Vault i formatet .pem.
    • Brukeren som konfigurerer kilden og forhåndsviser dataene må ha tillatelse til å få tilgang til sertifikatene i Key Vault (for eksempel Key Vault Sertifikatbruker eller Key Vault Administrator).
    • Hvis den nåværende brukeren ikke har de nødvendige tillatelsene, kan ikke data forhåndsvises fra denne kilden i Eventstream.

Legg til Apache Kafka som kilde

Hvis du ikke har lagt til noen kilde i hendelsesstrømmen ennå, velg flisen Connect data sources . Du kan også velge Add source>Connect datakilder på båndet.

Skjermbilde som viser valget av flisen for å bruke en ekstern kilde.

Hvis du legger til kilden i en allerede publisert hendelsesstrøm, bytt til Rediger-modus . På båndet, velg Legg til kilde>Connect datakilder.

Skjermbilde som viser valg for å legge til eksterne kilder.

Velg Apache Kafka på siden Velg en datakilde eller Datakilder.

Skjermbilde som viser utvalget av Apache Kafka som kildetype i hent hendelsesveiviseren.

Konfigurere og koble til Apache Kafka

  1. På Koble til-siden velger du Ny tilkobling.

    Skjermbilde som viser valget av Koblingen Ny tilkobling på Koble til-siden i hent hendelsesveiviseren.

  2. I Tilkoblingsinnstillingene , for Bootstrap Server, skriv inn én eller flere Kafka Bootstrap-serveradresser. Separer flere adresser med komma (,).

    Skjermbilde som viser valget av Apache Kafka Bootstrap-serverfeltet på Koble til-siden i veiviseren Hent hendelser.

  3. Hvis du har en eksisterende tilkobling til Apache Kafka-klyngen i delen Tilkoblingslegitimasjon , velger du den fra rullegardinlisten for Tilkobling. Ellers følger du disse trinnene:

    1. For Tilkoblingsnavn angir du et navn for tilkoblingen.
    2. For Godkjenningstype bekrefter du at API-nøkkel er valgt.
    3. For Nøkkel og Hemmelighet angir du API-nøkkel og nøkkelhemmelighet.

      Note

      Hvis du kun bruker mTLS til autentisering, kan du legge til hvilken som helst streng i nøkkelseksjonen under tilkoblingsopprettelse.

  4. Velg Koble til. 

  5. Følg disse trinnene på Koble til-siden.

    1. For Emne skriver du inn Kafka-emnet.

    2. For Forbrukergruppe angir du forbrukergruppen for Apache Kafka-klyngen. Dette feltet gir deg en dedikert forbrukergruppe for å få hendelser.

    3. Velg Tilbakestill automatisk forskyvning for å angi hvor du vil begynne å lese forskyvninger hvis det ikke er noen utføring.

    4. For sikkerhetsprotokoll, velg ett av følgende alternativer:

      • SASL_SSL: Bruk dette alternativet når Kafka-klyngen din bruker SASL-basert autentisering. Som standard må Kafka-meglerens serversertifikat signeres av en Certificate Authority (CA) som er inkludert i listen over betrodde CA-er. Hvis Kafka-klyngen din bruker en tilpasset CA, kan du konfigurere den ved å bruke TLS/mTLS-innstillinger.
      • SSL (mTLS): Bruk dette alternativet når Kafka-klyngen din krever mTLS-autentisering, og du må konfigurere både et tilpasset server-CA-sertifikat og et klientsertifikat i TLS/mTLS-innstillingene.

    5. Standard SASL-mekanisme er vanligvis PLAIN, med mindre annet er konfigurert. Du kan velge SCRAM-SHA-256- eller SCRAM-SHA-512-mekanismen som passer dine sikkerhetskrav.

    6. Hvis Kafka-klyngen din bruker en tilpasset CA eller krever mTLS, utvid TLS/mTLS-innstillingene og konfigurer følgende alternativer etter behov:

      • Trust CA-sertifikat: Aktiver dette alternativet for å konfigurere serverens CA-sertifikat. Velg abonnementet ditt, ressursgruppen og nøkkelhvelvet, og oppgi deretter sertifikatnavnet.
      • Klientsertifikat og nøkkel: Aktiver dette alternativet for å konfigurere klientsertifikatet og nøkkelen.
        • Bruk samme CA-sertifikatnøkkelhvelv: Velg denne avkrysningsboksen når begge sertifikatene er lagret i samme nøkkelhvelv. Oppgi deretter navnet på sertifikatet.
        • Hvis du ikke markerer denne avkrysningsboksen, velg abonnementet, ressursgruppen og nøkkelhvelvet, og oppgi deretter sertifikatnavnet.

      Note

      For kilder i et privat nettverk, sørg for at Azure Key Vault som inneholder sertifikatene dine, er koblet til Azure-nettverket som brukes av den strømmende virtuelle nettverksdatagatewayen for Eventstream-tilkoblingens virtuelle nettverksinjeksjon (for eksempel via et privat endepunkt).

    Skjermbilde som viser den første siden i tilkoblingsinnstillingene for Apache Kafka.

TLS/mTLS-sertifikatkrav

Hvis du har konfigurert TLS/mTLS-innstillinger, se denne seksjonen for spesifikasjoner av sertifikatformat og vanlige konfigurasjonsfeil ved opplasting til Azure Key Vault.

Sertifikatkjede

Sertifikat Nøkkelstørrelse Signert av Formål
CA-sertifikat 4096-bits RSA Selvsignert Trust anchor – megleren verifiserer klientsertifikater mot denne CA-en.
Serversertifikat 2048-bits RSA CA Megleridentitet – klienten verifiserer at megleren er den de utgir seg for å være.
Kundesertifikat 2048-bits RSA CA Klientidentitet – megleren verifiserer at tilkoblingen er autorisert.

Serversertifikat SAN-krav

Serversertifikatet må inkludere meglerens IP-adresse og DNS-navn i Subject Alternative Name (SAN) for å bestå vertsnavnverifisering (ssl.endpoint.identification.algorithm=https):

subjectAltName:
  DNS.1 = {broker FQDN}
  DNS.2 = localhost
  IP.1  = {broker public IP}
  IP.2  = 127.0.0.1

Upload certificates to Azure Key Vault

Sertifikater lastes opp som Azure Key Vault sertifikatobjekter i PEM-format. PEM-pakkens fil er sertifikat + privat nøkkel koblet sammen i én fil:

-----BEGIN CERTIFICATE-----
MIIExjCCA...
-----END CERTIFICATE-----
-----BEGIN RSA PRIVATE KEY-----
MIIEpAIB...
-----END RSA PRIVATE KEY-----

Bruk en importpolicy som matcher nøkkelegenskapene:

{
  "secretProperties": {
    "contentType": "application/x-pem-file"
  },
  "keyProperties": {
    "exportable": true,
    "keyType": "RSA",
    "keySize": 4096,
    "reuseKey": false
  },
  "issuerParameters": {
    "name": "Unknown"
  }
}

For å importere sertifikatet, kjør følgende kommando:

az keyvault certificate import \
  --vault-name {kvName} \
  --name {certName} \
  --file {pemBundleFile} \
  --policy @{policyFile}

Vanlige feil

Unngå Gjør dette i stedet
Last opp som PKCS#12/PFX Bruk PEM-formatet med contentType: application/x-pem-file.
Opplastingssertifikat uten privat nøkkel PEM-pakken må inneholde både sertifikatet og nøkkelen.
Satt keySize: 2048 for en 4096-bits nøkkel Verdien keySize må samsvare med den faktiske nøkkelstørrelsen.
Angi issuerParameters.name: "Self" Bruk "Unknown" for eksternt signerte sertifikater.
Bruk Windows linjeendelser (CRLF) PEM-filen må bruke Unix-linjeendelser (kun LF).

Vis oppdatert hendelsesstrøm

Du kan se Apache Kafka-kilden som er lagt til i eventstreamen i redigeringsmodus. 

Skjermbilde som viser Apache Kafka-kilde i redigeringsvisning.

Når du har fullført disse trinnene, er Apache Kafka-kilden tilgjengelig for visualisering i Live-visning.

Skjermbilde som viser Apache Kafka-kilde i Live-visning.

Note

Hvis du vil forhåndsvise hendelser fra denne Apache Kafka-kilden, må du kontrollere at nøkkelen som brukes til å opprette skytilkoblingen, har lesetillatelse for forbrukergrupper med prefikset "preview-".

For Apache Kafka-kilde kan bare meldinger i JSON-format forhåndsvises.

Skjermbilde som viser forhåndsvisning av Apache Kafka-kildedata.

Beslektet innhold

Andre kontakter:

  • Last updated on