Lisää Apache Kafka -lähde Fabric-tapahtumavirtaan

Tässä artikkelissa näytetään, miten Apache Kafka -lähde lisätään Fabric-tapahtumavirtaan.

Apache Kafka on avoimen lähdekoodin hajautettu ympäristö skaalautuvien, reaaliaikaisten tietojärjestelmien rakentamiseen. Integroimalla Apache Kafkan lähteeksi tapahtumavirtaasi voit saumattomasti tuoda reaaliaikaisia tapahtumia Apache Kafkastasi ja käsitellä ne ennen reititystä useisiin kohteisiin Fabric-sisällä.

Prerequisites

• Pääsy Fabric-työtilaan Contributor tai sitä ylemmillä oikeuksilla.

• Apache Kafka -klusteri käynnissä.

• Apache Kafkan on oltava julkisesti käytettävissä, eikä se saa olla palomuurin takana tai suojattu näennäisverkossa. Jos se sijaitsee suojatussa verkossa, yhdistä siihen käyttämällä Eventstream-liittimen virtuaaliverkkoinjektiota.

• Jos aiot käyttää TLS/mTLS-asetuksia, varmista, että vaaditut sertifikaatit ovat saatavilla Azure Key Vault:

  • Tuo tarvittavat sertifikaatit Azure Key Vault muodossa .pem.
  • Käyttäjällä, joka konfiguroi lähde- ja esikatselutiedot, on oltava lupa käyttää varmenneita Key Vault:ssa (esimerkiksi Key Vault Certificate User tai Key Vault Administrator).
  • Jos nykyisellä käyttäjällä ei ole tarvittavia käyttöoikeuksia, dataa ei voi esikatsella tästä lähteestä Eventstreamissa.

Apache Kafkan lisääminen lähteeksi

Jos et ole vielä lisännyt lähdettä tapahtumavirtaasi, valitse Yhdistä tietolähteet -ruutu. Voit myös valita Lisää lähde>Yhdistä tietolähteet nauhalla.

Jos lisäät lähdekoodin jo julkaistuun tapahtumavirtaan, vaihda muokkaustilaan . Nauhalta valitse Lisää lähde>Yhdistä tietolähteet.

Valitse Valitse tietolähde -sivulta tai Tietolähteet-sivultaApache Kafka.

Apache Kafkaan määrittäminen ja siihen yhdistäminen

1. Valitse Yhdistä-sivullaUusi yhteys.

   

2. Yhteysasetukset-osiossa, Bootstrap-palvelimelle, syötä yksi tai useampi Kafka-bootstrap-palvelinosoite. Erota useita osoitteita pilkuilla (,).

   

3. Jos sinulla on Yhteyden tunnistetiedot -osassa aiemmin luotu yhteys Apache Kafka -klusteriin, valitse se avattavasta Yhteys-luettelosta. Muutoin toimi seuraavasti:

   1. Kirjoita Yhteyden nimi -kohtaan yhteyden nimi.
   2. Varmista Todennustyyppi-kohdassa, että API-avain on valittuna.
   3. Kirjoita Avain ja salaisuus -kohtaan API-avain ja avaimen salaisuus.

      Note

      Jos käytät vain mTLS:ää tunnistautumiseen, voit lisätä minkä tahansa merkkijonon avain-osioon yhteyden luomisen yhteydessä.

4. Valitse Yhdistä. 

5. Toimi nyt Yhdistä-sivulla seuraavasti.

   1. Kirjoita Aihe-kohtaan Kafka-aihe.

   2. Kirjoita Kuluttajaryhmä-kohtaan Apache Kafka -klusterin kuluttajaryhmä. Tämä kenttä tarjoaa erityisen kuluttajaryhmän tapahtumien noutamista varten.

   3. Valitse Palauta automaattinen siirtymä määrittääksesi, mistä lukemisen siirtymät aloitetaan, jos vahvistusta ei ole.

   4. Turvaprotokollaksi valitse jokin seuraavista vaihtoehdoista:

      • SASL_SSL: Käytä tätä vaihtoehtoa, kun Kafka-klusterisi käyttää SASL-pohjaista tunnistautumista. Oletuksena Kafka-välittäjän palvelinvarmenteen on allekirjoitettava Certified Authority (CA), joka sisältyy luotettuun CA-listaan. Jos Kafka-klusterisi käyttää mukautettua CA:ta, voit konfiguroida sen TLS/mTLS-asetuksilla.
      • SSL (mTLS): Käytä tätä vaihtoehtoa, kun Kafka-klusterisi vaatii mTLS-tunnistautumisen ja sinun täytyy konfiguroida sekä mukautettu palvelin-CA-sertifikaatti että asiakassertifikaatti TLS/mTLS-asetuksissa.

   5. Oletusarvoinen SASL-mekanismi on yleensä PLAIN, ellei toisin määritetä. Voit valita suojausvaatimuksiisi sopivan SCRAM-SHA-256 - tai SCRAM-SHA-512-mekanismin .

   6. Jos Kafka-klusterisi käyttää mukautettua CA:ta tai vaatii mTLS:ää, laajenna TLS/mTLS-asetukset ja määritä seuraavat asetukset tarpeen mukaan:

      • Luota CA-sertifikaattiin: Ota tämä vaihtoehto käyttöön palvelimen CA-sertifikaatin konfigurointiin. Valitse tilauksesi, resurssiryhmäsi ja avainholvi, ja anna sitten sertifikaatin nimi.
      • Asiakassertifikaatti ja avain: Ota tämä vaihtoehto käyttöön konfiguroidaksesi asiakassertifikaatin ja avaimen.
        • Käytä samaa CA-varmenteen avainholvia: Valitse tämä valintaruutu, kun molemmat varmenteet ovat tallennettuna samaan avainholviin. Sitten anna sertifikaatin nimi.
        • Jos et valitse tätä valintaruutua, valitse tilaus, resurssiryhmä ja avainholvi, ja anna sitten sertifikaatin nimi.

      Note

      Yksityisverkon lähteiden osalta varmista, että Azure Key Vault, joka sisältää sertifikaattisi, on yhdistetty Azure-virtuaaliverkkoon, jota striimausvirtuaaliverkon dataportti käyttää Eventstream-liittimen virtuaaliverkon injektiota varten (esimerkiksi yksityisen päätelaitteen kautta).

   

TLS/mTLS-sertifikaattivaatimukset

Jos olet konfiguroinut TLS/mTLS-asetukset, katso tästä osiosta sertifikaatin muotomäärittelyt ja yleiset konfiguraatiovirheet latattaessa Azure Key Vault.

Sertifikaattiketju

Palvelinsertifikaatin SAN-vaatimukset

Palvelinvarmenteen täytyy sisältää välittäjän IP-osoite ja DNS-nimi Subject Alternative Nameen (SAN) läpi, jotta isäntänimen tarkistus voidaan hyväksyä (ssl.endpoint.identification.algorithm=https):

subjectAltName:
  DNS.1 = {broker FQDN}
  DNS.2 = localhost
  IP.1  = {broker public IP}
  IP.2  = 127.0.0.1

Upload certificates to Azure Key Vault

Varmenteita ladataan Azure Key Vault sertifikaattiobjekteina muodossa PEM. PEM-pakettitiedosto on sertifikaatti + yksityinen avain yhdistettynä yhteen tiedostoon:

-----BEGIN CERTIFICATE-----
MIIExjCCA...
-----END CERTIFICATE-----
-----BEGIN RSA PRIVATE KEY-----
MIIEpAIB...
-----END RSA PRIVATE KEY-----

Käytä tuontipolitiikkaa , joka vastaa avainominaisuuksia:

{
  "secretProperties": {
    "contentType": "application/x-pem-file"
  },
  "keyProperties": {
    "exportable": true,
    "keyType": "RSA",
    "keySize": 4096,
    "reuseKey": false
  },
  "issuerParameters": {
    "name": "Unknown"
  }
}

Varmenteen tuomiseksi suorita seuraava komento:

az keyvault certificate import \
  --vault-name {kvName} \
  --name {certName} \
  --file {pemBundleFile} \
  --policy @{policyFile}

Yleisiä virheitä

Näytä päivitetty tapahtumavirta

Näet tapahtumavirtaan lisätyn Apache Kafka -lähteen muokkaustilassa. 

Kun olet suorittanut nämä vaiheet, Apache Kafka -lähde on käytettävissä visualisointia varten reaaliaikaisessa näkymässä.

Aiheeseen liittyvä sisältö

Muut liittimet:

• Amazon Kinesis -tietovirrat
• Azure Cosmos DB
• Azure Tapahtumatoiminnot
• Azure IoT Hub
• Azure SQL -tietokannan muutos tietokaappaus (CDC)
• Mukautettu päätepiste
• Google Cloud Pub/Sub
• MySQL-tietokannan CDC
• PostgreSQL-tietokannan CDC
• Mallitiedot
• Azure Blob Storage tapahtumat
• Fabric työtilatapahtuma