Dodawanie źródła platformy Apache Kafka do strumienia zdarzeń Fabric

W tym artykule pokazano, jak dodać źródło platformy Apache Kafka do strumienia zdarzeń Fabric.

Apache Kafka to rozproszona platforma typu open source do tworzenia skalowalnych systemów danych w czasie rzeczywistym. Dzięki zintegrowaniu platformy Apache Kafka jako źródła w strumieniu zdarzeń można bezproblemowo przenieść zdarzenia w czasie rzeczywistym z platformy Apache Kafka i przetworzyć je przed routingiem do wielu miejsc docelowych w Fabric.

Wymagania wstępne

  • Dostęp do obszaru roboczego Fabric z uprawnieniami współautora lub wyższymi uprawnieniami.

  • Klaster Apache Kafka jest uruchomiony.

  • Platforma Apache Kafka musi być publicznie dostępna i nie znajdować się za zaporą lub być zabezpieczona w sieci wirtualnej. Jeśli znajduje się w chronionej sieci, połącz się z nią za pomocą iniekcji sieci wirtualnej łącznika eventstream.

  • Jeśli planujesz używać ustawień TLS/mTLS upewnij się, że wymagane certyfikaty są dostępne w Azure Key Vault:

    • Zaimportuj wymagane certyfikaty do Azure Key Vault w formacie .pem.
    • Użytkownik, który konfiguruje źródło i wyświetla podgląd danych, musi mieć uprawnienia dostępu do certyfikatów w Key Vault (na przykład Użytkownik certyfikatu Key Vault lub Key Vault Administrator).
    • Jeśli bieżący użytkownik nie ma wymaganych uprawnień, nie można wyświetlić podglądu danych z tego źródła w usłudze Eventstream.

Dodaj Apache Kafka jako źródło

Jeśli jeszcze nie dodano żadnego źródła do strumienia zdarzeń, wybierz kafelek Połącz źródła danych . Możesz również wybrać pozycję Dodaj źródło>Połącz źródła danych na wstążce.

Zrzut ekranu przedstawiający wybór kafelka do korzystania z zewnętrznego źródła.

Jeśli dodajesz źródło do już opublikowanego strumienia zdarzeń, przełącz się na tryb edycji. Na wstążce wybierz pozycję Dodaj źródło>Połącz źródła danych.

Zrzut ekranu przedstawiający opcje dodawania źródeł zewnętrznych.

Na stronie Wybieranie źródła danych lub Źródła danych wybierz pozycję Apache Kafka.

Zrzut ekranu przedstawiający wybór platformy Apache Kafka jako typ źródła w kreatorze Pobierania zdarzeń.

Konfigurowanie platformy Apache Kafka i nawiązywanie z nią połączenia

  1. Na stronie Łączenie wybierz pozycję Nowe połączenie.

    Zrzut ekranu przedstawiający wybór linku Nowe połączenie na stronie Łączenie kreatora Pobieranie zdarzeń.

  2. W sekcji Ustawienia połączenia w polu Bootstrap Server wprowadź co najmniej jeden adres serwera bootstrap platformy Kafka. Rozdziel wiele adresów przecinkami (,).

    Zrzut ekranu przedstawiający wybór pola serwera Apache Kafka Bootstrap w kreatorze Pobieranie zdarzeń na stronie Połącz.

  3. W sekcji Poświadczenia połączenia jeśli masz istniejące połączenie z klastrem Apache Kafka, wybierz je z listy rozwijanej Połączenie. W przeciwnym razie wykonaj następujące kroki:

    1. W polu Nazwa połączenia wprowadź nazwę połączenia.
    2. W polu Rodzaj uwierzytelniania upewnij się, że wybrano opcję Klucz interfejsu API.
    3. Dla Klucz i Tajny, wprowadź klucz API i klucz tajny.

      Uwaga

      Jeśli używasz tylko biblioteki mTLS do uwierzytelniania, możesz dodać dowolne parametry w sekcji Klucz podczas tworzenia połączenia.

  4. Wybierz pozycję Połącz. 

  5. Teraz na stronie Connect wykonaj następujące kroki.

    1. W polu Temat wprowadź topic platformy Kafka.

    2. W polu Grupa odbiorców wprowadź grupę odbiorców klastra platformy Apache Kafka. To pole zawiera dedykowaną grupę odbiorców na potrzeby pobierania zdarzeń.

    3. Wybierz pozycję Resetuj automatyczne przesunięcie , aby określić, gdzie rozpocząć odczytywanie przesunięć, jeśli nie ma zatwierdzenia.

    4. W obszarze Protokół zabezpieczeń wybierz jedną z następujących opcji:

      • SASL_SSL: użyj tej opcji, gdy klaster Platformy Kafka używa uwierzytelniania opartego na protokole SASL. Domyślnie certyfikat serwera brokera platformy Kafka musi być podpisany przez urząd certyfikacji znajdujący się na liście zaufanych urzędów certyfikacji. Jeśli klaster Kafka używa niestandardowego CA, można go skonfigurować przy użyciu ustawień TLS/mTLS.
      • SSL (mTLS): użyj tej opcji, gdy klaster platformy Kafka wymaga uwierzytelniania mTLS i należy skonfigurować zarówno niestandardowy certyfikat urzędu certyfikacji serwera, jak i certyfikat klienta w ustawieniach protokołu TLS/mTLS.
    5. Domyślny mechanizm SASL jest zwykle zwykły, chyba że skonfigurowano inaczej. Można wybrać mechanizm SCRAM-SHA-256 lub SCRAM-SHA-512 , który odpowiada wymaganiom w zakresie zabezpieczeń.

    6. Jeśli klaster platformy Kafka używa niestandardowego CA lub wymaga mTLS, rozwiń sekcję ustawień TLS/mTLS i skonfiguruj następujące opcje zgodnie z potrzebami:

      • Certyfikat zaufanego urzędu certyfikacji: włącz tę opcję, aby skonfigurować certyfikat urzędu certyfikacji serwera. Wybierz subskrypcję, grupę zasobów i magazyn kluczy, a następnie podaj nazwę certyfikatu.
      • Certyfikat klienta i klucz: włącz tę opcję, aby skonfigurować certyfikat klienta i klucz.
        • Użyj tego samego magazynu kluczy certyfikatów CA: zaznacz to pole wyboru, gdy oba certyfikaty są przechowywane w tym samym magazynie kluczy. Następnie podaj nazwę certyfikatu.
        • Jeśli to pole wyboru nie zostanie zaznaczone, zaznacz subskrypcję, grupę zasobów i magazyn kluczy, a następnie podaj nazwę certyfikatu.

      Uwaga

      W przypadku źródeł w sieci prywatnej upewnij się, że skrytka Azure Key Vault zawierająca certyfikaty jest połączona z siecią wirtualną Azure używaną przez bramę danych strumieniowych sieci wirtualnej do wstrzykiwania wirtualnych sieci łącznika Eventstream (na przykład za pośrednictwem prywatnego punktu końcowego).

    Zrzut ekranu przedstawiający pierwszą stronę ustawień połączenia platformy Apache Kafka.

Wymagania dotyczące certyfikatów TLS/mTLS

Jeśli skonfigurowano ustawienia TLS/mTLS, zapoznaj się z tą sekcją, aby zapoznać się ze specyfikacjami formatu certyfikatu i typowymi błędami konfiguracji podczas przekazywania do Azure Key Vault.

Łańcuch certyfikatów

Certificate Rozmiar klucza Podpisane przez Purpose
Certyfikat centrum certyfikacji 4096-bitowa RSA Podpis własny Kotwica zaufania — broker weryfikuje certyfikaty klienta względem tego CA.
Certyfikat serwera RSA 2048-bit urząd certyfikacji Tożsamość brokera — klient weryfikuje, czy broker jest tym, za kogo się podaje.
Certyfikat klienta RSA 2048-bit urząd certyfikacji Tożsamość klienta — broker sprawdza, czy łącznik jest autoryzowany.

Wymagania dotyczące sieci SAN certyfikatu serwera

Certyfikat serwera musi zawierać adres IP brokera i nazwę DNS w alternatywnej nazwie podmiotu (SAN), aby przejść weryfikację nazwy hosta (ssl.endpoint.identification.algorithm=https):

subjectAltName:
  DNS.1 = {broker FQDN}
  DNS.2 = localhost
  IP.1  = {broker public IP}
  IP.2  = 127.0.0.1

Przekazywanie certyfikatów do Azure Key Vault

Certyfikaty są przekazywane jako obiekty certyfikatów Azure Key Vault w formacie PEM. Plik pakietu PEM to certyfikat + klucz prywatny połączony w jednym pliku:

-----BEGIN CERTIFICATE-----
MIIExjCCA...
-----END CERTIFICATE-----
-----BEGIN RSA PRIVATE KEY-----
MIIEpAIB...
-----END RSA PRIVATE KEY-----

Użyj zasady importu, które odpowiadają właściwościom klucza.

{
  "secretProperties": {
    "contentType": "application/x-pem-file"
  },
  "keyProperties": {
    "exportable": true,
    "keyType": "RSA",
    "keySize": 4096,
    "reuseKey": false
  },
  "issuerParameters": {
    "name": "Unknown"
  }
}

Aby zaimportować certyfikat, uruchom następujące polecenie:

az keyvault certificate import \
  --vault-name {kvName} \
  --name {certName} \
  --file {pemBundleFile} \
  --policy @{policyFile}

Typowe błędy

Uniknięcie Zrób to zamiast tego
Prześlij jako PKCS#12/PFX Użyj formatu PEM z contentType: application/x-pem-file.
Przekazywanie certyfikatu bez klucza prywatnego Pakiet PEM musi zawierać zarówno certyfikat, jak i klucz.
Ustaw keySize: 2048 dla klucza 4096-bitowego Wartość keySize musi być zgodna z rzeczywistym rozmiarem klucza.
Ustaw issuerParameters.name: "Self" Użyj "Unknown" dla certyfikatów podpisanych zewnętrznie.
Użyj znaków końca linii Windows (CRLF) Plik PEM musi używać zakończeń wierszy systemu Unix (tylko LF).

Wyświetlanie zaktualizowanego strumienia zdarzeń

Źródło Apache Kafka dodane do strumienia zdarzeń można zobaczyć w trybie edycji. 

Zrzut ekranu przedstawiający źródło platformy Apache Kafka w widoku edycji.

Po wykonaniu tych kroków źródło platformy Apache Kafka jest dostępne do wizualizacji w widoku na żywo.

Zrzut ekranu przedstawiający źródło platformy Apache Kafka w widoku na żywo.

Uwaga

Aby wyświetlić podgląd zdarzeń z tego źródła platformy Apache Kafka, upewnij się, że klucz używany do tworzenia połączenia w chmurze ma uprawnienie do odczytu dla grup odbiorców z prefiksem "preview-".

W przypadku źródła platformy Apache Kafka podgląd może zawierać tylko komunikaty w formacie JSON .

Zrzut ekranu przedstawiający podgląd danych źródłowych platformy Apache Kafka.

Inne łączniki: