Konfigurieren von Datenflussendpunkten

Um mit Datenflüssen zu beginnen, erstellen Sie zuerst Datenflussendpunkte. Ein Datenfluss ist der Verbindungspunkt für den Datenfluss. Sie können einen Endpunkt als Quelle, ein Ziel oder beides verwenden. Einige Endpunkttypen können als Quellen und Ziele verwendet werden, während andere nur für Ziele ausgelegt sind.

Verwenden Sie die folgende Tabelle, um den zu konfigurierenden Endpunkttyp auszuwählen:

Endpunkttyp Beschreibung Kann als Quelle verwendet werden Kann als Ziel verwendet werden Support für Data-Flows-Graphen
MQTT Für bidirektionales Messaging mit MQTT-Brokern, einschließlich der integrierten zu Azure IoT Einsatz und Event Grid. Ja Ja Quelle und Ziel
Kafka Für bidirektionale Nachrichten mit Kafka-Brokern, einschließlich Azure Event Hubs. Ja Ja Quelle und Ziel
OpenTelemetry Zum Senden von Metriken und Protokollen an OpenTelemetry-Sammler und Observability-Plattformen wie Grafana und Azure Monitor. Nein Ja Nur Ziel
Data Lake Zum Hochladen von Daten in Azure Data Lake Gen2-Speicherkonten. Nein Ja Nicht unterstützt
Microsoft Fabric OneLake Zum Hochladen von Daten in Microsoft Fabric OneLake Lakehouses. Nein Ja Nicht unterstützt
Azure Data Explorer Zum Hochladen von Daten in Azure Data Explorer Datenbanken. Nein Ja Nicht unterstützt
Lokaler Speicher Zum Senden von Daten an ein lokal verfügbares, persistentes Volume, das optional mit Azure Container Storage konfiguriert werden kann, welches durch Azure Arc aktiviert wird. Nein Ja Nicht unterstützt

Wichtig

Einschränkung der Data-Flows-Graphen: Data-Flows-Graphen (WASM) unterstützen aktuell nur MQTT-, Kafka- und OpenTelemetry-Endpunkte. OpenTelemetry-Endpunkte können nur als Ziele in Data Flow-Graphen verwendet werden. Andere Endpunkttypen werden für Datenflussgraphen nicht unterstützt.

Wichtig

Speicherendpunkte erfordern ein Schema für die Serialisierung. Um den Datenfluss mit Microsoft Fabric OneLake, Azure Data Lake Storage, Azure Data Explorer oder lokalem Speicher zu verwenden, müssen Sie einen Schemaverweis spezifizieren.

Um das Schema aus einer Beispieldatendatei zu generieren, verwenden Sie das Schemagenerierungs-Hilfsprogramm.

Festlegen Ihrer Umgebungsvariablen

Die Azure CLI Beispiele in diesem Artikel verwenden Umgebungsvariablen, sodass Sie jeden Wert einmal festlegen und dann die Befehle as-iskopieren und einfügen können. Wenn Sie die Azure IoT Einsatz Codespaces-Umgebung aus dem Quickstart verwenden, sind diese Variablen bereits für Sie festgelegt und Sie können diesen Schritt überspringen. Ansonsten setze die folgenden Umgebungsvariablen in deiner Shell, bevor du die Befehle ausführst.

Die folgenden Skripte legen die am häufigsten verwendeten Umweltvariablen fest:

Umgebungsvariable Beschreibung
SUBSCRIPTION_ID Die ID des Abonnements, das Ihre Azure IoT Einsatz-Instanz enthält.
RESOURCE_GROUP Der Name der Ressourcengruppe, die Ihre Azure IoT Einsatz-Instanz enthält.
AIO_INSTANCE_NAME Der Name Ihrer Azure IoT Einsatz Instanz. Um deine Instanzen aufzulisten, führe az iot ops list -o table.
CLUSTER_NAME Der Name des Azure Arc-fähigen Kubernetes-Clusters, der deine Instanz hostet.
LOCATION Die Azure-Region zur Nutzung für neue Ressourcen, zum Beispiel eastus.
SUBSCRIPTION_ID=<subscription-id>
RESOURCE_GROUP=<resource-group-name>
AIO_INSTANCE_NAME=<instance-name>
CLUSTER_NAME=<cluster-name>
LOCATION=<region>

Du musst nur die Variablen festlegen, die dieser Artikel verwendet. Dieser Artikel könnte zusätzliche Umgebungsvariablen für die von Ihnen gewählten Ressourcennamen verwenden. Der Artikel erklärt, wie man sie dort platziert, wo sie eingeführt werden.

Dieser Artikel verwendet außerdem die folgenden Umgebungsvariablen für die von Ihnen gewählten Ressourcennamen: DATAFLOW (der Name des Datenflusses), PROFILE (der Name des Datenflussprofils). Setze jede auf einen gewünschten Wert, bevor du die zugehörigen Befehle ausführst.

Datenflüsse müssen den lokalen MQTT-Broker-Endpunkt verwenden

Wenn Sie einen Datenfluss erstellen, geben Sie die Quell- und Zielendpunkte an. Der Datenfluss verschiebt Daten aus der Quelle an das Ziel. Sie können denselben Endpunkt für mehrere Datenflüsse verwenden, und Sie können denselben Endpunkt wie die Quelle und das Ziel verwenden.

Sie können jedoch keine benutzerdefinierten Endpunkte als Quelle und Ziel verwenden. Der integrierte MQTT-Broker in Azure IoT Einsatz muss mindestens ein Endpunkt sein (entweder die Quelle, das Ziel oder beides). Um Bereitstellungsfehler zu vermeiden, verwenden Sie den standardmäßigen MQTT-Datenflussendpunkt als Quelle oder Ziel für jeden Datenfluss.

Jeder Datenfluss muss entweder die Quelle oder das Ziel mit einem MQTT-Endpunkt konfiguriert haben, der über den Host aio-brokerverfügt. Sie müssen den Standardendpunkt nicht speziell verwenden. Sie können andere Datenflussendpunkte erstellen, die auf den lokalen MQTT-Broker verweisen, solange der Host ist aio-broker. Die Verwendung des Standardendpunkts ist jedoch der empfohlene Ansatz.

Die folgende Tabelle zeigt unterstützte Szenarien:

Szenario Unterstützt
Standardendpunkt als Quelle Ja
Standardendpunkt als Ziel Ja
Benutzerdefinierter Endpunkt als Quelle Ja, wenn das Ziel der Standardendpunkt oder ein MQTT-Endpunkt mit Host aio-broker ist
Benutzerdefinierter Endpunkt als Ziel Ja, wenn das Ziel der Standardendpunkt oder ein MQTT-Endpunkt mit Host aio-broker ist
Benutzerdefinierter Endpunkt als Quelle und Ziel Nein, es sei denn, einer davon ist ein MQTT-Endpunkt mit Host aio-broker

Informationen dazu, wie der lokale MQTT-Broker Daten puffert, wenn ein Zielendpunkt nicht verfügbar ist, finden Sie unter Konfigurieren der Datenpufferung und Datenträgerpersistenz für Datenflüsse.

Wiederverwenden von Endpunkten

Stellen Sie sich jeden Datenflussendpunkt als ein Bündel von Konfigurationseinstellungen vor: woher die Daten stammen sollen oder wohin sie gehen sollen (der host Wert), wie sie authentifiziert werden sollen, und andere Einstellungen, wie TLS-Konfiguration oder die Präferenz der Büdelung. Sie erstellen einen Endpunkt einmal und verwenden ihn in mehreren Datenflüssen, die dieselben Einstellungen gemeinsam verwenden.

Um die Wiederverwendung von Endpunkten zu vereinfachen, ist der MQTT- oder Kafka-Themenfilter nicht Teil der Endpunktkonfiguration. Stattdessen geben Sie den Themenfilter in der Datenflusskonfiguration an. Dies bedeutet, dass Sie denselben Endpunkt für mehrere Datenflüsse verwenden können, die unterschiedliche Themenfilter verwenden.

Sie können z. B. den standardmäßigen MQTT-Broker-Datenflussendpunkt verwenden. Sie können ihn sowohl für die Quelle als auch für das Ziel mit unterschiedlichen Themenfiltern verwenden:

Screenshot: Verwenden der Benutzeroberfläche für Vorgänge zum Erstellen eines Datenflusses von MQTT zu MQTT

Ebenso können Sie mehrere Datenflüsse erstellen, die denselben MQTT-Endpunkt für andere Endpunkte und Themen verwenden. Sie können z. B. denselben MQTT-Endpunkt für einen Datenfluss verwenden, der Daten an einen Event Hubs-Endpunkt sendet.

Screenshot der Betriebserfahrung mit Kafka-Datenfluss.

Ähnlich wie im MQTT-Beispiel können Sie mehrere Datenflüsse erstellen, die denselben Kafka-Endpunkt für verschiedene Themen oder denselben Data Lake Endpunkt für unterschiedliche Tabellen verwenden.

Nächste Schritte

Tipp

Informationen zum Weiterleiten des Datenflusses an Cloud-Ziele über Private Link anstelle öffentlicher Endpunkte finden Sie unter Configure dataflow destinations with private endpoints.

Erstellen eines Datenflussendpunkts: