Überlegungen zum Netzwerk

Diese ausführliche Analyse behandelt, wie man Produzenten sicher und effizient mit Zerobus Ingest in Lakeflow Connect verbindet: Frontend-Private Link, Verbindung zu firewallgestütztem Speicher und Kompression.

Zerobus Ingest läuft immer im Bereich deines Arbeitsbereichs. Produzenten senden Daten über das Netzwerk an diesen regionalen Endpunkt, und Zerobus Ingest schreibt sie in Ihre Ziel-Delta-Tabelle. Zerobus Ingest ist in ausgewählten Regionen verfügbar. Siehe Verfügbarkeit der Datenerfassung.

Ein Zerobus-Ingest-Schreibvorgang hat zwei Netzwerkpfade, die Sie unterschiedlich absichern:

  • Von Ihrem Producer zum Zerobus Ingest-Dienst. Erreichen Sie den regionalen Endpunkt über das öffentliche Internet oder halten Sie den Datenverkehr auf einem privaten Pfad mit dem Frontend-Private Link.
  • Vom Zerobus-Ingest-Dienst zum Speicher Ihrer Tabelle. Zerobus Ingest verbindet sich von Databricks serverless Compute zu deinem Speicher. Wenn Ihr Speicher hinter einer Firewall liegt, lassen Sie die Serverless Outbound-IPs von Databricks zu, damit Zerobus Ingest darauf Zugriff hat. Siehe Verbinden mit firewallgesichertem Speicher.

Die beiden Netzwerkpfade eines Zerobus-Ingest-Schreibvorgangs: Producer erreichen den von Databricks verwalteten Endpunkt über das öffentliche Netzwerk oder die private Front-End-Verbindung und Zerobus Ingest schreibt mithilfe von serverlosem Computing in Ihren Speicher, der durch die Eintragung in die Liste zugelassener IP-Adressen erreichbar ist.

Producer erreichen Zerobus Ingest standardmäßig über das Netzwerk zum regionalen Endpunkt Ihres Arbeitsbereichs. Wenn du nicht möchtest, dass dieser Datenverkehr das öffentliche Internet durchquert, oder du mehr Bandbreite oder einen vorhersehbareren Netzwerkpfad brauchst, nutze den Frontend-Private Link, um die Verbindung zwischen deinen Produzenten und dem Zerobus Ingest-Dienst auf einem privaten Pfad zu halten.

Verwenden Sie Private Link für das Front-End, wenn Sie:

  • Stellen Sie sicher, dass der Aufnahmedatenverkehr niemals über das öffentliche Internet geleitet wird.
  • Benötigen Sie eine höhere oder besser vorhersehbare Bandbreite, als ein öffentlicher Übertragungsweg bietet.
  • Sie möchten möglicherweise prüfen, wie Sie Ihre Kosten für den Netzwerkverkehr senken können, da die Datenerfassung über einen privaten Pfad den öffentlichen Internet-Datentransfer reduzieren kann.

Die private Front-End-Verbindung für Zerobus Ingest verwendet dieselbe Front-End-Konfiguration für private Konnektivität des Arbeitsbereichs wie der Rest Ihres Arbeitsbereichs. Um es für deine Cloud einzurichten, siehe:

Enable Azure Private Link Front-End Connectivity. Für die zugrunde liegenden Konzepte siehe Private Link Konzepte.

Mit durch eine Firewall geschütztem Speicher verbinden

Zerobus Ingest macht Ihre Daten dauerhaft und schreibt sie anschließend mithilfe von serverlosem Databricks-Computing in den Speicher Ihrer Zieltabelle. Wenn Ihr Speicherkonto oder Bucket eingehenden Datenverkehr mit einer Firewall einschränkt, setzen Sie die Outbound-IP-Bereiche von Databricks Serverless auf die Zulassungsliste, damit Zerobus Ingest darauf zugreifen kann.

Databricks veröffentlicht die serverlosen ausgehenden IPs als JSON-Datei bei ip-ranges.json, und listet sie außerdem pro Region im Netzwerkreferenz auf. Sie müssen nur die Bereiche für die Cloud und die Region Ihres Arbeitsbereichs auf die Zulassungsliste setzen:

Siehe Outbound IPs für serverlose Rechenleistungen.

Regionenübergreifende Überlegungen

Zerobus Ingest läuft in der Region Ihres Arbeitsbereichs (siehe Tabellenanforderungen). Halten Sie Ihre Produzenten in diesem Bereich, wann immer möglich: Je näher Ihre Produzenten am Endpunkt sind, desto geringer ist die Netzwerklatenz und desto höher ist der Durchsatz, den Sie aufrechterhalten können.

Wenn Produzenten in einer anderen Region als das Zerobus Ingest-Endpunkt laufen, überquert der Datenverkehr Regionen, was die Latenz erhöht und Cloud-Egressgebühren verursachen kann. Die genauen Kosten hängen von deiner Cloud, deinen Regionen und dem Datenvolumen ab und variieren so sehr, dass eine einzelne Zahl irreführend wäre. Databricks empfiehlt, einen Proof of Concept mit der eigenen Arbeitslast und Regionen durchzuführen, um die tatsächlichen Kosten zu messen, bevor man sich für eine Querschnitts-Topologie entscheidet.

Kompression über das Netzwerk

Das Komprimieren von Datensätzen vor der Übertragung verringert die zu sendende Datenmenge, wodurch sich Bandbreitenengpässe vermeiden lassen – allerdings auf Kosten zusätzlicher CPU-Auslastung auf dem Client. Deine Optionen hängen vom Interface ab:

  • Arrow Flight unterstützt IPC-Kompression (ZSTD für das beste Verhältnis, LZ4_FRAME wenn der Client CPU-bedingt ist). Siehe IPC-Komprimierung.
  • OpenTelemetry (OTLP) unterstützt gzip auf allen Diensten. Siehe Kompression.

Die Wahl eines kompakten Datensatzformats, Protocol Buffers (Protobuf) oder Arrow anstelle von JSON, reduziert ebenfalls die Anzahl der Bytes auf dem Kabel.

  • Last updated on