Zagadnienia dotyczące sieci

W tym szczegółowym omówieniu przedstawiono, jak bezpiecznie i efektywnie podłączać producentów do Zerobus Ingest w Lakeflow Connect: Private Link po stronie front-endu, łączenie z magazynem danych za zaporą sieciową oraz kompresję.

Zerobus Ingest zawsze działa w obszarze Twojego miejsca pracy. Producenci przesyłają dane przez sieć do tego regionalnego punktu końcowego, a Zerobus Ingest zapisuje je do docelowej tabeli Delta. Zerobus Ingest jest dostępny w wybranych regionach. Zobacz Dostępność przyjmowania.

Zapis Zerobus Ingest ma dwie nogi sieciowe i zabezpieczasz je inaczej:

  • Twój producent do usługi Zerobus Ingest. Uzyskaj dostęp do regionalnego punktu końcowego przez publiczny Internet. W przypadku obsługiwanych interfejsów możesz utrzymywać ruch na prywatnej ścieżce za pomocą front-end Private Link. Kompatybilne API MQTT i Kafka nie obsługują front-end Private Link i muszą korzystać z publicznego punktu końcowego.
  • Usługa Zerobus Ingest do przechowywania twojego stołu. Zerobus Ingest łączy się z twoją pamięcią masową z poziomu bezserwerowego środowiska obliczeniowego Databricks. Jeśli Twój magazyn danych znajduje się za zaporą, dodaj wychodzące adresy IP usługi Databricks Serverless do listy dozwolonych, aby Zerobus Ingest mógł uzyskać do niego dostęp. Zobacz Łączenie z magazynem za zaporą sieciową.

Dwie ścieżki sieciowe zapisu w Zerobus Ingest: producenci docierają do punktu końcowego zarządzanego przez Databricks za pośrednictwem sieci publicznej lub frontonu Private Link, a Zerobus Ingest zapisuje dane w Twoim magazynie danych z bezserwerowej warstwy obliczeniowej, dostępnej poprzez listę dozwolonych adresów IP

Front-end Private Link nie jest obsługiwany dla połączeń API kompatybilnych z MQTT ani Kafka. Ci producenci muszą łączyć się z publicznym punktem końcowym.

W przypadku obsługiwanych interfejsów producenci domyślnie docierają do Zerobus Ingest przez sieć do regionalnego punktu końcowego twojego workspace. Jeśli nie chcesz, aby ten ruch przechodził przez publiczny internet lub potrzebujesz większej przepustowości albo bardziej przewidywalnej ścieżki sieciowej, użyj front-end Private Link, aby utrzymać połączenie między producentami a usługą Zerobus Ingest na prywatnej ścieżce.

Rozważ front-end Private Link, gdy:

  • Wymagaj, aby ruch odbiorczy nigdy nie przechodził przez publiczny internet.
  • Potrzebujemy większej lub bardziej przewidywalnej przepustowości niż zapewnia publiczna ścieżka.
  • Jeśli chcesz sprawdzić możliwości obniżenia kosztów ruchu sieciowego, pamiętaj, że utrzymywanie pozyskiwania danych przez prywatną ścieżkę może ograniczyć transfer danych przez publiczny internet.

Front-end Private Link to Zerobus Ingest korzysta z tej samej konfiguracji prywatnej łączności w przestrzeni roboczej co reszta Twojej przestrzeni roboczej. Aby skonfigurować to dla swojej chmury, zobacz:

Włącz łączność frontonu usługi Azure Private Link. W przypadku podstawowych koncepcji zobacz koncepcje Private Link.

Połącz się z pamięcią masową chronioną zaporą

Zerobus Ingest zapewnia trwałość danych, a następnie zapisuje je w magazynie docelowej tabeli za pomocą bezserwerowych zasobów obliczeniowych Databricks. Jeśli konto magazynu lub zasobnik ogranicza ruch przychodzący za pomocą zapory, dodaj zakresy wychodzących adresów IP środowiska Databricks Serverless do listy dozwolonych, aby Zerobus Ingest mógł uzyskać do niego dostęp.

Databricks publikuje adresy IP dla ruchu wychodzącego w architekturze serverless jako plik JSON pod adresem ip-ranges.json, a także podaje je według regionu w dokumentacji referencyjnej dotyczącej sieci. Wystarczy dodać do listy dozwolonych zakresy adresów IP dla chmury i regionu Twojego obszaru roboczego:

Zobacz Wychodzące adresy IP dla obliczeń bezserwerowych.

Rozważania międzyregionalne

Zerobus Ingest działa w regionie twojego obszaru roboczego (patrz Wymagania tabeli). Utrzymuj producentów w tym regionie, kiedy tylko możesz: im bliżej są producentów do punktu końcowego, tym niższe opóźnienia sieci i tym wyższą przepustowość możesz utrzymać.

Gdy producenci działają w innym regionie niż punkt końcowy Zerobus Ingest, ruch przechodzi przez regiony, co zwiększa opóźnienia i może wiązać się z opłatami za ewakuację w chmurze. Dokładny koszt zależy od Twojej chmury, regionów i ilości danych, i różni się na tyle, że pojedyncza wartość byłaby myląca. Databricks zaleca przeprowadzenie testu pilotażowego z użyciem własnych obciążeń roboczych i w wybranych regionach, aby zmierzyć rzeczywisty koszt, zanim zdecydujesz się na topologię międzyregionalną.

Kompresja przez sieć

Kompresowanie rekordów zanim przejdą przez przewód zmniejsza liczbę bajtów, które wysyłasz, co pozwala uniknąć wąskich gardeł przepustowości w zamian za dodatkowy procesor klienta. Twoje opcje zależą od interfejsu:

  • Arrow Flight obsługuje kompresję IPC (ZSTD dla najlepszego stosunku, LZ4_FRAME gdy klient jest ograniczony przez CPU). Zobacz Kompresja IPC.
  • OpenTelemetry (OTLP) obsługuje gzip we wszystkich usługach. Zobacz Kompresja.

Wybór kompaktowego formatu rekordu, czyli buforów protokołu (protobuf) lub Arrow zamiast JSON, również zmniejsza liczbę bajtów na przewodzie.

  • Ostatnia aktualizacja o