Nätverksöverväganden

Denna djupdykning täcker hur man kopplar producenter till Zerobus Ingest i Lakeflow Connect på ett säkert och effektivt sätt: front-end Private Link, anslutning till brandväggslagrad lagring och komprimering.

Zerobus Ingest körs alltid i regionen för din arbetsyta. Producenter skickar data över nätverket till den regionala slutpunkten, och Zerobus Ingest skriver det till din mål-Delta-tabell. Zerobus Ingest finns tillgängligt i utvalda regioner. Se Inmatningstillgänglighet.

En skrivning till Zerobus Ingest har två nätverkssteg, och du säkrar dem på olika sätt:

  • Din producent för Zerobus Ingest-tjänsten. Nå den regionala slutpunkten via det offentliga internet, eller håll trafiken på en privat väg med front-end Private Link.
  • Zerobus Ingest-tjänsten för tabellens lagring. Zerobus Ingest ansluter till din lagring från Databricks serverlösa beräkning. Om din lagring finns bakom en brandvägg lägger du till Databricks serverless-utgående IP-adresser i tillåtslistan så att Zerobus Ingest kan nå lagringen. Se Anslut till brandväggsskyddad lagring.

De två nätverksvägarna för en Zerobus Ingest-skrivning: producenter når den Databricks-hanterade slutpunkten via det offentliga nätverket eller Private Link på front-end-sidan, och Zerobus Ingest skriver till din lagring från serverlösa beräkningsresurser, som kan nås via IP-allowlisting

Som standard når producenter Zerobus Ingest över nätverket till din arbetsplatss regionala slutpunkt. Om du inte vill att trafiken ska korsa det publika internet, eller om du behöver mer bandbredd eller en mer förutsägbar nätverksväg, använd front-end Private Link för att hålla anslutningen mellan dina producenter och Zerobus Ingest-tjänsten på en privat väg.

Överväg front-end Private Link när du:

  • Kräv att intagningstrafik aldrig passerar det offentliga internet.
  • Behöver högre eller mer förutsägbar bandbredd än vad en offentlig förbindelse erbjuder.
  • Vill du utforska möjligheten att sänka dina kostnader för nätverkstrafik, eftersom datainmatning via en privat anslutning kan minska dataöverföring via det offentliga internet.

Front-end Private Link till Zerobus Ingest använder samma workspace-frontend privata anslutningsupplägg som resten av din arbetsplats. För att ställa in det för ditt moln, se:

Aktivera Azure Private Link front-end connectivity. För de underliggande koncepten, se Private Link-koncept.

Anslut till lagring bakom brandvägg

Zerobus Ingest gör din data hållbar och skriver sedan in den i din måltabells lagring från Databricks serverlösa beräkning. Om ditt lagringskonto eller din bucket begränsar inkommande trafik med en brandvägg, tillåt Databricks serverlösa utgående IP-intervall så att Zerobus Ingest kan nå det.

Databricks publicerar serverlösa utgående IP-adresser som en JSON-fil på ip-ranges.json, och listar dem även per region i nätverksreferensen. Du behöver bara tillåta intervallen för ditt arbetsområdes moln och region:

Se Utgående IP-adresser för serverlös beräkning.

Överväganden för flera regioner

Zerobus Ingest körs i din arbetsytas region (se tabellkrav). Håll dina producenter i det området när du kan: ju närmare dina producenter är slutpunkten, desto lägre nätverkslatens och högre genomströmning kan du upprätthålla.

När producenter kör i en annan region än Zerobus Ingest-endpointen går trafiken mellan regioner, vilket ökar latensen och kan medföra avgifter för utgående datatrafik i molnet. Den exakta kostnaden beror på ditt moln, regioner och datavolym, och varierar tillräckligt för att en enda siffra ska vara missvisande. Databricks rekommenderar att du kör ett koncepttest med dina egna arbetsbelastningar och i dina egna regioner för att mäta den faktiska kostnaden innan du binder dig till en topologi över flera regioner.

Kompression över nätverket

Att komprimera dataposter innan de skickas över nätverket minskar mängden data du skickar, vilket kan bidra till att undvika bandbreddsflaskhalsar i utbyte mot högre CPU-belastning på klienten. Dina alternativ beror på gränssnittet:

  • Arrow Flight stöder IPC-komprimering (ZSTD för bäst komprimeringsgrad, LZ4_FRAME när klienten är CPU-begränsad). Se IPC-komprimering.
  • OpenTelemetry (OTLP) stöder gzip på alla tjänster. Se Kompression.

Att välja ett kompakt recordformat, som Protocol Buffers (protobuf) eller Arrow, i stället för JSON minskar också antalet byte som överförs.

  • Last updated on