Netwerkoverwegingen

Deze diepgaande analyse behandelt hoe je producenten veilig en efficiënt kunt verbinden met Zerobus Ingest in Lakeflow Connect: front-end Private Link, verbinding maken met firewalled storage en compressie.

Zerobus Ingest draait altijd in het gebied van je werkruimte. Producers sturen data via het netwerk naar dat regionale eindpunt, en Zerobus Ingest schrijft het naar je doel-Delta-tabel. Zerobus Ingest is beschikbaar in geselecteerde regio's. Zie beschikbaarheid van opname.

Een Zerobus Ingest-schrijf heeft twee netwerkbenen, en je beveiligt die verschillend:

  • Jouw producent naar de Zerobus Ingest-dienst. Bereik het regionale eindpunt via het publieke internet, of houd het verkeer op een privépad met de front-end Private Link.
  • De Zerobus Ingest-service voor de opslag van je tafel. Zerobus Ingest maakt verbinding met je opslag vanuit Databricks serverless compute. Als je opslag achter een firewall zit, laat dan de Serverless Outbound IP's van Databricks beschikbaar zodat Zerobus Ingest er toegang toe kan krijgen. Zie Verbinding maken met opslag achter een firewall.

De twee netwerkonderdelen van een Zerobus Ingest schrijven: producers bereiken het door Databricks beheerde eindpunt via het publieke netwerk of front-end Private Link, en Zerobus Ingest schrijft naar je opslag vanuit serverless compute, bereikbaar via IP-allowlisting

Standaard maken producenten via het netwerk verbinding met Zerobus Ingest via het regionale eindpunt van je werkruimte. Als je niet wilt dat dat verkeer het publieke internet doorkruist, of je hebt meer bandbreedte of een voorspelbaarder netwerkpad nodig, gebruik dan front-end Private Link om de verbinding tussen je producenten en de Zerobus Ingest-dienst op een privé pad te houden.

Overweeg front-end Private Link wanneer je:

  • Stel als eis dat innameverkeer nooit via het openbare internet verloopt.
  • Je hebt meer of meer voorspelbare bandbreedte nodig dan een publieke route biedt.
  • Wilt u onderzoeken hoe u uw netwerkverkeerskosten kunt verlagen, aangezien het behouden van gegevensinname via een privépad de gegevensoverdracht via het openbare internet kan verminderen.

Front-end Private Link to Zerobus Ingest gebruikt dezelfde configuratie voor front-end-privéconnectiviteit van de werkruimte als de rest van je werkruimte. Om het op te zetten voor je cloud, zie:

Schakel front-endconnectiviteit voor Azure Private Link in. Voor de onderliggende concepten, zie Private Link concepts.

Verbinding maken met opslag achter een firewall

Zerobus Ingest maakt je gegevens duurzaam opgeslagen en schrijft ze vervolgens vanuit de serverless compute van Databricks naar de opslag van je doeltabel. Als je opslagaccount of bucket inkomend verkeer beperkt met een firewall, laat dan de Serverless Outbound IP-bereiken van Databricks beschikbaar zodat Zerobus Ingest erbij kan komen.

Databricks publiceert de serverless uitgaande IP's als een JSON-bestand op ip-ranges.json, en vermeldt ze ook per regio in de netwerkreferentie. Je hoeft alleen de IP-bereiken voor de cloudomgeving en regio van je werkruimte toe te staan:

Zie Uitgaande IP-adressen voor serverloze rekenkracht.

Overwegingen over de regio heen

Zerobus Ingest draait in de regio van je werkruimte (zie Table-vereisten). Houd je producers in dat gebied waar mogelijk: hoe dichter je producers bij het eindpunt zijn, hoe lager de netwerklatentie en hoe hoger de doorvoer die je kunt behouden.

Wanneer producers in een andere regio draaien dan het Zerobus Ingest-eindpunt, oversteekt het verkeer regio's, wat de latentie toevoegt en cloud egress kosten kan veroorzaken. De exacte kosten hangen af van je cloud, regio's en datavolume, en variëren genoeg zodat één enkel cijfer misleidend zou zijn. Databricks raadt aan om een proof of concept uit te voeren met je eigen workload en regio's om de werkelijke kosten te meten voordat je je committeert aan een cross-region topologie.

Compressie over het netwerk

Het comprimeren van records voordat ze over de kabel gaan, vermindert het aantal bytes dat je stuurt, waardoor bandbreedtebottlenecks worden voorkomen in ruil voor extra CPU op de client. Je opties hangen af van de interface:

  • Arrow Flight ondersteunt IPC-compressie (ZSTD voor de beste verhouding, LZ4_FRAME wanneer de client CPU-beperkt is). Zie IPC-compressie.
  • OpenTelemetry (OTLP) ondersteunt gzip op alle diensten. Zie Compressie.

Het kiezen van een compact recordformaat, Protocol Buffers (protobuf) of Arrow in plaats van JSON, vermindert ook bytes op de draad.

  • Last updated on