Considerazioni sulla rete

Questa approfondita analisi spiega come collegare i produttori a Zerobus Ingest in Lakeflow Connect in modo sicuro ed efficiente: front-end collegamento privato, connessione a storage firewall e compressione.

Zerobus Ingest si attiva sempre nella regione del tuo spazio di lavoro. I produttori inviano i dati tramite la rete a quell'endpoint regionale e Zerobus Ingest li scrive nella tabella Delta di destinazione. Zerobus Ingest è disponibile in alcune regioni. Consultare Disponibilità dell'inserimento.

Una scrittura di Zerobus Ingest ha due segmenti di rete, e devono essere protetti in modo diverso:

  • Il tuo produttore per il servizio Zerobus Ingest. Raggiungi il punto finale regionale tramite internet pubblico, oppure mantieni il traffico su un percorso privato con front-end collegamento privato.
  • Il servizio Zerobus Ingest per l'archiviazione della tua tabella. Zerobus Ingest si connette al tuo storage tramite il compute serverless di Databricks. Se lo storage è protetto da un firewall, inserisci nella allowlist gli indirizzi IP in uscita del serverless di Databricks, in modo che Zerobus Ingest possa raggiungerlo. Vedi Connettersi a uno storage protetto da firewall.

Le due fasce di rete di un Zerobus Ingest scrivono: i produttori raggiungono l'endpoint gestito da Databricks tramite la rete pubblica o il front-end collegamento privato, e Zerobus Ingest scrive sul tuo storage da computazione serverless, raggiungibile tramite IP allowlisting

Di default, i produttori raggiungono Zerobus Ingest tramite rete fino all'endpoint regionale del tuo workspace. Se non vuoi che quel traffico attraversi la rete pubblica, o hai bisogno di più banda o di un percorso di rete più prevedibile, usa il front-end collegamento privato per mantenere la connessione tra i tuoi produttori e il servizio Zerobus Ingest su un percorso privato.

Considera il front-end collegamento privato quando:

  • Richiedere che il traffico di ingestione non attraversi mai la rete pubblica.
  • Serve una larghezza di banda maggiore o prevedibile rispetto a quella fornita da un percorso pubblico.
  • Vuoi valutare la possibilità di ridurre i costi del traffico di rete, poiché mantenere l'ingestione su un percorso privato può ridurre il trasferimento di dati su internet pubblico.

Front-end collegamento privato to Zerobus Ingest utilizza la stessa configurazione della connettività privata front-end del resto dello spazio di lavoro. Per configurarlo sul tuo cloud, consulta:

Abilita la connettività front-end di collegamento privato di Azure. Per i concetti sottostanti, vedi collegamento privato Concepts.

Connettiti a uno storage protetto da firewall

Zerobus Ingest rende i dati persistenti e quindi li scrive nello storage della tabella di destinazione dal compute serverless di Databricks. Se il tuo account di storage o bucket limita il traffico in ingresso con un firewall, inserisci nella allowlist gli intervalli di IP in uscita del serverless di Databricks, in modo che Zerobus Ingest possa raggiungerlo.

Databricks pubblica gli IP in uscita serverless come file JSON a ip-ranges.json, e li elenca anche per regione nel riferimento di rete. Devi solo indicare le range per il cloud e la regione del tuo workspace:

Vedi gli IP in uscita per il calcolo serverless.

Considerazioni trasversali

Zerobus Ingest viene eseguito nella regione della tua area di lavoro (vedi requisiti della tabella). Mantieni i produttori in quella regione quando puoi: più i produttori sono vicini all'endpoint, più bassa sarà la latenza di rete e maggiore sarà il throughput che puoi sostenere.

Quando i produttori operano in una regione diversa dall'endpoint Zerobus Ingest, il traffico attraversa le regioni, aggiungendo latenza e potendo incorrere in costi di uscita cloud. Il costo esatto dipende dal cloud, dalle regioni e dal volume di dati, e varia abbastanza da far sì che una singola cifra possa essere fuorviante. Databricks consiglia di eseguire un proof of concept con i propri carichi di lavoro e nelle proprie aree geografiche per misurare il costo effettivo prima di adottare una topologia multiregione.

Compressione sulla rete

La compressione dei record prima della trasmissione sulla rete riduce il numero di byte inviati, evitando così possibili colli di bottiglia della larghezza di banda, in cambio di un maggiore utilizzo della CPU sul client. Le tue opzioni dipendono dall'interfaccia:

  • Arrow Flight supporta la compressione IPC (ZSTD per il miglior rapporto, LZ4_FRAME quando il client è vincolato dalla CPU). Vedere Compressione IPC.
  • OpenTelemetry (OTLP) supporta gzip su tutti i servizi. Vedi Compressione.

Scegliere un formato di record compatto, Protocol Buffers (protobuf) o Arrow invece di JSON, riduce anche i byte sul filo.

  • Last updated on