Considerações de rede

Esta análise aprofundada aborda como ligar produtores ao Zerobus Ingest no Lakeflow Connect de forma segura e eficiente: front-end Private Link, ligação a armazenamento protegido por firewall e compressão.

O Zerobus Ingest corre sempre na região do teu espaço de trabalho. Os produtores enviam dados pela rede para esse endpoint regional, e o Zerobus Ingest escreve-os na tua tabela Delta de destino. O Zerobus Ingest está disponível em regiões selecionadas. Ver Disponibilidade de Ingestão.

Uma escrita Zerobus Ingest tem duas pernas de rede, e protege-as de forma diferente:

  • O seu produtor para o serviço Zerobus Ingest. Aceda ao endpoint regional pela Internet pública ou mantenha o tráfego num percurso privado com front-end Private Link.
  • O serviço Zerobus Ingest para o armazenamento da sua tabela. O Zerobus Ingest liga-se ao seu armazenamento a partir da computação sem servidor da Databricks. Se o armazenamento estiver atrás de uma firewall, adiciona os IPs de saída do Databricks Serverless à lista de permissões para que o Zerobus Ingest lhe possa aceder. Ver Ligar a armazenamento protegido por firewall.

As duas pernas de rede de um Zerobus Ingest escrevem: os produtores acedem ao endpoint gerido pelo Databricks através da rede pública ou do front-end Private Link, e o Zerobus Ingest escreve para o seu armazenamento a partir de computação serverless, acessível através de IP allowlisting

Por predefinição, os produtores acedem ao Zerobus Ingest através da rede, ao endpoint regional da sua área de trabalho. Se não quiser que esse tráfego atravesse a internet pública, ou se precisa de mais largura de banda ou de um caminho de rede mais previsível, use o front-end Private Link para manter a ligação entre os seus produtores e o serviço Zerobus Ingest num caminho privado.

Considere o front-end Private Link quando:

  • Exigir que o tráfego de ingestão nunca atravesse a internet pública.
  • Precisam de uma largura de banda maior ou mais previsível do que a que um caminho público oferece.
  • Pretende explorar a redução dos seus custos de tráfego de rede, uma vez que manter a ingestão de dados através de um percurso privado pode reduzir a transferência de dados pela Internet pública.

O Front-end Private Link to Zerobus Ingest utiliza a mesma configuração de conectividade privada front-end do espaço de trabalho que o resto do seu espaço de trabalho. Para configurar para a sua nuvem, veja:

Ativar a conectividade front-end do Azure Private Link. Para os conceitos subjacentes, veja Private Link Concepts.

Liga-te a armazenamento protegido por firewall

O Zerobus Ingest garante a durabilidade dos seus dados e, em seguida, escreve-os no armazenamento da tabela de destino, utilizando a computação sem servidor da Databricks. Se a sua conta de armazenamento ou bucket restringir o tráfego de entrada com uma firewall, adicione à lista de permissões os intervalos de IP de saída do Databricks Serverless, para que o Zerobus Ingest lhe possa aceder.

O Databricks publica os IPs de saída serverless como ficheiro JSON em ip-ranges.json, e também os lista por região na referência de rede. Só precisa de listar os intervalos para a cloud e região do seu espaço de trabalho:

Consulte Endereços IP de saída para computação sem servidor.

Considerações interregionais

O Zerobus Ingest corre na região do seu espaço de trabalho (ver requisitos da tabela). Mantém os teus produtores nessa região sempre que puderes: quanto mais próximos estiverem dos produtores do endpoint, menor será a latência da rede e maior será o throughput que consegues sustentar.

Quando os produtores operam numa região diferente do endpoint Zerobus Ingest, o tráfego atravessa regiões, o que adiciona latência e pode incorrer em custos de saída na cloud. O custo exato depende da sua cloud, regiões e volume de dados, e varia o suficiente para que um único valor seja enganador. A Databricks recomenda executar uma prova de conceito com a sua própria carga de trabalho e regiões para medir o custo real antes de se comprometer com uma topologia multi-região.

Compressão sobre a rede

Comprimir os registos antes de serem transmitidos pela rede reduz a quantidade de bytes enviados, o que pode evitar gargalos de largura de banda à custa de utilização adicional da CPU no cliente. As tuas opções dependem da interface:

  • O Arrow Flight suporta compressão IPC (ZSTD para a melhor taxa de compressão, LZ4_FRAME quando o cliente tem limitações de CPU). Consulte compressão IPC.
  • A OpenTelemetry (OTLP) suporta gzip em todos os serviços. Ver Compressão.

Escolher um formato de registo compacto, Protocol Buffers (protobuf) ou Arrow em vez de JSON, também reduz os bytes no fio.

  • Last updated on