Considerações de rede

Esta análise detalhada aborda como conectar produtores ao Zerobus Ingest no Lakeflow Connect de maneira segura e eficiente: link privado no front-end, conexão com armazenamento protegido por firewall e compactação.

O Zerobus Ingest sempre roda na região do seu espaço de trabalho. Os produtores enviam dados pela rede para esse endpoint regional, e o Zerobus Ingest os grava na sua tabela Delta de destino. O Zerobus Ingest está disponível em regiões selecionadas. Consulte Disponibilidade de ingestão.

Uma gravação do Zerobus Ingest tem dois segmentos de rede, e você os protege de maneiras diferentes:

  • Seu produtor para o serviço Zerobus Ingest. Acesse o endpoint regional pela internet pública ou mantenha o tráfego por um caminho privado com front-end Link Privado.
  • O serviço Zerobus Ingest para o armazenamento da sua tabela. O Zerobus Ingest se conecta ao seu armazenamento usando a computação serverless do Databricks. Se o seu armazenamento estiver atrás de um firewall, adicione os IPs de saída do Databricks Serverless à lista de permissões para que o Zerobus Ingest possa acessá-lo. Veja Conectar ao armazenamento protegido por firewall.

Os dois segmentos de rede de uma gravação do Zerobus Ingest são os seguintes: os produtores se conectam ao pontos de extremidade gerenciado pelo Databricks pela rede pública ou por meio do link privado no front-end, e o Zerobus Ingest grava no seu armazenamento usando computação sem servidor, acessível por meio de lista de IPs permitidos

Por padrão, os produtores acessam o Zerobus Ingest pela rede, no endpoint regional do seu espaço de trabalho. Se você não quer que esse tráfego passe pela internet pública, ou precisa de mais largura de banda ou um caminho de rede mais previsível, use o front-end Link Privado para manter a conexão entre seus produtores e o serviço Zerobus Ingest em um caminho privado.

Considere o link privado no front-end quando:

  • Exigir que o tráfego de ingestão nunca atravesse a internet pública.
  • Precisa de uma largura de banda maior ou mais previsível do que um caminho público oferece.
  • Quer explorar como reduzir os custos de tráfego da sua rede, já que manter a ingestão por um caminho privado pode diminuir a transferência de dados pela Internet pública.

O link privado no front-end para o Zerobus Ingest usa a mesma configuração de conectividade privada de front-end do espaço de trabalho que o restante do seu espaço de trabalho. Para configurá-lo para sua nuvem, veja:

Ative a conectividade front-end do Link Privado do Azure. Para os conceitos subjacentes, veja Link Privado Concepts.

Conecte-se ao armazenamento com firewall

O Zerobus Ingest torna seus dados persistentes e, em seguida, grava-os no armazenamento da tabela de destino usando a computação sem servidor do Databricks. Se sua conta de armazenamento ou bucket restringir o tráfego de entrada por meio de um firewall, adicione à lista de permissões os intervalos de IPs de saída da computação sem servidor do Databricks para que o Zerobus Ingest possa acessá-lo.

O Databricks publica os IPs de saída serverless como um arquivo JSON em ip-ranges.json, e também os lista por região na referência de rede. Você só precisa adicionar à lista de permissões os intervalos correspondentes à nuvem e à região do seu espaço de trabalho:

Veja IPs de saída para computação serverless.

Considerações entre regiões

O Zerobus Ingest é executado na região do seu espaço de trabalho (veja Requisitos da tabela). Mantenha seus produtores nessa região sempre que possível: quanto mais próximos estiverem do endpoint, menor a latência da rede e maior o throughput que você pode sustentar.

Quando os produtores são executados em uma região diferente do ponto de extremidade do Zerobus Ingest, o tráfego cruza regiões, o que adiciona latência e pode gerar cobranças de saída na nuvem. O custo exato depende da sua nuvem, regiões e volume de dados, e varia o suficiente para que um único valor seja enganoso. O Databricks recomenda rodar uma prova de conceito com sua própria carga de trabalho e regiões para medir o custo real antes de se comprometer com uma topologia multi-região.

Compressão pela rede

Comprimir os registros antes que passem pelo fio reduz os bytes que você envia, o que pode evitar gargalos de largura de banda em troca de CPU adicional no cliente. Suas opções dependem da interface:

  • O Arrow Flight suporta compressão IPC (ZSTD para a melhor proporção, LZ4_FRAME quando o cliente está limitado pela CPU). Consulte a compactação de IPC.
  • OpenTelemetry (OTLP) suporta gzip em todos os serviços. Veja Compressão.

Escolher um formato compacto de registro, Protocol Buffers (protobuf) ou Arrow em vez de JSON, também reduz bytes na linha.

  • Last updated on