Consideraciones sobre redes

Esta profundización cubre cómo conectar a los productores con Zerobus Ingest en Lakeflow Connect de forma segura y eficiente: front-end Private Link, conexión a almacenamiento con firewall y compresión.

Zerobus Ingest siempre se ejecuta en la región de tu espacio de trabajo. Los productores envían datos a través de la red a ese punto final regional, y Zerobus Ingest los escribe en tu tabla Delta objetivo. Zerobus Ingest está disponible en regiones seleccionadas. Consulte la disponibilidad de ingestión.

Una operación de escritura en Zerobus Ingest tiene dos tramos de red, y cada uno se protege de forma distinta:

  • Tu productor para el servicio Zerobus Ingest. Accede al punto final regional a través de internet público, o mantén el tráfico en una ruta privada con front-end Private Link.
  • El servicio Zerobus Ingest para el almacenamiento de tu tabla. Zerobus Ingest se conecta a su almacenamiento desde la capacidad de cómputo sin servidor de Databricks. Si su almacenamiento está detrás de un firewall, añada las direcciones IP salientes de Databricks serverless a la lista de permitidos para que Zerobus Ingest pueda acceder. Consulte Conectarse a un almacenamiento protegido por un cortafuegos.

Las dos ramas de red de un Zerobus Ingest escriben: los productores acceden al punto final gestionado por Databricks a través de la red pública o del front-end Private Link, y Zerobus Ingest escribe en tu almacenamiento desde computación sin servidor, accesible mediante la lista de permisos IP

Por defecto, los productores acceden a Zerobus Ingest a través de la red hasta el punto final regional de tu espacio de trabajo. Si no quieres que ese tráfico atraviese la red pública, o necesitas más ancho de banda o una ruta de red más predecible, usa el front-end Private Link para mantener la conexión entre tus productores y el servicio Zerobus Ingest en una ruta privada.

Considera el front-end Private Link cuando:

  • Exigir que el tráfico de ingestión no pase nunca por Internet público.
  • Necesitan un ancho de banda mayor o más predecible que el que proporciona una ruta pública.
  • Quieres explorar la posibilidad de reducir los costes de tu tráfico de red, ya que mantener la ingestión en una ruta privada puede reducir la transferencia de datos de internet público.

Front-end Private Link to Zerobus Ingest utiliza la misma configuración de conectividad privada front-end del espacio de trabajo que el resto de tu espacio de trabajo. Para configurarlo en tu nube, consulta:

Habilitar la conectividad de front-end de Azure Private Link. Para los conceptos subyacentes, véase Private Link concepts.

Conectarse al almacenamiento protegido por cortafuegos

Zerobus Ingest garantiza la durabilidad de tus datos y luego los escribe en el almacenamiento de tu tabla de destino desde el cómputo sin servidor de Databricks. Si su cuenta de almacenamiento o bucket restringe el tráfico entrante mediante un firewall, añada los rangos de direcciones IP de salida de Databricks Serverless a la lista de permitidos para que Zerobus Ingest pueda acceder a él.

Databricks publica las IPs salientes sin servidor como un archivo JSON en ip-ranges.json, y también las lista por región en la referencia de red. Solo necesitas incluir los rangos de la nube y región de tu espacio de trabajo:

Consulte las direcciones IP salientes para proceso sin servidor.

Consideraciones interregionales

Zerobus Ingest se ejecuta en la región de tu espacio de trabajo (véase requisitos de la tabla). Mantén a tus productores en esa región cuando puedas: cuanto más cerca estén del endpoint, menor será la latencia de la red y mayor será el rendimiento que puedes mantener.

Cuando los productores ejecutan en una región diferente al endpoint de Ingest de Zerobus, el tráfico cruza regiones, lo que añade latencia y puede generar cargos de salida en la nube. El coste exacto depende de tu nube, regiones y volumen de datos, y varía lo suficiente como para que una sola cifra pueda ser engañosa. Databricks recomienda ejecutar una prueba de concepto con tu propia carga de trabajo y regiones para medir el coste real antes de comprometerte con una topología interregional.

Compresión en la red

Comprimir los registros antes de que se transmitan por la red reduce la cantidad de bytes que envías, lo que puede evitar cuellos de botella de ancho de banda a costa de un mayor uso de CPU en el cliente. Tus opciones dependen de la interfaz:

  • Arrow Flight soporta compresión IPC (ZSTD para la mejor ratio, LZ4_FRAME cuando el cliente está limitado por la CPU). Consulte Compresión IPC.
  • OpenTelemetry (OTLP) soporta gzip en todos los servicios. Consulta Compresión.

Elegir un formato de registro compacto, Protocol Buffers (protobuf) o Arrow en lugar de JSON, también reduce los bytes en el cable.

  • Last updated on