Considérations relatives à la mise en réseau

Cette analyse approfondie explique comment connecter les producteurs à Zerobus Ingest dans Lakeflow Connect de manière sécurisée et efficace : Private Link front-end, connexion au stockage protégé par pare-feu et compression.

Zerobus Ingest fonctionne toujours dans la région de votre espace de travail. Les producteurs envoient les données via le réseau vers ce point de terminaison régional, et Zerobus Ingest les écrit dans votre table Delta cible. Zerobus Ingest est disponible dans certaines régions. Consultez la disponibilité de l’ingestion.

Une écriture de Zerobus Ingest comporte deux segments réseau, et vous les sécurisez différemment :

  • Votre producteur pour le service Zerobus Ingest. Atteignez le point d’arrivée régional via Internet public, ou gardez le trafic sur un chemin privé via le front-end Private Link.
  • Le service Zerobus Ingest pour le stockage de votre table. Zerobus Ingest se connecte à votre stockage à partir du calcul sans serveur de Databricks. Si votre stockage est derrière un pare-feu, ajoutez les adresses IP sortantes de Databricks serverless à la liste d’autorisation afin que Zerobus Ingest puisse l’atteindre. Voir Connecter au stockage protégé par pare-feu.

Les deux branches réseau d’un Zerobus Ingest écrivent : les producteurs atteignent le point de terminaison géré par Databricks par le réseau public ou le front-end Private Link, et Zerobus Ingest écrit dans votre stockage depuis un calcul serverless, accessible par liste d’adresses IP autorisées

Par défaut, les producteurs atteignent Zerobus Ingest via le réseau jusqu’au point de terminaison régional de votre espace de travail. Si vous ne voulez pas que ce trafic traverse l'internet public, ou si vous avez besoin de plus de bande passante ou d'un chemin réseau plus prévisible, utilisez le front-end Private Link pour maintenir la connexion entre vos producteurs et le service Zerobus Ingest sur un chemin privé.

Considérez la liaison privée frontale lorsque vous :

  • Exigez que le trafic d’ingestion ne traverse jamais l’internet public.
  • Il faut une bande passante plus élevée ou plus prévisible que celle qu’offre un chemin public.
  • Vous souhaitez envisager de réduire les coûts de votre trafic réseau, car maintenir l’ingestion sur un chemin privé peut diminuer le transfert de données sur Internet public.

Front-end Private Link to Zerobus Ingest utilise la même configuration de connectivité privée front-end de l’espace de travail que le reste de votre espace de travail. Pour le configurer sur votre cloud, voir :

Activez la connectivité front-end Azure Private Link. Pour les concepts sous-jacents, voir Private Link concepts.

Connectez-vous au stockage protégé par pare-feu

Zerobus Ingest garantit la durabilité de vos données, puis les écrit dans le stockage de votre table cible à l’aide des ressources de calcul serverless de Databricks. Si votre compte de stockage ou votre bucket limite le trafic entrant avec un pare-feu, autorisez les plages d’IP sortantes serverless Databricks afin que Zerobus Ingest puisse y accéder.

Databricks publie les IP sortantes sans serveur sous forme de fichier JSON à ip-ranges.json, et les liste également par région dans la référence réseau. Vous n’avez qu’à lister les plages pour le cloud et la région de votre espace de travail :

Voir Adresses IP sortantes pour le calcul sans serveur.

Considérations interrégionales

Zerobus Ingest s’exécute dans la région de votre espace de travail (voir Prérequis du tableau). Gardez vos producteurs dans cette région quand vous le pouvez : plus ils sont proches du point d’arrivée, plus la latence réseau est faible et plus le débit que vous pouvez maintenir est élevé.

Lorsque les producteurs fonctionnent dans une région différente de celle du point d’arrivée Zerobus, le trafic traverse les régions, ce qui ajoute de la latence et peut entraîner des frais de sortie cloud. Le coût exact dépend de votre cloud, de vos régions et du volume de données, et varie suffisamment pour qu’un seul chiffre soit trompeur. Databricks recommande de réaliser une preuve de concept avec votre propre charge de travail et vos régions pour mesurer le coût réel avant de vous engager dans une topologie interrégionale.

Compression sur le réseau

Comprimer les enregistrements avant qu’ils ne passent par le câble réduit les octets que vous envoyez, ce qui peut éviter des goulots d’étranglement en bande passante en échange d’un CPU supplémentaire sur le client. Vos options dépendent de l’interface :

  • Arrow Flight prend en charge la compression IPC (ZSTD pour le meilleur ratio, LZ4_FRAME lorsque le client est contraint par le processeur). Voir la compression IPC.
  • OpenTelemetry (OTLP) prend en charge gzip sur tous les services. Voir Compression.

Choisir un format compact d’enregistrement, Protocol Buffers (protobuf) ou Arrow plutôt que JSON, réduit également les octets sur le fil.

  • Last updated on