Qu’est-ce que Lakeflow Connect ?

Lakeflow Connect offre des connecteurs simples et efficaces pour ingérer des données à partir de fichiers locaux, d’applications d’entreprise populaires, de bases de données, de stockage cloud, de bus de messages, etc. Cette page présente certaines des façons dont Lakeflow Connect peut améliorer les performances ETL. Il couvre également les cas d’usage courants et la gamme d’outils d’ingestion pris en charge, des connecteurs entièrement managés aux infrastructures entièrement personnalisables.

Connecteurs par type

Lakeflow Connect organise les connecteurs selon le type de source dont vous consommez. Chaque type possède un ensemble de connecteurs et un aperçu de leur fonctionnement :

Type de connecteur Descriptif
Connecteurs de base de données Insumez depuis des bases de données relationnelles telles que MySQL, PostgreSQL, Oracle et SQL Server en utilisant la capture de données de changement.
Connecteurs SaaS Ingérez des applications SaaS d’entreprise telles que Salesforce, HubSpot, Jira et Workday.
Connecteurs de fichiers Ingérer des fichiers structurés et non structurés à partir de stockage d’objets cloud et de services de fichiers d’entreprise tels que Google Drive et SharePoint.
Connecteurs de streaming Ingestion continue depuis des bus de messages et des sources de diffusion d’événements telles qu’Apache, Kafka et RabbitMQ.
Connecteurs basés sur des requêtes Ingérer depuis les bases de données en interrogeant directement la source, sans capture de données de modification.
Écriture directe (API Zerobus Ingest) Écrivez les enregistrements directement dans les tables de streaming depuis votre application en utilisant l’API Zerobus Ingest.

Modèles de service flexibles

Lakeflow Connect offre un large éventail de connecteurs pour les applications d’entreprise, le stockage cloud, les bases de données, les bus de messages, etc. Il vous offre également la possibilité de choisir entre les éléments suivants :

Choix Descriptif
Un service entièrement managé Connecteurs prêts à l'emploi qui démocratisent l'accès aux données avec des interfaces utilisateur simples et des API puissantes. Cela vous permet de créer rapidement des pipelines d’ingestion robustes tout en réduisant les coûts de maintenance à long terme.
Un pipeline personnalisé Si vous avez besoin d’une personnalisation supplémentaire, vous pouvez utiliser des pipelines Lakeflow ou Structured Streaming. En fin de compte, cette polyvalence permet à Lakeflow Connect de répondre aux besoins spécifiques de votre organisation.

Unification avec les outils Databricks de base

Lakeflow Connect utilise des fonctionnalités Databricks principales pour fournir une gestion complète des données. Par exemple, il offre une gouvernance à l’aide d’Unity Catalog, de l’orchestration à l’aide de Jobs Lakeflow et de la supervision holistique de vos pipelines. Cela permet à votre organisation de gérer la sécurité, la qualité et le coût des données tout en unifiant vos processus d’ingestion avec vos autres outils d’ingénierie des données. Lakeflow Connect est construit sur une plateforme Open Data + IA, avec une flexibilité totale pour intégrer vos outils tiers préférés. Cela garantit une solution personnalisée qui s’aligne sur votre infrastructure existante et les stratégies de données futures.

Une ingestion rapide et évolutive

Lakeflow Connect utilise des lectures et des écritures incrémentielles pour permettre une ingestion efficace. En cas de combinaison avec des transformations incrémentielles en aval, cela peut améliorer considérablement les performances ETL.

Cas d’utilisation courants

Les clients ingèrent des données pour résoudre les problèmes les plus difficiles de leurs organisations. Voici quelques exemples de cas d’usage :

Cas d’utilisation Descriptif
Client 360 Mesurer la performance des campagnes et l'évaluation des prospects
Gestion de portefeuille Optimisation du retour sur investissement avec des modèles historiques et de prévision
Analyse des consommateurs Personnaliser les expériences d’achat de vos clients
Ressources humaines centralisées Soutien de la main-d’œuvre de votre organisation
Digital Twins Augmentation de l’efficacité de fabrication
Chatbots RAG Création de chatbots pour aider les utilisateurs à comprendre les stratégies, les produits et bien plus encore

Couches de la pile ETL

Certains connecteurs fonctionnent à un niveau de l'architecture ETL. Par exemple, Databricks offre des connecteurs entièrement managés pour les applications d’entreprise telles que Salesforce et les bases de données comme SQL Server. D’autres connecteurs fonctionnent à une autre couche de la pile ETL. Par exemple, vous pouvez utiliser des connecteurs standard dans des pipelines Lakeflow pour plus d’options de personnalisation. De même, vous pouvez choisir votre niveau de personnalisation de la diffusion de données en continu à partir d’Apache Kafka, d’Amazon Kinesis, de Google Pub/Sub et d’Apache Pulsar.

Databricks recommande de commencer par la couche la plus managée. S’il ne répond pas à vos besoins (par exemple, s’il ne prend pas en charge votre source de données), passez à la couche suivante.

Le tableau suivant décrit les couches de produits d’ingestion :

Couche Descriptif
Pipelines de Lakeflow Les pipelines Lakeflow offrent une infrastructure déclarative pour la création de pipelines de données. Définissez vos transformations et les pipelines Lakeflow gèrent l’orchestration, la surveillance, la qualité des données, les erreurs, etc. Ils s’appuient sur Structured Streaming pour la diffusion en continu et prennent en charge la plupart des fonctionnalités Structured Streaming. Pour toute fonctionnalité Structured Streaming non encore disponible dans les pipelines Lakeflow, vous pouvez utiliser directement des API Structured Streaming.
Connecteurs complètement managés Les connecteurs entièrement managés s’appuient sur des pipelines Lakeflow, offrant encore plus d’automatisation pour les sources de données les plus populaires. Ils étendent les fonctionnalités des pipelines Lakeflow afin d’inclure également l’authentification spécifique à la source, le CDC, la gestion des cas particuliers, la maintenance à long terme des API, les nouvelles tentatives automatiques, l’évolution automatique du schéma, etc. Par conséquent, ils offrent une automatisation encore plus grande pour toutes les sources de données prises en charge.

Connecteurs managés

Vous pouvez utiliser des connecteurs entièrement managés pour ingérer à partir d’applications et de bases de données d’entreprise. Voir les concepts de connecteurs Lakeflow Connect pour la liste complète des connecteurs pris en charge.

Les interfaces prises en charge sont les suivantes :

  • Interface utilisateur Databricks
  • Paquets d'Automatisation déclarative
  • API Databricks
  • Kits SDK Databricks
  • Interface CLI de Databricks

Connecteurs de communauté

Les connecteurs communautaires permettent d'étendre Lakeflow Connect à des sources qui ne sont pas prises en charge par les connecteurs gérés. Ils sont open source, construits et maintenus par la communauté, et ne sont pas soutenus par les SLA de Databricks. Utilisez un connecteur que la communauté a déjà enregistré pour ingérer des données depuis une source prise en charge. Consultez les connecteurs communautaires dans Lakeflow Connect.

Connecteurs personnalisés

Les connecteurs personnalisés permettent de construire votre propre connecteur pour une source qui n’a pas de connecteur géré. Vous construisez, testez, déployez et exécutez un connecteur personnalisé dans votre propre espace de travail Azure Databricks, sans l’enregistrer auprès de la communauté. Voir Construire un connecteur personnalisé pour Lakeflow Connect.

Connecteurs standard

Outre les connecteurs managés, Databricks offre des connecteurs personnalisables pour le stockage d’objets cloud et les bus de messages. Voir Choisir un connecteur standard.

Créer ou modifier une table à partir du chargement de fichiers (Ajouter une interface utilisateur de données)

Vous pouvez ingérer des fichiers qui résident sur votre réseau local, les fichiers chargés sur un volume ou les fichiers téléchargés à partir d’un emplacement Internet. Consultez Créer ou modifier une table à l’aide du chargement de fichiers.

Partenaires d'ingestion

De nombreux outils tiers prennent en charge l’ingestion par lots ou en streaming dans Databricks. Databricks valide diverses intégrations tierces, bien que les étapes de configuration de l'accès aux systèmes sources et d'ingestion de données varient selon l'outil. Consultez les partenaires d'ingestion pour obtenir une liste des outils validés. Certains partenaires technologiques sont également proposés dans Databricks Partner Connect, qui a une interface utilisateur qui simplifie la connexion d’outils tiers aux données Lakehouse.

Consommation DIY

Databricks fournit une plate-forme de calcul générale. Par conséquent, vous pouvez créer vos propres connecteurs d’ingestion en utilisant n’importe quel langage de programmation pris en charge par Databricks, comme Python ou Java. Vous pouvez également importer et utiliser des bibliothèques de connecteurs open source populaires telles que l’outil de chargement de données, Airbyte et Debezium.

Alternatives à l'ingestion

Databricks recommande l'ingestion pour la plupart des cas d'utilisation, car elle s'adapte aux volumes de données élevés, aux requêtes à faible latence et aux limites des API tierces. L’ingestion copie les données de vos systèmes sources vers Azure Databricks, ce qui génère des données en double qui peuvent devenir obsolètes au fil du temps. Si vous ne souhaitez pas copier de données, vous pouvez utiliser les outils suivants :

Outil Descriptif
Fédération de Lakehouse Vous permet d’interroger des sources de données externes sans déplacer vos données.
OpenSharing Vous permet de partager en toute sécurité des données entre plateformes, clouds et régions.
  • Last updated on