Ingérer des données dans Lakeflow Designer

Vous pouvez importer toutes les données accessibles via Azure Databricks dans une préparation de données visuelles dans Lakeflow Designer.

L’ingestion de données dans le Concepteur commence par l’opérateur Source . Lorsque vous ouvrez le volet de configuration d’un opérateur source, vous disposez des options suivantes.

Parcourir les tables existantes

Cliquez sur Parcourir l’existant pour ouvrir le sélecteur de ressources et parcourir les tables et les volumes dans Unity Catalog. Utilisez cette option lorsque vos données sont déjà en Azure Databricks.

Vous pouvez également sélectionner une vue de métrique du catalogue Unity en tant que source. Lorsque vous sélectionnez une vue de métrique, sélectionnez les dimensions et les mesures à inclure, et le Concepteur génère la requête agrégée.

Créer une connexion de base de données externe

Dans un opérateur Source non configuré, sélectionnez Créer une connexion de base de données externe pour vous connecter à une base de données externe. Le designer crée une connexion Unity Catalog et un foreign catalog, puis ouvre le catalogue pour que vous puissiez sélectionner une table.

Créer une nouvelle connexion au catalogue Unity nécessite les privilèges CREATE CONNECTION et CREATE CATALOG sur le métastore du catalogue Unity. Pour lister, accorder l’accès ou supprimer la connexion ultérieurement, voir Gérer les connexions pour Lakehouse Federation. Pour gérer le catalogue étranger, voir Gérer et travailler avec les catalogues étrangers.

Designer prend en charge les types de connexion suivants :

• Amazon Redshift
• Azure Synapse
• Databricks
• Google BigQuery
• MySQL
• Oracle
• PostgreSQL
• Salesforce Data Cloud
• Partage de fichiers Salesforce Data Cloud
• Snowflake
• SQL Server
• Teradata

Si une source de données n’est pas disponible directement dans le Concepteur, check Lakeflow Connect pour un connecteur managé. Lakeflow Connect prend en charge l’ingestion à partir d’applications SaaS (Salesforce, Workday, HubSpot, etc.), de bases de données, de stockage cloud et de sources de streaming. Après avoir ingéré des données avec Lakeflow Connect dans une table de catalogue Unity, vous pouvez l’utiliser comme source dans le concepteur.

Ingérer un dossier ou un volume

Au lieu d’un fichier individuel, l’opérateur Source peut cibler l’intégralité d’un volume ou d’un chemin de dossier du catalogue Unity. Le concepteur détecte le format des fichiers dans le dossier et les charge dans une seule table :

• Pour les formats de fichiers structurés tels que CSV, JSON, Excel et Parquet, Le Concepteur lit tous les fichiers et combine leurs lignes dans une table.
• Pour les fichiers de document tels que les fichiers PDF, Le Concepteur lit chaque fichier sous la forme d’une seule ligne. Vous obtenez donc une ligne par fichier.

Glisser-déposer un fichier

Faites glisser un fichier sur le canvas depuis le navigateur de fichiers de l’espace de travail ou depuis votre appareil local pour créer automatiquement un opérateur Source. Pour les fichiers locaux, Designer téléverse une copie dans un volume du catalogue Unity pour que l’opérateur puisse la lire.

Commence une préparation visuelle des données à partir de fichiers

Pour commencer une nouvelle préparation de données visuelles à partir d’un ou plusieurs fichiers, ouvrez la page de préparation des données visuelles, cliquez sur la flèche déroulante à côté de Nouveau, sélectionnez Importer un fichier, puis sélectionnez En tant que source. Téléchargez un ou plusieurs fichiers CSV, JSON, Excel ou PDF. Designer crée une préparation visuelle des données avec un opérateur Source pour chaque fichier.

Créer une table à partir d’un fichier

Sélectionnez Create table à partir du fichier dans le volet De configuration source pour charger un fichier CSV ou Excel local et créer une table de catalogue Unity à partir de celle-ci. Utilisez cette option lorsque vous souhaitez que les données soient conservées en tant que table managée plutôt que stockées dans un volume. En outre, pour de grandes quantités de données, cela offre les meilleures performances. Les fichiers chargés sont soumis à la limite de taille de fichier de volume du catalogue Unity. Consultez Utiliser des fichiers dans les volumes de Unity Catalog.

Importer à partir de Google Drive

Pour importer un fichier à partir de Google Drive :

1. Dans le volet De configuration source, sélectionnez Importer à partir de Google Drive.
2. Sélectionnez une connexion existante au catalogue Unity qui a accès à Google Drive, ou sélectionnez Créer une connexion pour en créer une.
3. Indiquez l’URL du fichier.

Pour les besoins de connexion et les instructions de configuration, voir Ingérer les fichiers depuis Google Drive.

Import à partir de SharePoint

Pour importer un fichier à partir de SharePoint :

1. Dans le volet Configuration source, sélectionnez Importer à partir de SharePoint.
2. Sélectionnez une connexion existante au catalogue Unity qui a accès à votre site SharePoint, ou sélectionnez Créer une connexion pour en créer une.
3. Fournissez le lien de fichier direct.

Pour les besoins de connexion et les instructions de configuration, voir Ingérer les fichiers depuis SharePoint.

Ressources supplémentaires

• Tutoriel : Construis une préparation visuelle des données
• Opérateurs intégrés dans Lakeflow Designer