Qu'est-ce qu'un lakehouse dans Microsoft Fabric ?

Une maison de lac dans Fabric combine la scalabilité d’un lac de données avec les capacités d’interrogation d’un entrepôt. Vous stockez des données structurées et non structurées dans un emplacement unique, les gérez avec Delta Lake et les analysez avec Apache Spark et SQL, sans déplacer de données entre les systèmes. Avec les raccourcis dans OneLake et le partage de données interlocataires, vous pouvez également accéder aux données gouvernées provenant de sources externes et d’autres organisations sans duplication.

Un lac vous donne :

• Une copie des données pour les charges de travail d’ingénierie et d’analytique des données
• Format Delta Lake pour les transactions ACID, l’application des schémas et les déplacements temporels
• Accès Spark et SQL de sorte que les ingénieurs-données utilisent des notebooks, alors que les analystes utilisent T-SQL
• Intégration intégrée avec Power BI, les pipelines, les flux de données et d'autres éléments Fabric

Lakehouse vs. entrepôt

Les principales différences entre une maison lacustre et un entrepôt dans Fabric résident dans vos outils de développement préférés, vos types de données et vos schémas de charge de travail. Les deux partagent le même moteur SQL et stockent les données au format Delta sur OneLake, mais elles sont conçues pour différents scénarios :

Vous pouvez utiliser les deux dans le même espace de travail, par exemple, atterrir et transformer des données dans un lakehouse avec Spark, puis exposer des jeux de données organisés à un entrepôt pour la création de rapports SQL. Pour des conseils détaillés, voir Choisir entre entrepôt et maison au lac.

Utiliser des données lakehouse

Vous pouvez charger, transformer et interroger des données dans un lakehouse via plusieurs outils Fabric :

• Raccourcis dans OneLake — Accédez aux données provenant de sources externes (y compris d’autres locataires via le partage de données entre locataires) sans les copier dans la maison du lac. Les raccourcis fournissent des références actives et en lecture seule aux données opérationnelles et analytiques dans OneLake. Voir les raccourcis dans OneLake.

• Explorateur Lakehouse : parcourez les tables et les fichiers, chargez des données et gérez les métadonnées directement dans le navigateur. Vous pouvez basculer entre la vue tabulaire et la vue fichier et ajouter plusieurs lakehouses à l'explorateur. Voir Naviguer l’explorateur de la maison du lac.

  

• Explorateur de requêtes Spark SQL : exécutez des requêtes Spark SQL directement à l’intérieur de l’explorateur Lakehouse sans quitter votre contexte de travail. L’Explorateur de requêtes prend en charge IntelliSense, les onglets dynamiques, les requêtes interschéma et inter-lakehouse, la visualisation de graphiques en ligne et la création de vues. Consultez les données de requête avec l’Explorateur de requêtes Spark SQL.

• Notebooks : écrire du code Spark (Python, Scala, SQL, R) pour lire, transformer et écrire des données dans des tables et dossiers lakehouse. Consultez Explorer les données avec un bloc-notes et charger des données avec un bloc-notes.

• Pipelines : utilisez l’activité de copie et d’autres outils d’intégration de données pour extraire des données depuis des sources externes vers le lakehouse. Consultez Copier des données à l’aide de l’activité de copie.

• Spark job definitions : exécutez des applications Spark compilées dans Java, Scala ou Python pour l’ETL de niveau production. Voir Qu’est-ce qu’une définition de travail Apache Spark ?.

• Dataflows Gen 2 : ingérer et préparer des données avec une interface visuelle à faible code. Consultez Créer votre premier dataflow.

Pour une comparaison complète des options d’ingestion, voir Options pour transférer des données dans la maison du lac.

Analysez vos données lakehouse avec le moteur de votre choix

Le ruban lakehouse comprend une liste déroulante Analyser les données avec qui vous permet d’ouvrir vos données dans différentes expériences d’analyse directement à partir du lakehouse :

Pour plus de détails sur chaque option et où trouver le menu déroulant, voir Naviguer dans l’explorateur de la maison du lac.

Point de terminaison d'analyse SQL pour Lakehouse

Lorsque vous créez un lac de données, Fabric génère automatiquement un point de terminaison analytique SQL. Ce point de terminaison vous permet de :

• Interroger des tables Delta avec T-SQL : utilisez une syntaxe SQL familière sans configurer un entrepôt distinct.
• Connectez Power BI directement : créez un modèle sémantique Power BI pour générer des rapports sur vos données de lakehouse.
• Partager l’accès en lecture seule : les analystes et les générateurs de rapports peuvent interroger les données sans affecter les charges de travail Spark.

Le point d’accès SQL Analytics est en lecture seule et ne prend pas en charge toute la surface T-SQL d’un entrepôt. Utilisez-le pour les requêtes d’exploration, de création de rapports et les requêtes ponctuelles.

Détection et inscription automatiques des tables

Un lakehouse organise les données en deux dossiers de niveau supérieur : les tables pour les tables Delta gérées et les fichiers pour les données non structurées ou non delta. Lorsque vous placez un fichier dans le dossier Tables, Fabric le fait automatiquement :

• Valide le fichier par rapport aux formats pris en charge (actuellement les tables Delta uniquement).
• Extrait les métadonnées : noms de colonnes, types de données, compression et partitionnement.
• Inscrit la table dans le metastore pour pouvoir l’interroger immédiatement avec Spark SQL ou T-SQL.

Cette expérience de fichier à table managée signifie que vous n’avez pas besoin d’écrire des instructions manuellement pour les données que vous déposez dans la zone gérée.

Multitâche avec lakehouse

Le lakehouse utilise une conception d’onglet de navigateur qui vous permet d’ouvrir et de basculer entre plusieurs éléments sans perdre votre place :

• Conservez les opérations en cours d’exécution : Les chargements et chargements de données continuent à s’exécuter lorsque vous basculez vers un autre onglet.

• Conservez votre contexte : Les tables, fichiers et objets sélectionnés restent ouverts lorsque vous naviguez entre les onglets.

• Rechargement de liste non bloquante : La liste des fichiers et des tables s’actualise en arrière-plan sans bloquer votre travail.

• Notifications délimitées : Les notifications de type toast identifient les lakehouses dont ils proviennent, afin de pouvoir suivre les mises à jour entre les onglets.

Conception d'une maison au bord du lac accessible

Le lakehouse prend en charge les technologies d’assistance et les modèles d’interaction accessibles :

• Compatibilité du lecteur d’écran : Fonctionne avec les lecteurs d’écran populaires pour la navigation et l’interaction.
• Texte de remplacement pour les images : Toutes les images incluent du texte de remplacement descriptif.
• Champs de formulaire étiquetés : Tous les champs de formulaire ont des étiquettes associées pour les utilisateurs du lecteur d’écran et du clavier.
• Redistribution de texte : Disposition réactive qui s’adapte à différentes tailles d’écran et orientations.
• Navigation au clavier : Prise en charge complète du clavier pour naviguer dans le Lakehouse sans utiliser la souris.

Contenu connexe

• Créez une maison au bord du lac à Fabric
• Options pour transférer des données dans la maison du lac
• lakehouse SQL analytics endpoint
• Interroger des données avec l’Explorateur de requêtes Spark SQL
• Explorer les données avec un carnet de notes lakehouse
• Choisissez entre entrepôt et maison au lac
• Récupérer des fichiers supprimés dans OneLake