Raccourcis OneLake

Les raccourcis dans Microsoft OneLake unifient vos données entre domaines, clouds et comptes en rendant OneLake le lac de données virtuel unique pour toute votre entreprise. Les expériences Fabric et les moteurs analytiques peuvent se connecter à vos sources de données existantes, notamment Azure, Amazon Web Services (AWS) et OneLake via un espace de noms unifié. OneLake gère toutes les autorisations et informations d'identification. Vous n'avez donc pas besoin de configurer séparément chaque charge de travail Fabric pour vous connecter à chaque source de données. En outre, vous pouvez utiliser des raccourcis pour éliminer les copies de périphérie des données et réduire la latence de processus associée aux copies de données et à la préproduction. Les raccourcis conservent également la synchronisation avec les données sources, notamment les mises à jour automatiques du schéma pour les tables de raccourcis.

Que sont les raccourcis ?

Les raccourcis sont des objets dans OneLake qui pointent vers d’autres emplacements de stockage. L’emplacement peut être interne ou externe à OneLake. L’emplacement vers lequel pointe un raccourci est le chemin cible du raccourci. L’emplacement où le raccourci s’affiche est le chemin de raccourci.

Les raccourcis apparaissent sous forme de dossiers dans OneLake et toute expérience ou service qui a accès à OneLake peut les utiliser. Les raccourcis se comportent comme des liens symboliques. Il s’agit d’un objet indépendant de la cible. Si vous supprimez un raccourci, la cible reste inchangée. Si vous déplacez, renommez ou supprimez un chemin cible, le raccourci peut ne plus fonctionner.

Où puis-je créer des raccourcis ?

Vous pouvez créer des raccourcis dans des bases de données KQL (Lakehouses et Kusto Query Language).

Vous pouvez utiliser le portail Fabric pour créer des raccourcis de manière interactive et utiliser l’API REST pour créer des raccourcis par programmation.

Lakehouse

Lorsque vous créez des raccourcis dans un lakehouse, vous devez comprendre la structure de dossiers de l’élément. Lakehouses possède deux dossiers de niveau supérieur : le dossier Tables et le dossier Fichiers . Le dossier tables concerne les jeux de données structurés. Le dossier fichiers concerne les données non structurées ou semi-structurées.

Dans le dossier Tables , vous pouvez créer des raccourcis uniquement au niveau supérieur. OneLake ne prend pas en charge les raccourcis dans les sous-répertoires du dossier Tables . Les raccourcis de la section Tables pointent généralement vers des sources internes dans OneLake ou un lien vers d’autres ressources de données conformes au format de table Delta. Si la cible du raccourci contient des données dans un format de table pris en charge (par exemple, Delta), le lakehouse synchronise automatiquement les métadonnées de la table et reconnaît le dossier en tant que table.

Les schémas de table sont synchronisés automatiquement pour toutes les tables de raccourcis, y compris les tables nouvelles et existantes. Cette synchronisation garantit que les modifications de schéma dans la source sont reflétées dans le raccourci sans nécessiter de mises à jour manuelles. Les raccourcis de la section Tables peuvent lier à une seule table ou à un schéma, qui est un dossier parent pour plusieurs tables.

Dans le dossier fichiers, il n’existe aucune restriction sur l’emplacement où vous pouvez créer des raccourcis. Vous pouvez créer des raccourcis à n’importe quel niveau de la hiérarchie de dossiers. La découverte de tables ne se produit pas dans le dossier fichiers. Les raccourcis ici peuvent pointer vers des systèmes de stockage OneLake internes et externes avec des données dans n’importe quel format.

Base de données KQL

Lorsque vous créez un raccourci dans une base de données KQL, il apparaît dans le dossier Raccourcis de la base de données. La base de données KQL traite les raccourcis comme des tables externes. Pour interroger le raccourci, utilisez la fonction external_table du Langage de requête Kusto.

Raccourcis de base de données Eventhouse

Lorsque vous créez un raccourci de base de données dans un eventhouse, vous pouvez choisir d’inclure tous les sous-éléments de la base de données source ou de sélectionner des sous-éléments spécifiques à partager. Cette fonctionnalité de partage au niveau de la table permet un partage de données sécurisé et contrôlé sans exposer des bases de données entières.

Sélectionner des sous-éléments spécifiques

Lors de la création d’un raccourci de base de données, vous pouvez sélectionner parmi les types sous-éléments suivants :

• Tables : tables régulières de la base de données source
• Tables de raccourcis - Tables qui sont elles-mêmes des raccourcis
• Vues matérialisées - Vues précomputées pour les requêtes optimisées
• Fonctions - Fonctions stockées pour la logique de requête réutilisable

Pour sélectionner des sous-éléments spécifiques :

1. Dans un eventhouse, sélectionnez + Nouveau>Raccourci de base de données.
2. Choisissez une méthode pour identifier la base de données source :
   • Catalogue OneLake - Parcourir et sélectionner une base de données dans Fabric.
   • URI de cluster : entrez manuellement un URI de cluster et un nom de base de données Azure Data Explorer.
   • Jeton d’invitation : collez un jeton émis par le producteur de données. La sélection du sous-élément est prédéfinie par le producteur.
3. Dans la section Sous-éléments à inclure , sélectionnez Inclure tous les sous-éléments (par défaut) ou Sélectionnez des sous-éléments spécifiques.
4. Si vous sélectionnez des sous-éléments spécifiques, utilisez le sélecteur inline pour filtrer par type et rechercher par nom.
5. Sélectionnez Créer pour créer le raccourci.

Synchronisation automatique du schéma

Il existe deux types de synchronisation automatique de schéma pour les raccourcis de bases de données Eventhouse :

• Synchronisation automatique du schéma pour le raccourci de la base de données : Ajoute ou supprime des tables, des tableaux de raccourcis, des vues matérialisées et des fonctions. Cette synchronisation ne se produit que lorsque vous créez un raccourci de base de données et sélectionnez Inclure tous les sous-éléments. Si vous sélectionnez seulement un sous-ensemble des sous-éléments, cette synchronisation ne s’applique pas.
• Synchronisation automatique du schéma pour une table de raccourcis : Ajoute, supprime ou renomme des colonnes, et modifie les types de colonnes. Cette synchronisation se produit par défaut pour toutes les tables de raccourcis, sauf si vous la désactivez avec la commande KQL dans l’exemple suivant.

Les consommateurs d’un partage au niveau table peuvent uniquement interroger et afficher des sous-éléments explicitement inclus dans le partage. Les noms des sous-éléments non partagés ne sont pas visibles par les consommateurs.

Pour désactiver la synchronisation automatique du schéma pour une table de raccourcis, exécutez la commande suivante dans la base de données source :

.create-or-alter external table ExternalTable
kind=delta
(
   h@'https://storageaccount.blob.core.windows.net/container1;secretKey'
) with (AutoUpdateSchema=false)

Dépendances des sous-éléments

Lorsque vous sélectionnez des sous-éléments, le système gère automatiquement les dépendances :

• Lorsque vous sélectionnez une vue ou une fonction matérialisée, les tables référencées sont automatiquement sélectionnées.
• Lorsque vous désélectionnez une vue ou une fonction matérialisée, les tables référencées restent sélectionnées.
• Lorsque vous désélectionnez une table, toutes les vues ou fonctions matérialisées qui en dépendent sont automatiquement désélectionnées.

Où puis-je accéder à mes raccourcis ?

Tout service Fabric ou non Fabric qui peut accéder aux données dans OneLake peut utiliser des raccourcis. Les raccourcis sont transparents pour tout service accédant aux données via l’API OneLake. Les raccourcis apparaissent simplement sous la forme d’un autre dossier dans le lac. Apache Spark, SQL, Real-Time Intelligence et Analysis Services peuvent tous utiliser des raccourcis pour l’interrogation des données.

Apache Spark

Les notebooks Apache Spark et les tâches Apache Spark peuvent utiliser les raccourcis que vous créez dans OneLake. Utilisez des chemins de fichier relatifs pour lire les données directement à partir de raccourcis. En outre, si vous créez un raccourci dans la section Tables du lakehouse et qu’il est au format Delta, vous pouvez le lire en tant que table managée à l’aide de la syntaxe SQL Apache Spark.

df = spark.read.format("delta").load("Tables/MyShortcut")
display(df)

df = spark.sql("SELECT * FROM MyLakehouse.MyShortcut LIMIT 1000")
display(df)

SQL

Vous pouvez lire des raccourcis dans la section Tables d’un lakehouse via le point de terminaison d’analytique SQL pour le lakehouse. Vous pouvez accéder au point de terminaison d’analyse SQL via le sélecteur de mode du lakehouse ou via SQL Server Management Studio (SSMS).

SELECT TOP (100) *
FROM [MyLakehouse].[dbo].[MyShortcut]

Informations en temps réel

Les raccourcis dans les bases de données KQL sont reconnus comme des tables externes. Pour interroger le raccourci, utilisez la fonction external_table du Langage de requête Kusto.

external_table('MyShortcut')
| take 100

Services d'Analyse

Vous pouvez créer des modèles sémantiques pour les lakehouses contenant des raccourcis dans la section Tables du lakehouse. Quand le modèle sémantique s’exécute en mode Direct Lake, Analysis Services peut lire les données directement à partir du raccourci.

Services non Fabric

Les applications et services en dehors de Fabric peuvent également accéder aux raccourcis via l’API OneLake. OneLake prend en charge un sous-ensemble des API de stockage ADLS Gen2 et Blob. Pour en savoir plus sur l’API OneLake, consultez l’accès OneLake avec les API.

https://onelake.dfs.fabric.microsoft.com/MyWorkspace/MyLakhouse/Tables/MyShortcut/MyFile.csv

Types de raccourcis

Les raccourcis dans OneLake prennent en charge plusieurs sources de données de système de fichiers. Ces sources incluent des emplacements OneLake internes et des sources externes ou non Microsoft.

Vous pouvez également créer des raccourcis vers des emplacements locaux ou restreints au réseau à l’aide de la passerelle de données locale Fabric (OPDG).

Raccourcis OneLake internes

Utilisez des raccourcis OneLake internes pour référencer des données dans des éléments de Fabric existants, notamment :

• Bases de données KQL
• Maisons au bord du lac
• Catalogues de Azure Databricks mis en miroir
• Bases de données en miroir
• Modèles sémantiques
• Bases de données SQL
• Entrepôts

Pour obtenir des instructions sur la création d’un raccourci interne, consultez Créer un raccourci OneLake interne.

Le raccourci peut pointer vers un emplacement de dossier dans le même élément, entre des éléments du même espace de travail ou même entre des éléments dans des espaces de travail différents. Lorsque vous créez un raccourci entre les éléments, les types d’éléments n’ont pas besoin de correspondre. Par exemple, vous pouvez créer un raccourci dans un lakehouse pointant vers des données dans un warehouse.

Lorsqu’un utilisateur accède à des données à partir d’un autre emplacement OneLake via un raccourci, OneLake utilise l’identité de l’utilisateur appelant pour autoriser l’accès aux données. Cet utilisateur doit disposer d’autorisations à l’emplacement cible pour lire les données.

Raccourcis OneLake externes

Pour obtenir des instructions détaillées pour créer un type de raccourci spécifique, sélectionnez un article dans cette liste de sources externes prises en charge :

• Raccourcis Amazon S3
• Raccourcis compatibles Amazon S3
• Azure Data Lake Storage (ADLS) Gen 2 Raccourcis
• raccourcis Stockage Blob Azure
• Raccourcis Dataverse
• Raccourcis de Google Cloud Storage
• Raccourcis d'Iceberg
• raccourcis OneDrive et SharePoint

Mise en cache

La mise en cache des raccourcis peut réduire les coûts de sortie associés à l’accès aux données entre les clouds. Lorsque OneLake lit les fichiers via un raccourci externe, le service stocke les fichiers dans un cache pour l’espace de travail Fabric. OneLake répond aux demandes de lecture suivantes à partir du cache plutôt qu’au fournisseur de stockage distant. Vous pouvez définir la période de rétention des fichiers mis en cache entre 1 et 28 jours. Chaque fois que vous accédez au fichier, la période de rétention est réinitialisée. Si le stockage distant fournit une version plus récente du fichier que la version du cache, OneLake répond à la demande du fournisseur de stockage distant et met à jour le fichier dans le cache. Si vous n’accédez pas à un fichier au cours de la période de rétention sélectionnée, il est vidé du cache. Les fichiers individuels supérieurs à 1 Go de taille ne sont pas mis en cache.

Pour activer la mise en cache des raccourcis, ouvrez le panneau paramètres de l’espace de travail . Choisissez l’onglet OneLake . Basculez le paramètre de cache sur Activé et sélectionnez la période de rétention.

Vous pouvez effacer le cache à tout moment. Dans la même page de paramètres, sélectionnez le bouton Réinitialiser le cache . Cette action supprime tous les fichiers du cache de raccourcis dans cet espace de travail.

Comment les raccourcis utilisent les connexions cloud

Les raccourcis ADLS et S3 délèguent l’autorisation à l’aide de connexions cloud. Lorsque vous créez un raccourci ADLS ou S3, vous créez une connexion ou sélectionnez une connexion existante pour la source de données. La définition d’une connexion pour un raccourci est une opération de liaison. Seuls les utilisateurs disposant d’une autorisation sur la connexion peuvent effectuer l’opération de liaison. Si vous n’avez pas d’autorisation sur la connexion, vous ne pouvez pas créer de raccourcis à l’aide de cette connexion.

Pour plus d’informations sur l’affichage et la mise à jour des connexions cloud, consultez Gérer les connexions pour les raccourcis.

Sécurité des raccourcis

Les raccourcis nécessitent certaines autorisations pour pouvoir les gérer et les utiliser. La sécurité des raccourcis OneLake explique les autorisations dont vous avez besoin pour créer des raccourcis et accéder aux données via celles-ci.

Comment les raccourcis gèrent-ils les suppressions ?

Les raccourcis ne prennent pas en charge les suppressions en cascade. Lorsque vous supprimez un raccourci, vous supprimez uniquement l’objet de raccourci. Les données de la cible de raccourci restent inchangées. Toutefois, si vous supprimez un fichier ou un dossier dans un raccourci et que vous disposez d’autorisations dans la cible de raccourci pour effectuer l’opération de suppression, vous supprimez également le fichier ou le dossier dans la cible.

Par exemple, considérez un lakehouse avec le chemin d’accès suivant : MyLakehouse\Files\MyShortcut\Foo\Bar. MyShortcut est un raccourci qui pointe vers un compte ADLS Gen2 qui contient les répertoires Foo\Bar .

Si vous supprimez MyLakehouse\Files\MyShortcut, vous supprimez le raccourci MyShortcut de la lakehouse, mais les fichiers et répertoires du compte ADLS Gen2 Foo\Bar ne sont pas affectés.

Si vous supprimez MyLakehouse\Files\MyShortcut\Foo\Bar et que vous disposez d’autorisations d’écriture dans le compte ADLS Gen2, vous supprimez le répertoire Bar du compte ADLS Gen2.

Prenons un autre exemple : un lakehouse prenant en charge les schémas et contenant le chemin suivant : MyLakehouse\Tables\MySchemaShortcut\Dir1. MySchemaShortcut est un raccourci de schéma qui pointe vers un compte ADLS Gen2 qui contient le répertoire Dir1 .

Si vous supprimez MyLakehouse\Tables\MySchemaShortcut, vous supprimez le raccourci de schéma MySchemaShortcut à partir du lakehouse, mais les fichiers et répertoires du compte ADLS Gen2 Dir1 ne sont pas affectés.

Si vous supprimez MyLakehouse\Tables\MySchemaShortcut\Dir1et que vous disposez d’autorisations d’écriture dans le compte ADLS Gen2, vous supprimez le répertoire Dir1 du compte ADLS Gen2.

Affichage du lignage de l’espace de travail

Lorsque vous créez des raccourcis entre plusieurs éléments Fabric au sein d’un espace de travail, vous pouvez visualiser les relations de raccourci via la vue traçabilité de l’espace de travail. Sélectionnez le bouton Vue de traçabilité ( ) dans le coin supérieur droit de l’explorateur d’espaces de travail.

Limitations et considérations

• Chaque élément Fabric prend en charge jusqu’à 100 000 raccourcis. Dans ce contexte, le terme élément fait référence à des applications, des lakehouses, des entrepôts, des rapports, etc.
• Un seul chemin OneLake prend en charge jusqu’à 10 raccourcis.
• Le nombre maximal de raccourcis directs vers les liens de raccourcis est de 5.
• Les noms de raccourci, les chemins d’accès parents et les chemins cibles ne peuvent pas contenir de caractères «%» ou « + ».
• Les raccourcis ne prennent pas en charge les caractères non latins.
• La traçabilité des raccourcis vers les entrepôts et les modèles sémantiques n’est actuellement pas disponible.
• Un raccourci Fabric se synchronise automatiquement avec la source. Les mises à jour de schéma et de métadonnées sont appliquées sans intervention manuelle, mais le temps de propagation peut varier en raison des performances de la source de données, des vues mises en cache ou de la connectivité réseau.
• L’API Table peut prendre jusqu’à une minute pour reconnaître de nouveaux raccourcis.
• Les raccourcis de schéma ne peuvent être créés que dans les lakehouses compatibles avec le schéma.

Contenu connexe

• Créer un raccourci OneLake
• Déplacez les raccourcis vers une nouvelle région
• Utiliser les API REST Raccourcis OneLake