Note de publication en disponibilité générale d’Unity Catalog

25 août 2022

Unity Catalog est désormais en disponibilité générale sur Azure Databricks.

Cet article décrit Unity Catalog à la date de sa publication en disponibilité générale. Il se concentre principalement sur les fonctionnalités et mises à jour ajoutées à Unity Catalog depuis la préversion publique. Pour des informations actuelles sur Unity Catalog, consultez Qu’est-ce que Unity Catalog ?. Pour les notes de publication qui décrivent les mises à jour d’Unity Catalog depuis la disponibilité générale, consultez les notes de publication de la plateforme Azure Databricks et les notes de publication sur les versions et la compatibilité de Databricks Runtime.

Limites et quotas de ressources du metastore

Au 25 août 2022

• Votre compte Azure Databricks ne peut avoir qu’un seul metastore par région
• Un metastore peut avoir jusqu’à 1 000 catalogues.
• Un catalogue peut avoir jusqu’à 10 000 schémas.
• Un schéma peut avoir jusqu’à 10 000 tables.

Pour connaître les quotas de catalogue Unity actuels, consultez les limites des ressources.

Formats de stockage pris en charge et disponibles en disponibilité générale

Au 25 août 2022 :

• Toutes les tables Unity Catalog gérées stockent les données avec Delta Lake
• Les tables Unity Catalog externes et les emplacements externes prennent en charge Delta Lake, JSON, CSV, Avro, Parquet, ORC et les données de texte.

Pour connaître les formats de table pris en charge par le catalogue Unity actuels, consultez Les tables managées et externes.

Gérer les ressources Unity Catalog à partir de la console de compte

Utilisez l’interface utilisateur de la console de compte Azure Databricks pour :

• Gérer le cycle de vie du metastore (créer, mettre à jour, supprimer et afficher les metastores gérés par Unity Catalog)
• Attribuer et supprimer des metastores pour les espaces de travail

Types de cluster et versions Databricks Runtime prises en charge

Unity Catalog nécessite des clusters qui exécutent Databricks Runtime 11.1 ou une version ultérieure. Unity Catalog est pris en charge par défaut sur toutes les versions de calcul de l’entrepôt SQL.

Les versions antérieures de Databricks Runtime ont pris en charge les versions préliminaires d’Unity Catalog. Les clusters s’exécutant sur des versions antérieures de Databricks Runtime ne prennent pas en charge toutes les fonctionnalités et fonctionnalités d’Unity Catalog GA.

Unity Catalog nécessite l’un des modes d’accès suivants lorsque vous créez un cluster :

• Partagé
  • Langages : SQL ou Python
  • Cluster sécurisé qui peut être partagé par plusieurs utilisateurs. Les utilisateurs du cluster sont entièrement isolés afin qu’ils ne puissent pas voir les données et les informations d’identification des uns et des autres.
• Utilisateur unique
  • Langages : SQL, Scala, Python, R
  • Cluster sécurisé qui peut être utilisé exclusivement par un seul utilisateur spécifié.

Pour plus d’informations sur les modes d’accès au cluster, consultez modes d’accès.

Pour plus d’informations sur les fonctionnalités Unity Catalog mises à jour dans les versions ultérieures de Databricks Runtime, consultez les notes de publication de ces versions.

Tables du système

information_schema est entièrement pris en charge pour les ressources de données Unity Catalog. Chaque metastore inclut un catalogue appelé system qui comprend un information_schema à l’échelle du metastore. Consultez Schéma d’informations. Vous pouvez utiliser information_schema pour répondre à des questions telles que :

« Compter le nombre de tables par catalogue »

SELECT table_catalog, count(table_name)
FROM system.information_schema.tables
GROUP BY 1
ORDER by 2 DESC

« Afficher toutes les tables qui ont été modifiées au cours des dernières 24 heures »

SELECT table_name, table_owner, created_by, last_altered, last_altered_by, table_catalog
FROM system.information_schema.tables
WHERE  datediff(now(), last_altered) < 1

Prise en charge du streaming structuré

Les charges de travail Structured Streaming sont désormais prises en charge avec Unity Catalog. Pour plus d’informations et limitations, consultez Qu’est-ce que le catalogue Unity ?.

Fonctions SQL

Les fonctions SQL définies par l’utilisateur sont désormais entièrement prises en charge sur Unity Catalog. Pour savoir comment créer et utiliser des UDF SQL, consultez CREATE FUNCTION (SQL, Python, Scala et Java).

Syntaxe SQL pour les emplacements externes dans Unity Catalog

Les commandes standard de définition des données et du langage de définition de données sont désormais prises en charge dans Spark SQL pour les emplacements externes, notamment :

CREATE | DROP | ALTER | DESCRIBE | SHOW EXTERNAL LOCATION

Vous pouvez également gérer et afficher les autorisations avec GRANT, REVOKE et SHOW pour les emplacements externes avec SQL. Consultez Emplacements externes.

Exemple de syntaxe :

CREATE EXTERNAL LOCATION <your-location-name>
  URL `<your-location-path>'
  WITH (CREDENTIAL <your-credential-name>);

GRANT READ FILES, WRITE FILES, CREATE EXTERNAL TABLE ON EXTERNAL LOCATION `<your-location-name>`
  TO `finance`;

Limitations d’Unity Catalog lors de la disponibilité générale

Au 25 août 2022, Unity Catalog avait les limitations suivantes. Pour connaître les limitations actuelles, consultez Qu’est-ce que le catalogue Unity ?.

• Scala, R et les charges de travail utilisant le Runtime Machine Learning sont pris en charge uniquement sur les clusters utilisant le mode d’accès Utilisateur unique. Les charges de travail utilisant ces langages n’autorisent pas l’utilisation de vues dynamiques pour la sécurité au niveau des lignes ou des colonnes.

• Les clones superficiels ne sont pas pris en charge lorsque Unity Catalog est utilisé comme source ou cible du clone.

• Le compartimentage n’est pas pris en charge pour les tables Unity Catalog. Si vous exécutez des commandes qui tentent de créer une table compartimentée dans Unity Catalog, une exception sera levée.

• L’écriture dans le même chemin d’accès ou dans la même table Delta Lake à partir d’espaces de travail dans plusieurs régions peut entraîner des performances peu fiables si certains clusters accèdent à Unity Catalog et d’autres pas.

• Le mode de remplacement des opérations d’écriture DataFrame dans Unity Catalog est pris en charge pour les tables Delta, mais pas pour les autres formats de fichier. L’utilisateur doit disposer du privilège CREATE sur le schéma parent et doit être le propriétaire de l’objet existant.

• La diffusion en continu présente actuellement les limitations suivantes :

  • Elle n’est pas prise en charge dans les clusters qui utilisent le mode d’accès Partagé. Pour les charges de travail de diffusion en continu, vous devez utiliser le mode d’accès Utilisateur unique.
  • Les points de contrôle asynchrones ne sont pas encore pris en charge.
  • Dans Databricks Runtime version 11.2 et versions antérieures, les requêtes de streaming qui durent plus de 30 jours sur des clusters interactifs ou de tâches génèrent une exception. Pour les requêtes de streaming de longue durée, configurez la relance automatique des tâches ou utilisez Databricks Runtime 11.3 et versions ultérieures.

• Le référencement des tables Unity Catalog à partir de pipelines Spark Declarative Pipelines sur Lakeflow n’est actuellement pas pris en charge.

• Les groupes créés précédemment dans un espace de travail ne peuvent pas être utilisés dans les instructions GRANT du catalogue Unity. Cela permet d’obtenir une vue cohérente des groupes qui peuvent s’étendre sur plusieurs espaces de travail. Pour utiliser des groupes dans des instructions GRANT, créez vos groupes dans la console de compte et mettez à jour toute automatisation pour la gestion des principaux ou des groupes (par exemple, les connecteurs SCIM, Okta, Microsoft Entra ID et Terraform) pour référencer les points de terminaison du compte plutôt que ceux de l'espace de travail.

Régions de disponibilité Unity Catalog en disponibilité générale

Depuis le 25 août 2022, Unity Catalog était disponible dans les régions suivantes. Pour obtenir la liste des régions actuellement prises en charge, consultez Régions Azure Databricks.

• canadacentral
• centralus
• francecentral
• germanywestcentral
• japaneast
• norwayeast
• southafricanorth
• swedencentral
• switzerlandnorth
• switzerlandwest
• uaenorth
• westcentralus
• westus3
• australiaeast
• brazilsouth
• centralindia
• eastus
• eastus2
• koreacentral
• northcentralus
• northeurope
• southeastasia
• ukwest
• westeurope
• westus