Nota sobre a versão de GA do Catálogo do Unity

25 de agosto de 2022

O Catálogo do Unity agora está em disponibilidade geral no Azure Databricks.

Este artigo descreve o Unity Catalog na data de sua disponibilização geral. Ele se concentra principalmente nos recursos e atualizações adicionados ao Catálogo do Unity desde a Visualização Pública. Para saber mais sobre o Catálogo do Unity, confira O que é o Catálogo do Unity?. Para consultar as notas de versão que descrevem as atualizações do Unity Catalog desde a disponibilidade geral (GA), veja notas de versão da plataforma do Azure Databricks e notas de versão do Databricks Runtime: versões e compatibilidade.

Limites de metastore e cotas de recursos

Até 25 de agosto de 2022

• Sua conta do Azure Databricks pode ter apenas um metastore por região
• Um metastore pode ter até 1.000 catálogos.
• Um catálogo pode ter até 10.000 esquemas.
• Um Esquema pode ter até 10.000 tabelas.

Para cotas atuais do Catálogo do Unity, consulte os limites de recursos.

Formatos de armazenamento com suporte em GA

Até 25 de agosto de 2022:

• Todas as tabelas gerenciadas do Catálogo do Unity armazenam dados com o Delta Lake
• As tabelas externas do Unity Catalog e as localizações externas suportam Delta Lake, JSON, CSV, Avro, Parquet, ORC e dados textuais.

Para ver os formatos de tabela compatíveis com o Catálogo do Unity atual, consulte tabelas gerenciadas e externas.

Gerenciar recursos do Catálogo do Unity no console de contas

Use a interface do usuário do console de contas do Azure Databricks para:

• Gerenciar o ciclo de vida do metastore (criar, atualizar, excluir e exibir metastores gerenciados pelo Catálogo do Unity)
• Atribuir e remover metastores para workspaces

Tipos de cluster com suporte e versões do Databricks Runtime

O Catálogo do Unity requer clusters que executem o Databricks Runtime 11.1 ou superior. O Unity Catalog é compatível por padrão com todas as versões de computação do SQL warehouse.

As versões anteriores do Databricks Runtime davam suporte a versões prévias do Catálogo do Unity. Os clusters executados em versões anteriores do Databricks Runtime não oferecem suporte a todos os recursos e funcionalidades de disponibilidade geral do Unity Catalog.

O Catálogo do Unity exigirá um dos seguintes modos de acesso quando você cria um cluster:

• Compartilhado
  • Linguagens: SQL ou Python
  • Um cluster seguro que pode ser compartilhado por vários usuários. Os usuários do cluster são totalmente isolados para que não possam ver os dados e as credenciais uns dos outros.
• Um usuário
  • Linguagens: SQL, Scala, Python, R
  • Um cluster seguro que pode ser usado exclusivamente por um único usuário especificado.

Para obter mais informações sobre os modos de acesso do cluster, confira os modos de acesso.

Para obter informações sobre as funcionalidades atualizadas do Unity Catalog em versões posteriores do Databricks Runtime, consulte as notas da versão dessas versões.

Tabelas do sistema

information_schema tem suporte completo para ativos de dados do Unity Catalog. Cada metastore inclui um catálogo conhecido como system que inclui um metastore com escopo information_schema. Consulte Esquema de informações. Você pode usar information_schema para responder perguntas como as seguintes:

“Contar o número de tabelas por catálogo”

SELECT table_catalog, count(table_name)
FROM system.information_schema.tables
GROUP BY 1
ORDER by 2 DESC

"Mostre todas as tabelas que foram alteradas nas últimas 24 horas"

SELECT table_name, table_owner, created_by, last_altered, last_altered_by, table_catalog
FROM system.information_schema.tables
WHERE  datediff(now(), last_altered) < 1

Suporte ao streaming estruturado

Agora há suporte para cargas de trabalho de streaming estruturadas com o Catálogo do Unity. Para obter detalhes e limitações, consulte o que é o Catálogo do Unity?.

Funções do SQL

As funções SQL definidas pelo usuário agora têm suporte no Catálogo do Unity. Para obter informações sobre como criar e usar UDFs do SQL, consulte CREATE FUNCTION (SQL, Python, Scala e Java).

Sintaxe SQL para locais externos no Catálogo do Unity

Agora há suporte no Spark SQL a comandos padrão de definição de dados (DDL) para locais externos, incluindo os seguintes:

CREATE | DROP | ALTER | DESCRIBE | SHOW EXTERNAL LOCATION

Também é possível gerenciar e exibir permissões com GRANT, REVOKE e SHOW para locais externos com SQL. Confira Localizações externas.

Exemplo de sintaxe:

CREATE EXTERNAL LOCATION <your-location-name>
  URL `<your-location-path>'
  WITH (CREDENTIAL <your-credential-name>);

GRANT READ FILES, WRITE FILES, CREATE EXTERNAL TABLE ON EXTERNAL LOCATION `<your-location-name>`
  TO `finance`;

Limitações do Unity Catalog na disponibilidade geral

Até 25 de agosto de 2022, o Catálogo do Unity tinha as seguintes limitações. Para ver as limitações atuais, consulte O que é Unity Catalog?.

• A Escala, R e as cargas de trabalho usando o Machine Learning Runtime têm suporte apenas em clusters usando o modo de acesso único do usuário. As cargas de trabalho nessas linguagens não oferecem suporte ao uso de exibições dinâmicas para segurança em nível de linha ou de coluna.

• Não há suporte para clones superficiais ao usar o Catálogo do Unity como origem ou destino do clone.

• A bucketização não é compatível com tabelas do Unity Catalog. Se você executar comandos que tentem criar uma tabela em bucket no Catálogo do Unity, uma exceção será gerada.

• A gravação no mesmo caminho ou na tabela Delta Lake de workspaces em várias regiões pode resultar em um desempenho não confiável se alguns clusters acessarem o Catálogo do Unity e outros não.

• O modo Substituir para operações de gravação de DataFrame no Catálogo do Unity tem suporte apenas para tabelas Delta, não para outros formatos do arquivo. O usuário deve ter o privilégio CREATE no esquema pai e deve ser o proprietário do objeto existente.

• Atualmente, o streaming tem as seguintes limitações:

  • Não há suporte em clusters usando o modo de acesso compartilhado. Em cargas de trabalho de streaming, você deve usar o modo de acesso único do usuário.
  • Ainda não há suporte para o ponto de verificação assíncrono.
  • No Databricks Runtime versão 11.2 e inferiores, as consultas de fluxo que duram mais de 30 dias em clusters de trabalho ou para todas as finalidades gerarão uma exceção. Para consultas de fluxo de execução prolongada, configure repetições automáticas de trabalho ou use o Databricks Runtime 11.3 e versões superiores.

• No momento, não há suporte para referenciar tabelas do Unity Catalog a partir do Spark Declarative Pipelines no Lakeflow.

• Grupos criados anteriormente em um workspace não podem ser usados em instruções GRANT do Catálogo do Unity. Isto é para garantir uma visualização consistente dos grupos que podem abranger vários espaços de trabalho. Para usar grupos em instruções GRANT, crie seus grupos no console da conta e atualize qualquer automação para gerenciamento de entidades de segurança ou grupos (como conectores SCIM, Okta e Microsoft Entra ID e Terraform) para fazer referência a pontos de extremidade de conta em vez de pontos de extremidade de workspace.

Regiões de disponibilidade do Catálogo do Unity na GA

Até 25 de agosto de 2022, o Catálogo do Unity estava disponível nas seguintes regiões. Para ver a lista das regiões com suporte no momento, confira Regiões com do Azure Databricks.

• canadacentral
• centralus
• francecentral
• germanywestcentral
• japaneast
• norwayeast
• southafricanorth
• swedencentral
• switzerlandnorth
• switzerlandwest
• uaenorth
• westcentralus
• westus3
• australiaeast
• brazilsouth
• centralindia
• eastus
• eastus2
• koreacentral
• northcentralus
• northeurope
• southeastasia
• ukwest
• westeurope
• westus