Requisitos e limitações do Catálogo Unity

Esta página descreve os requisitos de computação, formatos de ficheiro suportados, restrições de nomeação e limitações conhecidas para o Unity Catalog.

Apoio regional

Todas as regiões suportam o Unity Catalog. Para obter detalhes, consulte Regiões do Azure Databricks.

Requisitos de computação

O Unity Catalog é suportado em clusters que executam o Databricks Runtime 11.3 LTS ou superior. O Unity Catalog é suportado por padrão em todas as versões de computação do SQL warehouse .

Os clusters executados em versões anteriores do Databricks Runtime não fornecem suporte para todos os recursos e funcionalidades do Unity Catalog GA.

Para acessar dados no Unity Catalog, os clusters devem ser configurados com o modo de acesso correto. O Unity Catalog é seguro por padrão. Se um cluster não estiver configurado com o modo de acesso padrão ou dedicado, o cluster não poderá acessar dados no Unity Catalog. Consulte Modos de acesso.

Para obter informações detalhadas sobre as alterações de funcionalidade do Unity Catalog em cada versão do Databricks Runtime, consulte as notas de versão.

Suporte a formatos de ficheiro

O Unity Catalog suporta os seguintes formatos de tabela:

• As tabelas geridas devem usar o formato de tabela delta ou iceberg.
• As tabelas externas podem usar delta, CSV, , JSONavro, parquetORC, ou text.

Requisitos de nomeação de objetos seguros

As limitações a seguir se aplicam a todos os nomes de objetos no Unity Catalog:

• Os nomes de objeto não podem exceder 255 caracteres.
• Não são permitidos os seguintes caracteres especiais:
  • Período (.)
  • Espaço ( )
  • Barra inclinada (/)
  • Todos os caracteres de controle ASCII (00-1F hex)
  • O caractere DELETE (7F hexadecimal)
• O Unity Catalog armazena todos os nomes de objetos em minúsculas.
• Ao fazer referência a nomes de UC em SQL, você deve usar backticks para escapar de nomes que contenham caracteres especiais, como hífenes (-).

Limitações

O Catálogo Unity tem as seguintes limitações. Alguns deles são específicos para versões mais antigas do Databricks Runtime e modos de acesso à computação.

As cargas de trabalho do Streaming estruturado têm limitações adicionais, dependendo do tempo de execução e do modo de acesso do Databricks. Consulte Requisitos e limitações de computação padrão e Requisitos e limitações de computação dedicada.

O Databricks lança uma nova funcionalidade que reduz essa lista regularmente.

• Os grupos que foram criados anteriormente num espaço de trabalho (ou seja, grupos ao nível do espaço de trabalho) não podem ser usados em instruções do Catálogo Unity GRANT. Isso é para garantir uma visão consistente de grupos que podem abranger vários espaços de trabalho. Para usar grupos em GRANT instruções, crie os seus grupos ao nível da conta e atualize qualquer automação para o gerenciamento de principais ou grupos, tal como os conectores SCIM, Okta, Microsoft Entra ID e Terraform, para fazer referência a endpoints de conta em vez de endpoints de espaço de trabalho. Consulte Fontes do grupo.
• As cargas de trabalho em R não suportam o uso de exibições dinâmicas para segurança em nível de linha ou coluna em computação executando o Databricks Runtime 15.3 e inferior.
  • Use um recurso de computação dedicado executando o Databricks Runtime 15.4 LTS ou superior para cargas de trabalho em R que consultam exibições dinâmicas. Essas cargas de trabalho também exigem um espaço de trabalho habilitado para computação sem servidor. Para obter detalhes, consulte Controle de acesso refinado em computação dedicada.
• Uma tabela gerida pode ser clonada de forma superficial para outra tabela gerida no Databricks Runtime 13.3 LTS ou versões posteriores. Uma tabela externa pode ser clonada de forma superficial para outra tabela externa no Databricks Runtime 14.2 ou superior. Uma tabela gerida não pode ser clonada superficialmente para uma tabela externa. Além disso, uma tabela externa não pode ser clonada superficialmente para uma tabela gerida. Para mais informações, consulte Clone Raso para tabelas do Catálogo Unity.
• Não há suporte para o agrupamento em buckets nas tabelas do Unity Catalog. Se forem executados comandos que tentem criar uma tabela dividida em blocos no Unity Catalog, será gerada uma exceção.
• Gravar no mesmo caminho ou na tabela Delta Lake a partir de espaços de trabalho em várias regiões pode resultar em um desempenho instável se alguns clusters acessarem o Unity Catalog e outros não.
• A manipulação de partições para tabelas externas usando comandos como ALTER TABLE ADD PARTITION requer que o registro de metadados de partição seja habilitado. Veja Descoberta de partições para tabelas externas.
• Ao usar o modo de substituição para tabelas que não estão no formato Delta, o usuário deve ter o privilégio CREATE TABLE no esquema pai e deve ser o proprietário do objeto existente OU ter o privilégio MODIFY no objeto.
• UDFs Python não são suportados no Databricks Runtime 12.2 LTS e inferior. Isso inclui UDAFs, UDTFs e Pandas no Spark (applyInPandas e mapInPandas). UDFs escalares Python são suportados no Databricks Runtime versão 13.3 LTS e versões superiores.
• As Scala UDFs não são suportadas no Databricks Runtime 14.1 e anteriores em computação com modo de acesso padrão. UDFs escalares são suportados no Databricks Runtime 14.2 e superior na computação com modo de acesso padrão.
• Os pools de threads padrão do Scala não são suportados. Em vez disso, use os pools de threads especiais em org.apache.spark.util.ThreadUtils, por exemplo, org.apache.spark.util.ThreadUtils.newDaemonFixedThreadPool. No entanto, os pools de threads em ThreadUtils seguintes não são suportados: ThreadUtils.newForkJoinPool e qualquer pool de threads ScheduledExecutorService.

• Os logs de diagnóstico do Azure registram apenas eventos do Catálogo Unity no nível do espaço de trabalho. Para exibir ações no nível da conta, você deve usar a tabela do sistema de log de auditoria. Consulte a referência da tabela do sistema de registo de auditoria.

Os modelos registrados no Catálogo Unity têm limitações adicionais. Consulte Limitações.

Quotas de recursos

O Unity Catalog impõe quotas de recursos em todos os objetos que podem ser protegidos. Essas cotas estão listadas em Limites de recursos. Se você espera exceder esses limites de recursos, entre em contato com sua equipe de conta do Azure Databricks.

Você pode monitorar o uso da cota usando as APIs de cotas de recursos do Unity Catalog. Consulte Monitorar o uso das cotas de recursos do Unity Catalog.