Segredos externos no Unity Catalog

Segredos externos conectam um esquema do Unity Catalog a um gerenciador de segredos externo. Em vez do Azure Databricks armazenar os valores secretos, os segredos permanecem no seu gerenciador de segredos na nuvem e aparecem no Unity Catalog como objetos protegidos que você pode governar e referenciar.

• Para uma introdução aos segredos do Unity Catalog e aos segredos que o Azure Databricks armazena e gerencia para você, veja Segredos no Unity Catalog.
• Para respaldar um esquema com um gerenciador de segredos externo, veja Configurar segredos externos no Unity Catalog.

Como funcionam segredos externos

Você configura o back-end secreto por esquema. Por padrão, o Azure Databricks armazena e gerencia todos os segredos em um esquema, a menos que um gerenciador externo de segredos faça backup. Um esquema não pode misturar os dois.

Quando um esquema é respaldado por um gerenciador de segredos externo, o Azure Databricks faz o seguinte:

• Revela os segredos que a conexão pode listar: Todo segredo que a conexão pode listar aparece como um segredo do Unity Catalog no Catalog Explorer, dbutils, e na API REST do Unity Catalog. Restrições de nomeação se aplicam. Veja Restrições de nome.
• Lê valores sob demanda: Azure Databricks não armazena o valor secreto no Unity Catalog. Cada recuperação lê o valor atual diretamente do gerenciador externo de segredos, o que adiciona latência e pode gerar custos com provedores de nuvem. Valores recuperados podem ser armazenados em cache no cálculo que os solicitou, assim como em outros segredos.
• Controla o acesso com privilégios do Unity Catalog: READ SECRET e REFERENCE SECRET, e a herança de privilégios se aplicam da mesma forma que se aplicam aos segredos gerenciados pelo Azure Databricks. Como os segredos externos são somente para leitura, o Unity Catalog rejeita CREATE SECRET, WRITE SECRET e operações de exclusão. Confira Limitações. Todo acesso ao gerenciador de segredos externo passa pela credencial de serviço da conexão, então os logs de auditoria do lado da nuvem atribuem acesso a essa identidade, enquanto os logs de auditoria do Unity Catalog ainda registram o usuário do Azure Databricks.

Listar os segredos de um esquema aciona a importação. Não é uma sincronização contínua em segundo plano. A importação roda de forma assíncrona, então o Unity Catalog reflete um segredo adicionado ou removido do gerenciador de segredos externo apenas após uma lista subsequente acionar uma importação, o que pode levar até alguns minutos para armazenamentos com muitos segredos. Ler um segredo específico importa ou atualiza exatamente esse segredo, e cada leitura traz o valor mais recente. Quando você exclui permanentemente um segredo no gerenciador externo de segredos, o Azure Databricks remove o segredo correspondente do Unity Catalog, incluindo seus metadados, permissões e tags.

Restrições de nomenclatura

Nomes secretos externos devem cumprir as convenções de nomeação do Catálogo Unity para serem importados:

• O Unity Catalog não importa nomes com mais de 248 caracteres.
• Os nomes de segredos do Unity Catalog não diferenciam maiúsculas de minúsculas. Se dois segredos externos diferem apenas por caso, o Unity Catalog usa apenas o primeiro importado e ignora o restante.
• O Catálogo Unity substitui caracteres que não suporta: . torna-se : e / torna-se |. O Azure Databricks recomenda evitar esses caracteres em nomes secretos externos.

Gerenciar cotas secretas

O Unity Catalog limita quantos segredos um esquema e uma metastore podem conter. Confira Limitações. Se um esquema tiver mais segredos do que a cota permite, o Azure Databricks importará primeiro os segredos mais antigos, por data de criação no gerenciador de segredos externo, até o limite da cota, e não importará os demais. Exponha apenas os segredos que você precisa no Azure Databricks para que o esquema permaneça dentro da cota:

Aponte a conexão para um Key Vault dedicado que guarde apenas os segredos que você quer disponíveis no Azure Databricks.

Limitations

Além das limitações que se aplicam a todos os segredos do Catálogo Unity, os segredos respaldados externamente possuem as seguintes limitações:

• Somente leitura no Unity Catalog: Você não pode criar, atualizar, renomear ou excluir segredos em um esquema com backup externo do Azure Databricks. Gerencie esses segredos no gerente externo de segredos.
• Um backend por esquema: Todos os segredos em um esquema usam o mesmo backend. Um esquema não pode misturar segredos gerenciados pelo Azure Databricks e respaldados externamente.
• Mudar o backend remove segredos importados: Alterar o backend de um esquema ou apontá-lo para uma conexão diferente remove os segredos externos importados anteriormente do esquema, incluindo seus metadados do Unity Catalog, permissões e tags.
• O acesso entre nuvens não é suportado: Faça backup dos esquemas usando o gerenciador de segredos nativo da nuvem do espaço de trabalho.
• Latência e custo de leitura: Cada leitura recebe o valor do gerenciador de segredos externo, o que adiciona latência e pode gerar custos com provedores de nuvem.
• Listagem com consistência eventual: Segredos adicionados ou removidos no gerenciador de segredos externo podem levar alguns minutos para aparecer no Unity Catalog, especialmente em grandes armazenamentos de segredos.

• Sem filtragem de tags: Azure Key Vault não suporta filtragem de segredos importados por tag.
• Segredos desativados e excluídos: Um segredo do Key Vault desativado aparece no Unity Catalog, mas a leitura do valor falha até que você reative. O Catálogo do Unity não revela mais um segredo excluído de forma flexível. Recupere-o no Key Vault para disponibilizá-lo novamente.

Recursos adicionais