Segredos externos no Unity Catalog

Segredos externos ligam um esquema do Unity Catalog a um gestor de segredos externo. Em vez de o Azure Databricks armazenar os valores secretos, os segredos ficam no gestor de segredos na cloud e aparecem no Unity Catalog como objetos seguros que podes governar e referenciar.

• Para uma introdução aos segredos do Unity Catalog e aos segredos que o Azure Databricks armazena e gere para si, consulte Segredos no Unity Catalog.
• Para suportar um esquema com um gestor de segredos externo, consulte Configurar segredos externos no Unity Catalog.

Como funcionam os segredos externos

Configura-se o backend de segredos para cada esquema. Por defeito, o Azure Databricks armazena e gere todos os segredos num esquema, a menos que um gestor de segredos externo o apoie. Um esquema não pode misturar ambos.

Quando um esquema é suportado por um gestor de segredos externo, o Azure Databricks faz o seguinte:

• Revela os segredos que a ligação pode listar: Todos os segredos que a ligação pode listar aparecem como um segredo do Unity Catalog no Catalog Explorer, dbutils, e na API REST do Unity Catalog. Aplicam-se restrições de nomeação. Ver Restrições de nomeação.
• Lê valores sob demanda: O Azure Databricks não armazena o valor secreto no Unity Catalog. Cada obtenção lê o valor atual diretamente do gestor externo de segredos, o que acrescenta latência e pode implicar custos junto do fornecedor de serviços na cloud. Os valores recuperados podem ser armazenados em cache no cálculo que os solicitou, tal como acontece com outros segredos.
• Regula o acesso com privilégios do Unity Catalog: READ SECRET e REFERENCE SECRET, e a herança de privilégios aplicam-se da mesma forma que se aplicam aos segredos geridos pelo Azure Databricks. Como os segredos externos são apenas de leitura, o Unity Catalog rejeita CREATE SECRET, WRITE SECRET e operações de eliminação. Consulte Limitações. Todo o acesso ao gestor de segredos externo passa pela credencial de serviço da ligação, por isso os registos de auditoria na cloud atribuem acesso a essa identidade, enquanto os registos de auditoria do Catálogo Unity ainda registam o utilizador do Azure Databricks.

A listagem dos segredos de um esquema desencadeia a importação. Não é uma sincronização contínua em segundo plano. A importação corre de forma assíncrona, pelo que o Unity Catalog reflete um segredo adicionado ou removido do gestor de segredos externo apenas depois de uma lista subsequente desencadear uma importação, o que pode demorar até alguns minutos para lojas com muitos segredos. Ler um segredo específico importa ou atualiza exatamente esse segredo, e cada leitura traz o valor mais recente. Quando apaga permanentemente um segredo no gestor de segredos externo, o Azure Databricks remove o respetivo segredo do Catálogo Unity, incluindo os seus metadados, permissões e etiquetas.

Restrições de nomenclatura

Nomes secretos externos devem cumprir as convenções de nomeação do Catálogo Unity para serem importados:

• O Unity Catalog não importa nomes com mais de 248 caracteres.
• Os nomes secretos do Unity Catalog não distinguem maiúsculas e minúsculas. Se dois segredos externos diferem apenas consoante o caso, o Unity Catalog usa apenas o primeiro importado e ignora os restantes.
• O Unity Catalog substitui caracteres que não suporta: . torna-se : e / torna-se |. O Azure Databricks recomenda evitar estes caracteres em nomes secretos externos.

Gerir quotas secretas

O Unity Catalog limita quantos segredos um esquema e uma metastore podem conter. Consulte Limitações. Se um esquema tiver mais segredos do que a quota permite, o Azure Databricks importa primeiro os segredos mais antigos pela data de criação no gestor de segredos externo, até à quota, e não importa o resto. Expõe apenas os segredos que necessitas no Azure Databricks para que o esquema se mantenha dentro da quota:

Aponta a ligação para um Key Vault dedicado que só guarda os segredos que queres disponíveis no Azure Databricks.

Limitações

Para além das limitações que se aplicam a todos os segredos do Catálogo Unity, os segredos suportados externamente têm as seguintes limitações:

• Apenas leitura no Unity Catalog: Não pode criar, atualizar, renomear ou eliminar segredos num esquema com suporte externo do Azure Databricks. Gerir esses segredos no gestor de segredos externo.
• Um backend por esquema: Todos os segredos de um esquema usam o mesmo backend. Um esquema não pode misturar segredos geridos pelo Azure Databricks com backups externos.
• Mudar o backend remove segredos importados: Alterar o backend de um esquema ou apontá-lo para uma ligação diferente remove os segredos externos previamente importados do esquema, incluindo os seus metadados do Unity Catalog, permissões e etiquetas.
• O acesso entre clouds não é suportado: Faça cópias de segurança dos esquemas com o gestor de segredos nativo da cloud da área de trabalho.
• Latência e custo da leitura: Cada leitura recupera o valor do gestor externo de segredos, o que acrescenta latência e pode gerar custos com o fornecedor de serviços na cloud.
• Listagem com consistência eventual: Os segredos adicionados ou removidos no gestor de segredos externo podem demorar alguns minutos até aparecerem no Unity Catalog, especialmente em grandes repositórios de segredos.

• Sem filtragem de tags: O Azure Key Vault não suporta filtrar segredos importados por tag.
• Segredos desativados e eliminados: Um segredo do Key Vault desativado aparece no Unity Catalog, mas a leitura do seu valor falha até o reativar. O Unity Catalog já não revela um segredo apagado de forma suave. Recupera-o no Key Vault para o tornar disponível novamente.

Recursos adicionais