Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Esta página mostra como criar um metastore do Unity Catalog e vinculá-lo a espaços de trabalho.
Importante
Para espaços de trabalho que foram habilitados automaticamente para o Unity Catalog, as instruções desta página são desnecessárias. O Databricks começou a habilitar automaticamente novos workspaces para o Unity Catalog em 9 de novembro de 2023, com uma implantação gradual em todas as contas. Você deve seguir as instruções desta página somente se tiver um espaço de trabalho e ainda não tiver um metastore na região do seu espaço de trabalho. Para determinar se já existe um metastore em sua região, consulte Introdução ao Catálogo do Unity.
Um metastore é o contêiner de nível superior para dados no Unity Catalog. Os metastores do Catálogo do Unity registram metadados sobre objetos protegíveis (como tabelas, volumes, locais externos e compartilhamentos) e as permissões que regem o acesso a eles. Cada metastore expõe um namespace de três níveis (catalog.schema.table) pelo qual os dados podem ser organizados. Você deve ter um metastore para cada região em que sua organização opera. Para trabalhar com o Catálogo do Unity, os usuários devem estar em um workspace anexado a um metastore em sua região.
Para criar um metastore, faça o seguinte:
Em sua conta do Azure crie, opcionalmente, um local de armazenamento para armazenamento no nível do metastore das tabelas e volumes gerenciados.
Para obter informações para ajudá-lo a decidir se você precisa de armazenamento no nível do metastore, consulte Especificar um local de armazenamento gerenciado no Catálogo do Unity.
Em sua conta do Azure, crie uma identidade gerenciada do Azure ou uma entidade de serviço que dê acesso a esse local de armazenamento.
No Azure Databricks, crie o metastore, anexando o local de armazenamento, e atribua workspaces ao metastore.
Observação
Além das abordagens descritas neste artigo, você também pode criar um metastore usando o provedor do Databricks Terraform, especificamente o recurso databricks_metastore. Para permitir que o Unity Catalog acesse o metastore, use databricks_metastore_data_access. Para vincular workspaces a um metastore, use databricks_metastore_assignment.
Antes de começar
Antes de começar, você deve se familiarizar com os conceitos básicos do Catálogo do Unity, incluindo metastores e armazenamento gerenciado. Veja O que é o Catálogo do Unity?.
Você também deve confirmar que atende aos seguintes requisitos para todas as etapas de instalação:
Você precisa ser um administrador da conta do Azure Databricks.
O primeiro administrador de conta do Azure Databricks deve ser um administrador global do Microsoft Entra ID no momento em que fizer logon no console da conta do Azure Databricks. Após o primeiro login, esse usuário se torna um administrador da conta do Azure Databricks e não precisa mais da função de Administrador Global do Microsoft Entra ID para acessar a conta do Azure Databricks. O primeiro administrador da conta pode designar usuários no locatário do Microsoft Entra ID como administradores adicionais da conta (que, por sua vez, podem designar mais administradores da conta). Os administradores de conta adicionais não requerem funções específicas no Microsoft Entra ID.
Os espaços de trabalho anexados ao metastore devem estar no Plano Premium do Azure Databricks.
Se você quiser configurar o armazenamento raiz no nível do metastore, deverá ter permissão para criar o seguinte em seu locatário do Azure:
- Uma conta de armazenamento a ser usada com o Azure Data Lake Storage. Confira Criar uma conta de armazenamento para uso com o Azure Data Lake Storage.
- Um novo recurso para manter uma identidade gerenciada atribuída pelo sistema. Isso requer que você seja um Colaborador ou Proprietário de um grupo de recursos em qualquer assinatura no locatário.
Etapa 1 (Opcional): Criar um contêiner de armazenamento para armazenamento gerenciado no nível do metastore
Nessa etapa opcional, você criará uma conta de armazenamento e um contêiner para armazenar dados de tabela e volume gerenciados no nível do metastore. Para determinar se você precisa de armazenamento no nível do metastore, consulte Especifique um local de armazenamento gerenciado no Catálogo do Unity.
Crie uma conta de armazenamento para o Azure Data Lake Storage.
Esta conta de armazenamento conterá tabelas e volumes gerenciados do Unity Catalog. Deve ser uma conta do Azure Data Lake Storage na mesma região que seus workspaces do Azure Databricks. Confira Criar uma conta de armazenamento para uso com o Azure Data Lake Storage.
Crie um contêiner de armazenamento que manterá suas tabelas gerenciadas e dados de volume no nível do metastore.
Você pode criar apenas um metastore por região. Você deve usar a mesma região para o metastore e o contêiner de armazenamento.
Este local de armazenamento no nível do metastore pode ser substituído nos níveis de catálogo e esquema. Consulte Especificar um local de armazenamento gerenciado no catálogo do Unity.
Anote o URI do ADLSv2 do contêiner, que está no seguinte formato:
abfss://<container-name>@<storage-account-name>.dfs.core.windows.net/<metastore-name>Nas etapas a seguir, substitua
<storage-container>por esse URI.
Etapa 2 (Opcional): Criar uma identidade gerenciada para acessar o local de armazenamento gerenciado
Nessa etapa, que é necessária somente se você concluiu a etapa 1, você criará um conector de acesso do Azure Databricks que contém uma identidade gerenciada e lhe dá acesso ao contêiner de armazenamento.
Siga as instruções em Usar identidades gerenciadas do Azure no Catálogo do Unity para acessar o armazenamento.
Observação
Você pode usar uma identidade gerenciada do Azure ou um principal de serviço como a identidade que fornece acesso ao contêiner de armazenamento do metastore. O Databricks recomenda fortemente identidades gerenciadas, pois elas não exigem que você mantenha credenciais ou gire segredos e permitem que você se conecte a uma conta do Azure Data Lake Storage protegida por um firewall de armazenamento. Se você quiser usar um principal de serviço, consulte Criar armazenamento gerenciado do Unity Catalog usando um principal de serviço (legado).
Etapa 3: Criar o metastore e anexar um espaço de trabalho
Cada região do Azure Databricks requer seu próprio metastore do Unity Catalog.
Você cria um metastore para cada região em que sua organização opera. Você pode vincular cada um desses metastores regionais a qualquer número de workspaces nessa região. Cada workspace vinculado tem a mesma exibição dos dados no metastore, e o controle de acesso a dados pode ser gerenciado em vários workspaces. Você pode acessar dados em outros metastores usando o OpenSharing.
Se você optar por criar um armazenamento no nível do metastore, o metastore usará o contêiner de armazenamento e a identidade gerenciada do Azure que você criou nas etapas anteriores.
Para criar um metastore:
Se você optar por criar o armazenamento no nível do metastore, verifique se você tem o caminho para o contêiner de armazenamento e a ID do recurso do conector de acesso do Azure Databricks que você criou na tarefa anterior.
Faça logon em seu workspace como administrador da conta.
Clique no nome de usuário na barra superior do workspace do Azure Databricks e selecione Gerenciar conta.
Entre no console da conta do Azure Databricks.
Clique no
Catálogo.Clique em Criar metastore.
Insira o seguinte:
Nome para o metastore.
Região em que o metastore será implantado.
Isso deve estar na mesma região que os espaços de trabalho que você deseja usar para acessar os dados. Se você optar por criar um contêiner de armazenamento para armazenamento no nível do metastore, essa região também deverá ser a mesma.
(Opcional) Caminho do ADLS Gen 2: insira o caminho para o contêiner de armazenamento que você usará como armazenamento raiz para o metastore.
O prefixo
abfss://é adicionado automaticamente.(Opcional) ID do Conector de Acesso: insira a ID de recurso do conector de acesso do Azure Databricks no formato:
/subscriptions/12f34567-8ace-9c10-111c-aea8eba12345c/resourceGroups/<resource-group>/providers/Microsoft.Databricks/accessConnectors/<connector-name>
Clique em Criar.
Quando solicitado, selecione os espaços de trabalho a serem vinculados ao metastore.
Para obter detalhes, consulte Habilitar um workspace para o Unity Catalog.
Transfira a função de administrador do metastore para um grupo.
O usuário que cria um metastore é seu proprietário, também chamado de administrador do metastore. O administrador do metastore pode criar objetos de nível superior no metastore, como catálogos, e pode gerenciar o acesso a tabelas e outros objetos. O Databricks recomenda que você reatribua a função de administrador do metastore a um grupo. Consulte Atribuir um administrador de metastore.
Habilite o gerenciamento de uploads do Azure Databricks para volumes gerenciados.
O Azure Databricks usa compartilhamento de recursos entre origens (CORS) para carregar dados em volumes gerenciados no Catálogo do Unity.
Usar o portal do Azure para navegar até sua conta de armazenamento
Selecione Configurações > Compartilhamento de Recursos (CORS)
Verifique se a aba serviço Blob está selecionada. Edite os campos da seguinte maneira:
Campo Valor Origens permitidas https://*.azuredatabricks.netMétodos permitidos PUTCabeçalhos permitidos x-ms-blob-typeCabeçalhos expostos (deixar em branco) Idade máxima 1800 Clique em Salvar.