Conectar-se e gerenciar o Azure Databricks no Microsoft Purview

Este artigo descreve como registrar o Azure Databricks e como autenticar e interagir com o Azure Databricks no Microsoft Purview. Para obter mais informações sobre o Microsoft Purview, leia o artigo introdutório.

Recursos compatíveis

Recursos de digitalização

Ao verificar o metastore Hive do Azure Databricks, o Microsoft Purview dá suporte a:

• Extração de metadados técnicos, incluindo:

  • Workspace do Azure Databricks
  • Servidor Hive
  • Bancos de dados
  • Tabelas, incluindo colunas, chaves estrangeiras, restrições exclusivas e descrição de armazenamento
  • Exibições, incluindo as colunas e a descrição do armazenamento

• Relação de busca entre tabelas externas e ativos do Azure Data Lake Storage Gen2/Blob do Azure (locais externos).

• Buscando linhagem estática entre tabelas e exibições com base na definição de exibição.

Ao configurar a verificação, você pode optar por verificar todo o metastore do Hive ou definir o escopo da verificação para um subconjunto de esquemas.

Em comparação com a verificação por meio do conector genérico do Hive Metastore, se você usá-lo para verificar o Azure Databricks anteriormente:

• Você pode configurar diretamente a verificação de workspaces do Azure Databricks sem acesso HMS direto. Ele usa o token de acesso pessoal do Databricks para autenticação e se conecta a um cluster para executar a verificação.
• As informações do workspace do Databricks são capturadas.
• A relação entre tabelas e ativos de armazenamento é capturada.

Outros recursos

Para classificações, rótulos de confidencialidade, políticas, linhagem de dados e exibição ao vivo, consulte a lista de recursos com suporte.

Limitações conhecidas

Quando você exclui um objeto da fonte de dados, a verificação subsequente não remove automaticamente o ativo correspondente no Purview.

Pré-requisitos

• Você deve ter uma conta do Azure com uma assinatura ativa. Crie uma conta gratuitamente.

• Você deve ter uma conta ativa do Microsoft Purview.

• Você precisa de um Azure Key Vault e conceder permissões ao Microsoft Purview para acessar segredos.

• Você precisa de permissões de Administrador de Fonte de Dados e Leitor de Dados para registrar uma fonte e gerenciá-la no portal de governança do Microsoft Purview. Para obter mais informações sobre permissões, consulte Controle de acesso no Microsoft Purview.

• Configure o tempo de execução de integração auto-hospedada mais recente. Para obter mais informações, consulte Criar e configurar um runtime de integração auto-hospedada. A versão mínima do Integration Runtime auto-hospedada com suporte é 5.20.8227.2.

  • Certifique-se de que o JDK 11 esteja instalado no computador em que o runtime de integração auto-hospedada está instalado. Reinicie a máquina depois de instalar o JDK para que ela entre em vigor.

  • Certifique-se de que o Pacote Redistribuível do Visual C++ (versão Visual Studio 2012 Atualização 4 ou mais recente) esteja instalado no computador em que o runtime de integração auto-hospedada está sendo executado. Se você não tem essa atualização instalada, baixe-a agora.

• Em seu workspace do Azure Databricks:

  • Gere um token de acesso pessoal e armazene-o como um segredo no Azure Key Vault.

  • Crie um cluster. Observe a ID do cluster – você pode encontrá-la no workspace do Azure Databricks – Computação – seu cluster –> Marcas –> Marcas adicionadas automaticamente ->ClusterId.>>

  • Verifique se o usuário tem as seguintes permissões para se conectar ao cluster do Azure Databricks:

    • Pode anexar a permissão para se conectar ao cluster em execução.
    • Permissão Can Restart para disparar automaticamente o cluster para iniciar se seu estado for encerrado durante a conexão.

Registrar

Esta seção descreve como registrar um workspace do Azure Databricks no Microsoft Purview usando o portal de governança do Microsoft Purview.

1. Vá para sua conta do Microsoft Purview.

2. Selecione Mapa de Dados no painel esquerdo.

3. Selecione Registrar.

4. Em Registrar fontes, selecione Continuar do Azure Databricks>.

5. Na tela Registrar origens (Azure Databricks), conclua as seguintes etapas:

   1. Em Nome, insira um nome que o Microsoft Purview lista como a fonte de dados.

   2. Para a assinatura do Azure e o nome do workspace do Databricks, selecione a assinatura e o workspace que você deseja verificar na lista suspensa. A URL do workspace do Databricks é preenchida automaticamente.

   3. Escolha uma coleção na lista.

   

6. Selecione Concluir.

Examinar

Use as etapas a seguir para verificar o Azure Databricks para identificar ativos automaticamente. Para obter mais informações sobre a verificação em geral, consulte Verificações e ingestão no Microsoft Purview.

1. No Centro de Gerenciamento, selecione runtimes de integração. Verifique se um runtime de integração auto-hospedada está configurado. Se não estiver configurado, use as etapas em Criar e gerenciar um runtime de integração auto-hospedada.

2. Vá para Fontes.

3. Selecione o Azure Databricks registrado.

4. Selecione + Nova verificação.

5. Forneça os seguintes detalhes:

   1. Nome: Digite um nome para a verificação.

   2. Método de extração: Indique para extrair metadados do Metastore do Hive ou do Catálogo do Unity. Selecione Metastore do Hive.

   3. Conectar-se por meio do runtime de integração: selecione o runtime de integração auto-hospedada configurado.

   4. Credencial: selecione a credencial para se conectar à sua fonte de dados. Certifique-se de:

      • Selecione Autenticação de token de acesso ao criar uma credencial.
      • Forneça o nome secreto do token de acesso pessoal que você criou em Pré-requisitos na caixa apropriada.

      Para obter mais informações, consulte Credenciais para autenticação de origem no Microsoft Purview.

   5. ID do cluster: especifique a ID do cluster ao qual o Microsoft Purview se conecta e alimenta a verificação. Você pode encontrá-lo no workspace do Azure Databricks -> Computação -> seu cluster -> Marcas -> Marcas adicionadas automaticamente ->ClusterId.

      1. Pontos de montagem: forneça o ponto de montagem e a cadeia de caracteres de localização de origem do Armazenamento do Azure quando você tiver o armazenamento externo montado manualmente no Databricks. Use o formato /mnt/<path>=abfss://<container>@<adls_gen2_storage_account>.dfs.core.windows.net/;/mnt/<path>=wasbs://<container>@<blob_storage_account>.blob.core.windows.net. É usado para capturar a relação entre tabelas e os ativos de armazenamento correspondentes no Microsoft Purview. Essa configuração é opcional. Se você não especificá-la, a relação não será recuperada.

      Você pode obter a lista de pontos de montagem em seu workspace do Databricks executando o seguinte comando Python em um notebook:

      dbutils.fs.mounts()
      

      Ele imprime todos os pontos de montagem como abaixo:

      [MountInfo(mountPoint='/databricks-datasets', source='databricks-datasets', encryptionType=''),
      MountInfo(mountPoint='/mnt/ADLS2', source='abfss://samplelocation1@azurestorage1.dfs.core.windows.net/', encryptionType=''),
      MountInfo(mountPoint='/databricks/mlflow-tracking', source='databricks/mlflow-tracking', encryptionType=''), 
      MountInfo(mountPoint='/mnt/Blob', source='wasbs://samplelocation2@azurestorage2.blob.core.windows.net', encryptionType=''),
      MountInfo(mountPoint='/databricks-results', source='databricks-results', encryptionType=''),
      MountInfo(mountPoint='/databricks/mlflow-registry', source='databricks/mlflow-registry', encryptionType=''), MountInfo(mountPoint='/', source='DatabricksRoot', encryptionType='')]  
      

      Neste exemplo, especifique o seguinte como pontos de montagem:

      /mnt/ADLS2=abfss://samplelocation1@azurestorage1.dfs.core.windows.net/;/mnt/Blob=wasbs://samplelocation2@azurestorage2.blob.core.windows.net

   6. Esquema: o subconjunto de esquemas a serem importados expressos como uma lista de esquemas separados por ponto e vírgula. Por exemplo, schema1;schema2. Todos os esquemas de usuário serão importados se essa lista estiver vazia. Todos os esquemas e objetos do sistema são ignorados por padrão.

      Os padrões de nome de esquema aceitáveis podem ser nomes estáticos ou conter caracteres curinga%. Por exemplo: A%;%B;%C%;D

      • Comece com A ou
      • Terminar com B ou
      • Contêm C ou
      • Igual a D

      O uso de NOT e caracteres especiais não é aceitável.

      Observação

      Esse filtro de esquema tem suporte no Auto-hospedado Integration Runtime versão 5.32.8597.1 e superior.

   7. Memória máxima disponível: Memória máxima (em gigabytes) disponível na máquina do cliente para utilização dos processos de digitalização. Esse valor depende do tamanho do Azure Databricks a ser verificado.

      Observação

      Como regra geral, forneça 1 GB de memória para cada 1000 tabelas.

   

6. Selecione Continuar.

7. Em Gatilho de verificação, escolha se deseja configurar um agendamento ou executar a verificação uma vez.

8. Analise a digitalização e selecione Salvar e Executar.

Depois que a verificação for concluída com êxito, veja como procurar e pesquisar ativos do Azure Databricks.

Exibir suas verificações e execuções de verificação

Para exibir as verificações existentes:

1. Acesse o portal do Microsoft Purview. No painel esquerdo, selecione Mapa de dados.
2. Selecione a fonte de dados. Você pode exibir uma lista de verificações existentes nessa fonte de dados em Verificações recentes ou pode exibir todas as verificações na guia Verificações .
3. Selecione a verificação que tem os resultados que você deseja visualizar. O painel mostra todas as execuções de verificação anteriores, juntamente com o status e as métricas de cada execução de verificação.
4. Selecione a ID de execução para marcar os detalhes da execução de verificação.

Gerenciar suas varreduras

Para editar, cancelar ou excluir uma verificação:

1. Acesse o portal do Microsoft Purview. No painel esquerdo, selecione Mapa de Dados.

2. Selecione a fonte de dados. Você pode exibir uma lista de verificações existentes nessa fonte de dados em Verificações recentes ou pode exibir todas as verificações na guia Verificações .

3. Selecione a verificação que você quer gerenciar. Você poderá:

   • Edite a verificação selecionando Editar verificação.
   • Cancele uma verificação em andamento selecionando Cancelar execução de verificação.
   • Exclua a verificação selecionando Excluir verificação.

Procurar e pesquisar ativos

Depois de verificar o Azure Databricks, você pode procurar o Catálogo unificado ou pesquisar o Catálogo unificado para exibir os detalhes do ativo.

No ativo do workspace do Databricks, você pode encontrar o Metastore do Hive associado e as tabelas/exibições, invertido também se aplica.

Linhagem

Consulte a seção de recursos com suporte nos cenários com suporte do Azure Databricks. Para obter mais informações sobre linhagem em geral, consulte linhagem de dados e guia do usuário de linhagem.

Vá para a tabela do Hive/exibir ativo -> guia de linhagem, você pode ver o relacionamento do ativo quando aplicável. Para a relação entre a tabela e os ativos de armazenamento externo, você verá que o ativo de tabela do Hive e o ativo de armazenamento estão diretamente conectados bidirecionalmente, pois eles se impactam mutuamente. Se você usar o ponto de montagem na instrução create table, precisará fornecer as informações do ponto de montagem nas configurações de verificação para extrair essa relação.

Próximas etapas

Agora que você registrou sua fonte, use os seguintes guias para saber mais sobre o Microsoft Purview e seus dados:

• Insights sobre o patrimônio de dados no Microsoft Purview
• Linhagem no Microsoft Purview
• Pesquisar no Catálogo unificado