Conectar-se e gerenciar o Catálogo do Unity do Azure Databricks no Microsoft Purview

Este artigo descreve como registrar o Azure Databricks e como autenticar e interagir com o Catálogo do Unity do Azure Databricks no Microsoft Purview. Para obter mais informações sobre o Microsoft Purview, consulte o artigo introdutório.

Recursos compatíveis

Recursos de digitalização

Ao verificar o Catálogo do Unity do Azure Databricks, o Microsoft Purview dá suporte:

• Extração de metadados técnicos, incluindo:

  • do Hive
  • Catálogos
  • Esquemas
  • Tabelas, incluindo as colunas. O Purview dá suporte a metadados de tabelas externas, mas não há suporte para linhagem.
  • Modos de exibição, incluindo as colunas
  • Marcas do Catálogo do Unity (marcas que representam rótulos, classificação equivalente no Catálogo do Unity são verificadas no Microsoft Purview em propriedades)

• Busca de linhagem em relacionamentos de ativos entre tabelas, exibições e colunas durante execuções de notebook.

Ao configurar uma verificação, você pode optar por verificar todo o Catálogo do Unity ou definir o escopo da verificação para um subconjunto de catálogos.

Outros recursos

Para classificações, rótulos de confidencialidade, políticas, linhagem de dados e exibição ao vivo, consulte a lista de recursos com suporte.

Limitações conhecidas

• No Microsoft Purview, os nomes de notebook do Databricks aparecem como IDs numéricos em vez de nomes legíveis. Essa limitação existe porque o Databricks não expõe nomes de notebook na tabela do sistema do Catálogo do Unity.

• Você poderá encontrar erros se os resultados da verificação do Azure Databricks excederem 1 MB e o armazenamento de blobs gerenciado pelo Azure Databricks negar acesso à rede pública. Para evitar esse problema, verifique se o Microsoft Purview tem acesso ao local de armazenamento interno do DBFS do workspace do Azure Databricks que está sendo verificado. Para saber mais, consulte Cloud fetch no JDBC.

• A verificação incremental está disponível apenas para a fonte de dados do Catálogo do Unity do Azure Databricks.

• A verificação com escopo está disponível apenas para a opção Catálogo do Unity na fonte de dados do Azure Databricks.

• Você pode adicionar pontos de extremidade privados gerenciados somente para a opção Catálogo do Unity na fonte de dados do Azure Databricks.

• Quando você exclui um objeto da fonte de dados, a verificação subsequente não remove automaticamente o ativo correspondente no Microsoft Purview.

• As informações de linhagem não estão disponíveis nos workspaces do Azure Databricks na região da China. Essa limitação existe porque não há suporte para tabelas do sistema do Azure Databricks nessa região. O Microsoft Purview usa essas tabelas para extrair linhagem e, portanto, não pode recuperar a linhagem nessa região.

• Defina o comentário da coluna da tabela do Databricks como uma cadeia de caracteres vazia se não quiser que a descrição da coluna seja exibida no Microsoft Purview.

• Não há suporte para linhagem para externo.

• No momento, não há suporte para marcas para verificações feitas usando uma opção SHIR do Kubernetes.

Para obter mais informações sobre outras limitações relacionadas à linhagem nativa do Azure Databricks, confira a documentação do Azure Databricks.

Pré-requisitos

• Você deve ter uma conta do Azure com uma assinatura ativa. Crie uma conta gratuitamente.

• Você deve ter uma conta ativa do Microsoft Purview.

• Você precisa de um Azure Key Vault e conceder permissões ao Microsoft Purview para acessar segredos.

• Você precisa de permissões de Administrador de Fonte de Dados e Leitor de Dados para registrar uma fonte e gerenciá-la no portal de governança clássico do Microsoft Purview. Para obter mais informações sobre permissões, consulte Controle de acesso no Microsoft Purview.

• Para verificar o Catálogo do Unity do Azure Databricks, o Microsoft Purview se conecta a um SQL Warehouse em seu workspace e usa um Token de Acesso Pessoal para autenticação. Você precisa ter um workspace do Azure Databricks habilitado para Catálogo do Unity e anexado ao metastore que deseja verificar. Em seu workspace do Azure Databricks:

  • Crie um SQL Warehouse. Você também pode usar o armazém inicial criado automaticamente, se aplicável.

  • Anote o caminho HTTP. Você pode encontrá-lo no workspace > do Azure Databricks SQL Warehouses > em seu warehouse > Detalhes > da conexão Caminho HTTP.

  • Certifique-se de que o usuário tenha a permissão Pode Usar para que possa se conectar ao SQL warehouse do Azure Databricks. Saiba mais em Controle de acesso ao SQL warehouse.

  • O SQL warehouse no Azure Databricks deve estar em execução para estabelecer uma conexão com o Microsoft Purview antes de configurar a verificação no Microsoft Purview.

• Para buscar linhagem do Azure Databricks usando o Microsoft Purview, os seguintes pré-requisitos devem estar em vigor:

  • Habilitar o esquema do sistema: O esquema do sistema system.access deve ser habilitado no Catálogo do Unity. Esse requisito existe porque as informações de linhagem são armazenadas em tabelas do sistema e habilitar esse esquema permite o acesso a essas tabelas. Saiba mais sobre como monitorar o uso com tabelas do sistema.

  • Privilégios de usuário:

    • A conta de usuário usada para verificação precisa ter privilégios SELECT nas seguintes tabelas do sistema:

      • system.access.table_lineage
      • system.access.column_lineage

      Essas permissões são necessárias porque os dados de linhagem são lidos diretamente das tabelas do sistema e, sem o acesso necessário, o Microsoft Purview não pode recuperar as informações de linhagem.

      A conta de usuário usada para verificação também precisa ter estas permissões:

      • USAR CATÁLOGO no sistema
      • USE SCHEMA on system.access

• Se seu workspace do Azure Databricks não permitir o acesso da rede pública ou se sua conta do Microsoft Purview não habilitar o acesso de todas as redes, você poderá usar o Rede Virtual Integration Runtime Gerenciado ou um runtime de integração auto-hospedada com suporte do Kubernetes para verificação. Você pode configurar um ponto de extremidade privado gerenciado para o Azure Databricks conforme necessário para estabelecer a conectividade privada.

Configuração da fonte de dados (Azure Databricks vs. Catálogo do Unity do Azure Databricks)

Você pode configurar uma conexão do Catálogo Unity do Azure Databricks com o Microsoft Purview por meio de duas fontes:

• Azure Databricks (fonte antiga)
• Catálogo do Unity no Azure Databricks

Diferenças de recursos entre fontes de dados

Os recursos do conector do Catálogo do Unity do Azure Databricks diferem com base na origem usada para a conexão, conforme descrito na tabela a seguir:

**Há suporte para a verificação Azure Catálogo do Unity do Databricks por meio do Rede Virtual Integration Runtime Gerenciado. No entanto, não há suporte para o Ponto de Extremidade Privado Gerenciado nesse caso.

Qual fonte devo usar?

Escolha uma das fontes com base nas necessidades da sua organização ou use ambas em paralelo. Alternar entre fontes ou usar ambas simultaneamente não causa duplicação de ativos no Microsoft Purview. Essa flexibilidade permite que você comece com a opção que melhor se adapta à sua configuração atual e ajuste ao longo do tempo conforme necessário.

Autenticação para uma verificação

Para verificar o Catálogo do Unity do Azure Databricks, use tokens de acesso pessoal, identidades gerenciadas ou métodos de autenticação da entidade de serviço.

• Para todos os objetos que você deseja trazer para o Microsoft Purview, o usuário ou entidade de serviço precisa ter pelo menos o privilégio SELECT em tabelas/exibições, USE CATALOG no catálogo do objeto e USE SCHEMA no esquema do objeto.

  • Para verificar todos os objetos em um metastore do Catálogo do Unity, use um usuário ou entidade de serviço com função de administrador do metastore. Para obter mais informações, consulte Gerenciar privilégios no Catálogo do Unitye Privilégios e objetos protegíveis do Catálogo do Unity.

    • Para classificação, o usuário também precisa ter o privilégio SELECT nas tabelas/exibições para recuperar dados de exemplo.

Registrar

Esta seção descreve como registrar um workspace do Azure Databricks no Microsoft Purview usando o portal de governança clássico do Microsoft Purview.

1. Vá para sua conta do Microsoft Purview.

2. Selecione Mapa de Dados no painel esquerdo.

3. Selecione Registrar.

4. Em Registrar fontes, selecioneCatálogo>do Unity do Azure DatabricksContinuar.

5. Na tela Registrar origens (Catálogo do Unity do Azure Databricks), conclua as seguintes etapas:

6. Em Name, insira um nome que o Microsoft Purview listará como a fonte de dados.

   1. Em ID do metastore, insira a ID do metastore do metastore do Catálogo do Unity do Azure Databricks que você deseja verificar.

   2. Escolha uma coleção na lista.

7. Selecione Concluir.

Examinar

Use as etapas a seguir para verificar o Azure Databricks e identificar ativos automaticamente. Para obter mais informações sobre verificação, consulte Verificações e ingestão no Microsoft Purview.

1. Vá para Fontes.

2. Selecione o Azure Databricks registrado.

3. Selecione + Nova verificação.

4. Forneça os seguintes detalhes:

   1. Nome: Digite um nome para a verificação.

   2. Conectar-se por meio do runtime de integração: escolha o runtime de integração padrão do Azure, o IR da Rede Virtual Gerenciada ou um runtime de integração auto-hospedada com suporte do Kubernetes que você criou.

   3. Credencial: selecione a credencial para se conectar à sua fonte de dados. Certifique-se de:

      • Selecione Token de Acesso, Identidade Gerenciada ou Entidade de Serviço.
      • Você pode criar uma nova credencial de Token de Acesso ou Entidade de Serviço ao registrar uma verificação. Para obter mais informações, consulte Credenciais para autenticação de origem no Microsoft Purview.

   4. URL do workspace: Forneça a URL para o espaço de trabalho que você deseja verificar.

      1. Caminho HTTP: Especifique o caminho HTTP do SQL Warehouse do Databricks ao qual o Microsoft Purview se conecta e executa a verificação; Por exemplo, /sql/1.0/endpoints/xxxxxxxxxxxxxxxx. Você pode encontrá-lo no workspace do Azure Databricks -> SQL Warehouses -> seu depósito -> Detalhes da conexão -> caminho HTTP.

   5. Extração de linhagem: Alterne a extração de linhagem para Ativado para buscar a linhagem dos ativos verificados.

5. Selecione Testar conexão para validar as configurações.

   

6. Selecione Continuar.

7. Na página Escopo da verificação , selecione um ou mais catálogos aos quais você deseja limitar a verificação. Use o modo Avançado (versão prévia) para selecionar caminhos de item específicos para incluir ou excluir da verificação.

   

8. Em Gatilho de verificação, escolha se deseja configurar um agendamento ou executar a verificação uma vez.

9. Analise a digitalização e selecione Salvar e Executar.

Depois que a verificação for concluída com êxito, veja como navegar e pesquisar ativos.

Exibir suas verificações e execuções de verificação

Para exibir as verificações existentes:

1. Acesse o portal do Microsoft Purview. No painel esquerdo, selecione Mapa de dados.
2. Selecione a fonte de dados. Você pode exibir uma lista de verificações existentes nessa fonte de dados em Verificações recentes ou pode exibir todas as verificações na guia Verificações .
3. Selecione a verificação que tem os resultados que você deseja visualizar. O painel mostra todas as execuções de verificação anteriores, juntamente com o status e as métricas de cada execução de verificação.
4. Selecione a ID de execução para marcar os detalhes da execução de verificação.

Gerenciar suas varreduras

Para editar, cancelar ou excluir uma verificação:

1. Acesse o portal do Microsoft Purview. No painel esquerdo, selecione Mapa de Dados.

2. Selecione a fonte de dados. Você pode exibir uma lista de verificações existentes nessa fonte de dados em Verificações recentes ou pode exibir todas as verificações na guia Verificações .

3. Selecione a verificação que você quer gerenciar. Você poderá:

   • Edite a verificação selecionando Editar verificação.
   • Cancele uma verificação em andamento selecionando Cancelar execução de verificação.
   • Exclua a verificação selecionando Excluir verificação.

Procurar e pesquisar ativos

Depois de verificar o Azure Databricks, você pode procurar o Catálogo unificado ou pesquisar o Catálogo unificado para exibir os detalhes e a linhagem do ativo.

Ao navegar por tipos de origem, você vê duas entradas para o Catálogo do Unity do Azure Databricks e o Azure Databricks. A entrada do Catálogo do Unity do Azure Databricks contém os artefatos do Catálogo do Unity, incluindo o metastore e seus catálogos, esquemas, tabelas e exibições. A entrada do Azure Databricks contém os artefatos do workspace.

No ativo de workspace do Azure Databricks, você pode encontrar o Catálogo do Unity associado na guia Propriedades. A associação também funciona ao contrário.

Linhagem

Ao navegar por um ativo específico do Azure Databricks, você pode ver os notebooks que capturaram a linhagem.

Vá para o ativo e selecione a guia de linhagem. Você pode ver a linhagem no ativo do Notebook do Azure Databricks ou no ativo de tabela/exibição, quando aplicável.

Cenários de linhagem com suporte

• A linhagem tem suporte para tabelas e exibições quando elas estão conectadas por meio de notebooks do Databricks no Catálogo do Unity.

• A linhagem aparece apenas para objetos verificados por meio do Microsoft Purview. Todos os ativos relacionados devem ser verificados para formar um gráfico de linhagem completo. Verifique se todos os workspaces do Databricks com notebooks relevantes estão incluídos nas verificações do Microsoft Purview.

Limitações de linhagem

• Ao executar notebooks por meio de trabalhos do Databricks, a linhagem no nível da coluna pode não ser capturada.
• O Microsoft Purview mostrará apenas linhagem parcial se você não verificar todos os objetos envolvidos em um fluxo de dados. Por exemplo, se um bloco de anotações no Espaço de Trabalho A gravar dados em uma tabela no Espaço de Trabalho B, mas você digitalizar apenas o Espaço de Trabalho A usando o Microsoft Purview, a linhagem mostrará o bloco de anotações, mas não a tabela de destino, resultando em linhagem incompleta.
• Se um serviço externo disparar um notebook (por exemplo, Azure Data Factory pipeline [ADF] chamando um trabalho do Databricks), a linhagem no Microsoft Purview não refletirá essa dependência.
  • Nesse caso, a linhagem entre os conjuntos de dados do ADF e os ativos do Databricks não é mostrada.
  • Somente a linhagem criada nos notebooks do Databricks é capturada.

Cenário de linhagem ausente

A extração de linhagem é passiva; O Microsoft Purview ingere apenas o que a tabela do sistema do Catálogo do Unity registra e torna acessível.

• Consulte as seções anteriores para garantir que seu cenário de linhagem seja compatível.
• Valide se as tabelas do sistema de linhagem do Catálogo do Unity (system.access.table_lineage, system.access.column_lineage) estão preenchidas corretamente.
• Abra um tíquete de suporte se ainda encontrar problemas.

Consulte a seção de recursos com suporte para ver os cenários de linhagem do Catálogo do Databricks Unity com suporte. Para obter mais informações sobre linhagem em geral, consulte linhagem de dados e guia do usuário de linhagem.

Perguntas frequentes (FAQ)

O Microsoft Purview captura linhagem em nível de coluna do Catálogo do Unity?

O Microsoft Purview captura a linhagem no nível de exibição e tabela do Catálogo do Unity e no nível de coluna.

Por que não vejo a linhagem no nível da coluna?

A linhagem em nível de coluna aparece quando você executa o bloco de anotações de um cluster. SQL warehouses não geram linhagem em nível de coluna.

Como fazer corrigir um erro de tempo limite?

A verificação pode não ser concluída se o espaço de trabalho contiver um grande número de ativos. Para corrigir esse problema, defina o escopo da verificação para alguns catálogos por vez. Essa abordagem reduz o número de ativos em cada verificação e ajuda a concluir as verificações.

Por que o Microsoft Purview não buscou a linhagem depois que executei meu notebook?

Depois de executar o notebook, o Databricks pode levar alguns minutos para atualizar as informações de linhagem em suas tabelas do sistema. O Microsoft Purview pode buscar a linhagem depois que as tabelas do sistema forem atualizadas.

Próximas etapas

Depois de registrar sua fonte, use os seguintes guias para saber mais sobre o Microsoft Purview e seus dados:

• Pesquisar no Catálogo unificado
• Insights sobre o patrimônio de dados no Microsoft Purview