Conectar-se e gerenciar bancos de dados do Metastore do Hive no Microsoft Purview

Este artigo descreve como registrar bancos de dados Metastore do Hive e como autenticar e interagir com bancos de dados do Metastore do Hive no Microsoft Purview. Para obter mais informações sobre o Microsoft Purview, leia o artigo introdutório.

Recursos compatíveis

Recursos de digitalização

Extração de metadados Verificação Completa Varredura incremental Varredura com escopo
Sim Sim Não Sim

As versões do Hive com suporte são 2.x a 3.x. As plataformas suportadas são Apache Hadoop, Cloudera e Hortonworks. Se você quiser verificar o Azure Databricks, sugerimos usar o conector do Azure Databricks, que é mais compatível e fácil de usar.

Ao verificar a origem do metastore do Hive, o Microsoft Purview dá suporte a:

  • Extração de metadados técnicos, incluindo:

    • Servidor
    • Bancos de dados
    • Tabelas, incluindo colunas, chaves estrangeiras, restrições exclusivas e descrição de armazenamento
    • Exibições, incluindo as colunas e a descrição do armazenamento

  • Busca de linhagem estática em relacionamentos de ativos entre tabelas e exibições.

Ao configurar a verificação, você pode optar por verificar um banco de dados de metastore inteiro do Hive ou definir o escopo da verificação para um subconjunto de esquemas que correspondam aos nomes ou padrões de nomes.

Outros recursos

Para classificações, rótulos de confidencialidade, políticas, linhagem de dados e exibição ao vivo, consulte a lista de recursos com suporte.

Limitações conhecidas

Quando o objeto é excluído da fonte de dados, atualmente a verificação subsequente não removerá automaticamente o ativo correspondente no Microsoft Purview.

Pré-requisitos

Registrar

Esta seção descreve como registrar um banco de dados do Hive Metastore no Microsoft Purview usando o portal de governança do Microsoft Purview.

A única autenticação com suporte para um banco de dados Metastore do Hive é a Autenticação Básica.

  1. Abra o portal de governança do Microsoft Purview:

  2. Selecione Mapa de Dados no painel esquerdo.

  3. Selecione Registrar.

  4. Em Registrar fontes, selecione Metastore>do Hive Continuar.

  5. Na tela Registrar origens (Metastore do Hive ), faça o seguinte:

    1. Em Name, insira um nome que o Microsoft Purview listará como a fonte de dados.

    2. Para URL do Cluster do Hive, insira um valor obtido da URL do Ambari. Por exemplo, insira hive.azurehdinsight.net.

    3. Para URL do Servidor de Metastore do Hive, insira uma URL para o servidor. Por exemplo, insira sqlserver://hive.database.windows.net.

    4. Escolha uma coleção na lista.

    Captura de tela que mostra caixas para registrar fontes do Hive.

  6. Selecione Concluir.

Examinar

Dica

Para solucionar problemas de verificação:

  1. Confirme que você seguiu todos os pré-requisitos.
  2. Consulte nossa documentação de solução de problemas de verificação.

Use as etapas a seguir para verificar os bancos de dados do Metastore do Hive para identificar ativos automaticamente. Para obter mais informações sobre a verificação em geral, consulte Verificações e ingestão no Microsoft Purview.

  1. No Centro de Gerenciamento, selecione runtimes de integração. Verifique se um runtime de integração auto-hospedada está configurado. Se não estiver configurado, use as etapas nos pré-requisitos.

  2. Vá para Fontes.

  3. Selecione o banco de dados de Metastore do Hive registrado.

  4. Selecione + Nova verificação.

  5. Forneça os seguintes detalhes:

    1. Nome: Digite um nome para a verificação.

    2. Conectar-se por meio do runtime de integração: selecione o runtime de integração auto-hospedada configurado.

    3. Credencial: selecione a credencial para se conectar à sua fonte de dados. Certifique-se de:

      • Selecione Autenticação Básica ao criar uma credencial.
      • Forneça o nome de usuário do Metastore na caixa apropriada.
      • Armazene a senha do Metastore na chave secreta.

      Para obter mais informações, consulte Credenciais para autenticação de origem no Microsoft Purview.

    4. Local do driver JDBC de metastore: especifique o caminho para o local do driver JDBC em seu computador em que o runtime de integração de auto-host está em execução. Por exemplo, D:\Drivers\HiveMetastore.

      1. Para o runtime de integração auto-hospedada em um computador local: D:\Drivers\HiveMetastore. Esse é o caminho para o local válido da pasta JAR. O valor deve ser um caminho de arquivo absoluto válido e não contém espaço. Verifique se o driver está acessível pelo runtime de integração auto-hospedada; Saiba mais na seção Pré-requisitos.
      2. Para o runtime de integração auto-hospedada com suporte do Kubernetes: ./drivers/HiveMetastore. Esse é o caminho para o local válido da pasta JAR. O valor deve ser um caminho de arquivo relativo válido. Consulte a documentação para configurar uma verificação com drivers externos para carregar drivers com antecedência.

    5. Classe de driver JDBC de metastore: forneça o nome da classe para o driver de conexão. Por exemplo, insira \com.microsoft.sqlserver.jdbc.SQLServerDriver.

    6. URL JDBC do Metastore: Forneça o valor do URL de conexão e defina a conexão com o URL do servidor de banco de dados do Metastore. Por exemplo: jdbc:sqlserver://hive.database.windows.net;database=hive;encrypt=true;trustServerCertificate=true;create=false;loginTimeout=300.

      Observação

      Quando você copia a URL do hive-site.xml, remova-a amp; da cadeia de caracteres ou a verificação falhará.

      Baixe o certificado SSL para o computador de runtime de integração auto-hospedada e, em seguida, atualize o caminho para o local do certificado SSL em seu computador na URL.

      Ao inserir caminhos de arquivo locais na configuração de verificação, altere o caractere separador de caminho do Windows de uma barra invertida (\) para uma barra (/). Por exemplo, se você colocar o certificado SSL no caminho do arquivo local D:\Drivers\SSLCert\BaltimoreCyberTrustRoot.crt.pem, altere o valor do serverSslCert parâmetro para D:/Drivers/SSLCert/BaltimoreCyberTrustRoot.crt.pem.

      O valor da URL do JDBC do Metastore será semelhante a este exemplo:

      jdbc:mariadb://samplehost.mysql.database.azure.com:3306/XXXXXXXXXXXXXXXX?useSSL=true&enabledSslProtocolSuites=TLSv1,TLSv1.1,TLSv1.2&serverSslCert=D:/Drivers/SSLCert/BaltimoreCyberTrustRoot.crt.pem

    7. Nome do banco de dados de metastore: forneça o nome do banco de dados de metastore do Hive.

    8. Esquema: especifique uma lista de esquemas do Hive a serem importados. Por exemplo: esquema1; esquema2.

      Todos os esquemas de usuário serão importados se essa lista estiver vazia. Todos os esquemas do sistema (por exemplo, SysAdmin) e objetos são ignorados por padrão.

      Os padrões de nome de esquema aceitáveis que usam a sintaxe de expressão SQL LIKE incluem o sinal de porcentagem (%). Por exemplo, A%; %B; %C%; D significa:

      • Comece com A ou
      • Terminar com B ou
      • Contêm C ou
      • Igual a D

      O uso de NOT e caracteres especiais não é aceitável.

    9. Memória máxima disponível: Memória máxima (em gigabytes) disponível na máquina do cliente para utilização dos processos de digitalização. Esse valor depende do tamanho do banco de dados do Metastore do Hive a ser verificado.

      Observação

      Como regra geral, forneça 1 GB de memória para cada 1000 tabelas.

    Captura de tela que mostra caixas para detalhes de verificação.

  6. Selecione Continuar.

  7. Em Gatilho de verificação, escolha se deseja configurar um agendamento ou executar a verificação uma vez.

  8. Analise a digitalização e selecione Salvar e Executar.

Exibir suas verificações e execuções de verificação

Para exibir as verificações existentes:

  1. Acesse o portal do Microsoft Purview. No painel esquerdo, selecione Mapa de dados.
  2. Selecione a fonte de dados. Você pode exibir uma lista de verificações existentes nessa fonte de dados em Verificações recentes ou pode exibir todas as verificações na guia Verificações .
  3. Selecione a verificação que tem os resultados que você deseja visualizar. O painel mostra todas as execuções de verificação anteriores, juntamente com o status e as métricas de cada execução de verificação.
  4. Selecione a ID de execução para marcar os detalhes da execução de verificação.

Gerenciar suas varreduras

Para editar, cancelar ou excluir uma verificação:

  1. Acesse o portal do Microsoft Purview. No painel esquerdo, selecione Mapa de Dados.

  2. Selecione a fonte de dados. Você pode exibir uma lista de verificações existentes nessa fonte de dados em Verificações recentes ou pode exibir todas as verificações na guia Verificações .

  3. Selecione a verificação que você quer gerenciar. Você poderá:

    • Edite a verificação selecionando Editar verificação.
    • Cancele uma verificação em andamento selecionando Cancelar execução de verificação.
    • Exclua a verificação selecionando Excluir verificação.

Observação

  • A exclusão da verificação não exclui os ativos do catálogo criados a partir de verificações anteriores.

Linhagem

Depois de verificar a origem do Metastore do Hive, você pode navegar pelo Catálogo unificado ou pesquisar o Catálogo unificado para exibir os detalhes do ativo.

Vá para a guia ativo -> linhagem, você pode ver a relação do ativo quando aplicável. Consulte a seção de recursos com suporte nos cenários de linhagem do Metastore do Hive com suporte. Para obter mais informações sobre linhagem em geral, consulte linhagem de dados e guia do usuário de linhagem.

Próximas etapas

Agora que você registrou sua fonte, use os seguintes guias para saber mais sobre o Microsoft Purview e seus dados:

  • Last updated on