Conectar-se e gerenciar projetos do Google BigQuery no Microsoft Purview

Este artigo descreve como registrar projetos do Google BigQuery e como autenticar e interagir com o Google BigQuery no Microsoft Purview. Para obter mais informações sobre o Microsoft Purview, leia o artigo introdutório.

Recursos compatíveis

Recursos de digitalização

Extração de metadados Verificação Completa Varredura incremental Varredura com escopo
Sim Sim Não Sim

Ao verificar a origem do Google BigQuery, o Microsoft Purview dá suporte a:

  • Extração de metadados técnicos, incluindo:

    • Projetos
    • Conjuntos de dados
    • Tabelas incluindo as colunas
    • Modos de exibição incluindo as colunas

  • Busca de linhagem estática em relacionamentos de ativos entre tabelas e exibições.

Ao configurar a verificação, você pode optar por verificar um projeto inteiro do Google BigQuery ou definir o escopo da verificação para um subconjunto de conjuntos de dados que correspondam aos nomes ou padrões de nomes.

Outros recursos

Para classificações, rótulos de confidencialidade, políticas, linhagem de dados e exibição ao vivo, consulte a lista de recursos com suporte.

Limitações conhecidas

  • Atualmente, o Microsoft Purview só dá suporte à verificação de conjuntos de dados do Google BigQuery em uma localização multirregional dos EUA. Se o conjunto de dados especificado estiver em outro local, por exemplo, us-east1 ou EU, você observará a verificação concluída, mas nenhum ativo mostrado no Microsoft Purview.
  • Quando o objeto é excluído da fonte de dados, atualmente a verificação subsequente não removerá automaticamente o ativo correspondente no Microsoft Purview.

Pré-requisitos

Permissões necessárias para verificação

A conta de serviço do Google BigQuery que você usa para a verificação precisa ter as funções do IAM BigQuery Metadata Viewer e BigQuery Job User nos projetos que você deseja verificar. Essas permissões são necessárias porque o Microsoft Purview extrai os metadados lendo as tabelas do sistema de banco de dados do Google BigQuery (por exemplo, INFORMATION_SCHEMA). E o driver JDBC do Google BigQuery subjacente cria um trabalho do BigQuery quando precisa ler essas tabelas do sistema.

O Microsoft Purview usa o protocolo Oauth 2.0 para acessar o serviço Google BigQuery. Configure a credencial seguindo as instruções na seção Criar e executar verificação .

Registrar

Esta seção descreve como registrar um projeto do Google BigQuery no Microsoft Purview usando o portal de governança do Microsoft Purview.

Passos para se registrar

  1. Abra o portal de governança do Microsoft Purview:

  2. Selecione Mapa de Dados na navegação à esquerda.

  3. Selecione Registrar.

  4. Em Registrar fontes, selecione Google BigQuery . Selecione Continuar.

    Origem do BigQuery

Na tela Registrar origens (Google BigQuery), faça o seguinte:

  1. Insira um Nome em que a fonte de dados será listada no Catálogo.

  2. Insira o ProjectID. Essa deve ser uma ID de projeto totalmente qualificada. Por exemplo, mydomain.com:myProject

  3. Escolha uma coleção na lista.

  4. Selecione Registrar.

    configurar a origem do BigQuery

Examinar

Siga as etapas abaixo para verificar um projeto do Google BigQuery para identificar ativos automaticamente. Para obter mais informações sobre a verificação em geral, consulte nossa introdução às verificações e ingestão.

Criar e executar verificação

  1. No Centro de Gerenciamento, selecione Runtimes de integração. Verifique se um runtime de integração auto-hospedada está configurado. Se não estiver configurado, use as etapas mencionadas nos pré-requisitos.

  2. Navegue até Fontes.

  3. Selecione o projeto do BigQuery registrado.

  4. Selecione + Nova verificação.

  5. Forneça os detalhes abaixo:

    1. Name: O nome da verificação

    2. Conectar-se por meio do runtime de integração: selecione o runtime de integração auto-hospedada configurado

    3. Credencial: ao configurar a credencial do BigQuery, faça o seguinte:

      • Selecione a Autenticação Básica como o método de autenticação
      • Forneça a ID de e-mail da conta de serviço no campo Nome de usuário. Por exemplo, xyz\@developer.gserviceaccount.com
      • Siga as etapas abaixo para gerar a chave privada, copie todo o arquivo de chave JSON e armazene-o como o valor de um segredo do Key Vault.

      Para criar uma nova chave privada da plataforma de nuvem do Google:

      1. No menu de navegação, selecione IAM & Administração -> Contas de serviço -> Selecione um projeto ->
      2. Selecione o endereço de email da conta de serviço para a qual você deseja criar uma chave.
      3. Selecione a guia Chaves .
      4. Selecione o menu suspenso Adicionar chave e, em seguida, selecione Criar nova chave.
      5. Escolha o formato JSON.

      Observação

      O conteúdo da chave privada é salvo em um arquivo temporário na VM quando os processos de verificação estão em execução. Esse arquivo temporário é excluído depois que as verificações são concluídas com êxito. No caso de uma falha de verificação, o sistema continuará a tentar novamente até obter êxito. Verifique se o acesso é restrito adequadamente na VM em que o SHIR está em execução.

      Para entender mais sobre credenciais, consulte o link aqui.

    4. Local do driver: especifique o caminho para o local do driver JDBC em seu computador em que o runtime de integração de auto-host está em execução. Por exemplo: D:\Drivers\GoogleBigQuery.

      1. Para o runtime de integração auto-hospedada em um computador local: D:\Drivers\GoogleBigQuery. Esse é o caminho para o local válido da pasta JAR. O valor deve ser um caminho de arquivo absoluto válido e não contém espaço. Verifique se o driver está acessível pelo runtime de integração auto-hospedada; Saiba mais na seção Pré-requisitos.
      2. Para o runtime de integração auto-hospedada com suporte do Kubernetes: ./drivers/GoogleBigQuery. Esse é o caminho para o local válido da pasta JAR. O valor deve ser um caminho de arquivo relativo válido. Consulte a documentação para configurar uma verificação com drivers externos para carregar drivers com antecedência.

    5. Conjunto de dados: especifique uma lista de conjuntos de dados do BigQuery para importar. Por exemplo, dataset1;dataset2. Quando a lista estiver vazia, todos os conjuntos de dados disponíveis serão importados. Os padrões de nome de conjunto de dados aceitáveis podem ser nomes estáticos ou conter caracteres curinga%.

      Exemplo: A%;%B;%C%;D

      • Comece com A ou
      • terminam com B ou
      • contêm C ou
      • igual a D

      O uso de NOT e caracteres especiais não é aceitável.

    6. Memória máxima disponível: Memória máxima (em GB) disponível em sua VM para ser usada pelos processos de verificação. Isso depende do tamanho do projeto do Google BigQuery a ser verificado.

      verificar a origem do BigQuery

  6. Selecione Testar conexão.

  7. Selecione Continuar.

  8. Escolha o gatilho de verificação. Você pode configurar uma programação ou executar a verificação uma vez.

  9. Analise a digitalização e selecione Salvar e Executar.

Exibir suas verificações e execuções de verificação

Para exibir as verificações existentes:

  1. Acesse o portal do Microsoft Purview. No painel esquerdo, selecione Mapa de dados.
  2. Selecione a fonte de dados. Você pode exibir uma lista de verificações existentes nessa fonte de dados em Verificações recentes ou pode exibir todas as verificações na guia Verificações .
  3. Selecione a verificação que tem os resultados que você deseja visualizar. O painel mostra todas as execuções de verificação anteriores, juntamente com o status e as métricas de cada execução de verificação.
  4. Selecione a ID de execução para marcar os detalhes da execução de verificação.

Gerenciar suas varreduras

Para editar, cancelar ou excluir uma verificação:

  1. Acesse o portal do Microsoft Purview. No painel esquerdo, selecione Mapa de Dados.

  2. Selecione a fonte de dados. Você pode exibir uma lista de verificações existentes nessa fonte de dados em Verificações recentes ou pode exibir todas as verificações na guia Verificações .

  3. Selecione a verificação que você quer gerenciar. Você poderá:

    • Edite a verificação selecionando Editar verificação.
    • Cancele uma verificação em andamento selecionando Cancelar execução de verificação.
    • Exclua a verificação selecionando Excluir verificação.

Observação

  • A exclusão da verificação não exclui os ativos do catálogo criados a partir de verificações anteriores.

Linhagem

Depois de verificar sua fonte do Google BigQuery, você pode navegar pelo Catálogo unificado ou pesquisar o Catálogo unificado para visualizar os detalhes do ativo.

Vá para a guia ativo -> linhagem, você pode ver a relação do ativo quando aplicável. Consulte a seção de recursos compatíveis nos cenários de linhagem compatíveis do Google BigQuery. Para obter mais informações sobre linhagem em geral, consulte linhagem de dados e guia do usuário de linhagem.

Exibição de linhagem do Google BigQuery

Próximas etapas

Agora que você registrou sua fonte, siga os guias abaixo para saber mais sobre o Microsoft Purview e seus dados.

  • Last updated on