Guia do usuário da linhagem de dados para o Catálogo de Dados clássico

Este artigo fornece uma visão geral dos recursos de linhagem de dados no Catálogo de Dados do Microsoft Purview clássico.

Para exibir a linhagem de dados no Catálogo unificado, você precisa primeiro pesquisar um produto de dados e, em seguida, exibir os detalhes do ativo de dados.

Histórico

Um dos recursos de plataforma do Microsoft Purview é a capacidade de mostrar a linhagem entre conjuntos de dados criados por processos de dados. Sistemas como Data Factory, Data Share e Power BI capturam a linhagem dos dados à medida que eles se movem. O relatório de linhagem personalizado também é suportado por meio de ganchos Atlas e API REST.

Coleção de linhagem

Os metadados coletados no Microsoft Purview de sistemas de dados corporativos são costurados para mostrar uma linhagem de dados de ponta a ponta. Os sistemas de dados que coletam linhagem no Microsoft Purview são amplamente categorizados nos três tipos a seguir:

• Sistemas de processamento de dados
• Sistemas de armazenamento de dados
• Análise de dados e sistemas de relatórios

Cada sistema dá suporte a um nível diferente de escopo de linhagem. Verifique as seções abaixo, ou o artigo de linhagem individual do seu sistema, para confirmar o escopo da linhagem disponível no momento.

Limitações conhecidas

• As Exibições de Banco de Dados usadas como fonte de atividade de processo (Azure Data Factory, Pipelines do Synapse SQL do Azure Banco de Dados Azure Data Share) são atualmente capturadas como objetos Tabela de Banco de Dados no Microsoft Purview. Se o Banco de Dados também for verificado, os ativos de Exibição serão descobertos separadamente no Microsoft Purview. Neste cenário, dois ativos com o mesmo nome capturados no Microsoft Purview, um como uma Tabela com linhagem de dados e outro como uma Exibição.
• Se um procedimento armazenado contiver instruções drop ou create, elas não serão capturadas no momento na linhagem.

Sistemas de processamento de dados

A integração de dados e as ferramentas de ETL podem enviar a linhagem para o Microsoft Purview em tempo de execução. Ferramentas como Data Factory, Data Share, Synapse, Azure Databricks e assim por diante pertencem a essa categoria de sistemas de processamento de dados. Os sistemas de processamento de dados referenciam conjuntos de dados como fonte de diferentes bancos de dados e soluções de armazenamento para criar conjuntos de dados de destino. A lista de sistemas de processamento de dados atualmente integrados ao Microsoft Purview para linhagem está listada na tabela abaixo.

Sistemas de armazenamento de dados

Bancos de dados & soluções de armazenamento, como Oracle, Teradata e SAP, possuem mecanismos de consulta para transformar dados usando linguagem de script. As informações de linhagem de dados de exibições/procedimentos armazenados/etc. são coletadas no Microsoft Purview e costuradas com linhagem de outros sistemas. A linhagem tem suporte para as seguintes fontes de dados por meio da verificação de dados do Microsoft Purview. Saiba mais sobre os cenários de linhagem com suporte no respectivo artigo.

Análise de dados e sistemas de relatórios

Sistemas de relatórios e análise de dados, como o Azure Machine Learning e o Power BI, relatam a linhagem no Microsoft Purview. Esses sistemas usam os conjuntos de dados de sistemas de armazenamento e processam seu metamodelo para criar painéis de BI, experimentos de ML e assim por diante.

Introdução à linhagem

A linhagem no Microsoft Purview inclui conjuntos de dados e processos. Os conjuntos de dados também são chamados de nós, enquanto os processos também podem ser chamados de bordas:

• Conjunto de dados (nó): um conjunto de dados (estruturado ou não estruturado) fornecido como uma entrada para um processo. Por exemplo, uma tabela SQL, Azure blob e arquivos (como .csv e .xml) são considerados conjuntos de dados. Na seção de linhagem do Microsoft Purview, os conjuntos de dados são representados por caixas retangulares.

• Processo (Edge): uma atividade ou transformação executada em um conjunto de dados é chamada de processo. Por exemplo, ADF atividade Copy, Data Share snapshot e assim por diante. Na seção de linhagem do Microsoft Purview, os processos são representados por caixas com bordas arredondadas.

Para acessar informações de linhagem de um ativo no Microsoft Purview, siga as etapas:

1. Abra o portal de governança do Microsoft Purview clássico ao:

   • Navegar diretamente e https://web.purview.azure.com selecionar sua conta do Microsoft Purview.
   • Abra o portal do Azure, pesquise e selecione a conta do Microsoft Purview. Selecionando o botão do portal de governança do Microsoft Purview .

2. Na página inicial do portal de governança do Microsoft Purview, pesquise um nome de conjunto de dados ou o nome do processo, como Atividade de Cópia do ADF ou Fluxo de Dados. Em seguida, pressione Enter.

3. Nos resultados da pesquisa, selecione o ativo e selecione a guia Linhagem .

   

Linhagem no nível do ativo

O Microsoft Purview dá suporte à linhagem de nível de ativo para os conjuntos de dados e processos. Para ver a linhagem do nível do ativo, acesse a guia Linhagem do ativo atual no catálogo. Selecione o nó de ativo do conjunto de dados atual. Por padrão, a lista de colunas pertencentes aos dados aparece no painel esquerdo.

Linhagem manual

A linhagem de dados no Microsoft Purview é automatizada para muitos ativos no local, em várias nuvens e em ambientes SaaS. Enquanto continuamos a adicionar mais fontes automatizadas, a linhagem manual permite que você documente metadados de linhagem para fontes em que a automação ainda não é compatível, sem usar nenhum código.

Para adicionar linhagem manual para qualquer um dos seus ativos, siga estas etapas:

1. Pesquise seu ativo no Catálogo de Dados clássico e selecione-o para exibir detalhes.

2. Selecione Editar, navegue até a guia Linhagem e selecione Adicionar linhagem manual no painel inferior.

   

3. Para configurar a linhagem do ativo:

   1. Selecione a lista suspensa de ativos para localizar o ativo na lista sugerida ou Exibir mais para pesquisar o catálogo completo. Selecione o ativo que você deseja vincular.
   2. Selecione o ícone de troca para configurar a direção do relacionamento como Produz (para linhagem downstream) ou Consome (para linhagem upstream).
   3. Se você quiser excluir uma linhagem, selecione o ícone de lixeira.

   

4. Ao adicionar linhagem entre dois ativos de dados, você também pode configurar a linhagem no nível da coluna. Selecione o ícone de expansão no início da linha, selecione as colunas upstream e downstream nas listas suspensas correspondentes para configurar o mapeamento de colunas. Selecione o ícone de adição para adicionar mais linhagem de colunas; Selecione o ícone da lixeira para excluir os existentes.

   

5. Você pode adicionar mais linhagem no nível do ativo selecionando o botão Adicionar linhagem manual novamente. Quando terminar, selecione o botão Salvar para salvar sua linhagem e sair do modo de edição.

Limitações conhecidas da linhagem manual

• A experiência atual do seletor de ativos permite selecionar apenas um ativo por vez.
• No momento, há suporte para a linhagem manual em nível de coluna para linhagem entre dois ativos de dados, embora não haja suporte quando o ativo de processo está envolvido no meio.
• Acesso de curadoria de dados necessário para ativos de origem e destino.
• Atualmente, esses tipos de ativos não permitem a linhagem manual porque dão suporte à linhagem automatizada:
  • Azure Data Factory
  • Pipelines do Synapse
  • Conjuntos de dados do Power BI
  • Procedimento armazenado Teradata
  • Procedimento armazenado do SQL do Azure

Linhagem da coluna do conjunto de dados

Para ver a linhagem em nível de coluna de um conjunto de dados, acesse a guia Linhagem do ativo atual no catálogo e siga as etapas abaixo:

1. Quando estiver na guia de linhagem, no painel esquerdo, marque a caixa de marca ao lado de cada coluna que deseja exibir na linhagem de dados.

   

2. Passe o mouse sobre uma coluna selecionada no painel esquerdo ou no conjunto de dados da tela de linhagem para ver o mapeamento da coluna. Todas as instâncias da coluna são realçadas.

   

3. Se o número de colunas for maior do que o que pode ser exibido no painel esquerdo, use a opção de filtro para selecionar uma coluna específica por nome. Como alternativa, você pode usar o mouse para percorrer a lista.

   

4. Se a tela de linhagem contiver mais nós e bordas, use o filtro para selecionar ativos de dados ou nós de processo por nome. Como alternativa, você pode usar o mouse para percorrer a janela de linhagem.

   

5. Use a alternância no painel esquerdo para realçar a lista de conjuntos de dados na tela de linhagem. Se você desativar a alternância, qualquer ativo que contenha pelo menos uma das colunas selecionadas será exibido. Se você ativar a alternância, somente os conjuntos de dados que contêm todas as colunas serão exibidos.

   

Linhagem de coluna de processo

Também é possível visualizar processos de dados, como atividades de cópia, no catálogo. Por exemplo, neste fluxo de linhagem, selecione a atividade de cópia:

A atividade de cópia se expande e, em seguida, você pode selecionar o botão Alternar para ativo , que fornecerá mais detalhes sobre o processo em si.

O processo de dados pode usar um ou mais conjuntos de dados de entrada para produzir uma ou mais saídas. No Microsoft Purview, a linhagem em nível de coluna está disponível para nós de processo.

1. Alternar entre os conjuntos de dados de entrada e saída de um menu suspenso no painel de colunas.

2. Selecione colunas de uma ou mais tabelas para ver a linhagem fluindo do conjunto de dados de entrada para o conjunto de dados de saída correspondente.

   

Procurar ativos na linhagem

1. Selecione Alternar para ativo em qualquer ativo para exibir seus metadados correspondentes na exibição de linhagem. Isso é uma maneira eficaz de navegar para outro ativo no catálogo a partir da exibição de linhagem.

   

2. A tela de linhagem pode se tornar complexa para conjuntos de dados populares. Para evitar desordem, a exibição padrão mostrará apenas cinco níveis de linhagem para o ativo em foco. O restante da linhagem pode ser expandido selecionando as bolhas na tela de linhagem. Os consumidores de dados também podem ocultar os ativos na tela que não são de interesse. Para reduzir ainda mais a desordem, desative a alternância Mais Linhagem na parte superior da tela de linhagem. Essa ação oculta todas as bolhas na tela de linhagem.

   

3. Use os botões inteligentes na tela de linhagem para obter uma visão ideal da linhagem:

   1. Tela inteira
   2. Zoom para ajustar
   3. Aumentar/diminuir o zoom
   4. Alinhar automaticamente
   5. Visualização do Zoom
   6. E mais opções:
      1. Centralizar o ativo atual
      2. Redefinir para o modo de exibição padrão

   

Criar linhagem personalizada manualmente ou com APIs REST

Um dos recursos importantes da plataforma do Microsoft Purview é a capacidade de mostrar a linhagem entre os conjuntos de dados criados pelos processos de dados. Sistemas como Data Factory, Data Share e Power BI capturam a linhagem dos dados à medida que eles se movem. Em determinadas situações, a linhagem gerada automaticamente pelo Purview está incompleta ou ausente para fins de visualização prática e/ou relatórios corporativos. Nesses cenários, você pode criar entradas de linhagem personalizadas manualmente no portal do Microsoft Purview ou por meio de ganchos do Apache Atlas e da API REST. Outro grande benefício de usar APIs REST para relatar ou criar linhagem personalizada é superar ou mitigar as limitações de funcionalidade expostas pela Linhagem Manual.

Para criar linhagem personalizada manualmente, você pode seguir este guia do usuário: Entradas de linhagem manuais no Microsoft Purview.

Para criar linhagem personalizada no Microsoft Purview usando as APIs REST, siga este guia do usuário: Microsoft Purview – Criando linhagem personalizada usando APIs REST.

Boas práticas de linhagem

Próximas etapas

• Link ao Azure Data Factory para linhagem
• Link para Azure Data Share para linhagem