Como obter a linhagem do Azure Synapse Analytics para o Microsoft Purview

Este artigo explica as etapas necessárias para conectar um workspace do Azure Synapse a uma conta do Microsoft Purview para acompanhar a linhagem de dados e ingerir fontes de dados. O artigo também explica detalhes do escopo de cobertura de atividades e os recursos de linhagem com suporte.

Quando você conecta o Azure Synapse Analytics ao Microsoft Purview, sempre que uma atividade de pipeline com suporte é executada, os metadados sobre os dados de origem da atividade, os dados de saída e a atividade serão ingeridos automaticamente no Mapa de Dados do Microsoft Purview.

Se uma fonte de dados já tiver sido verificada e existir no mapa de dados, o processo de ingestão adicionará as informações de linhagem do Azure Synapse Analytics a essa fonte existente. Se a origem ou saída não existir no mapa de dados e tiver suporte da linhagem do Azure Synapse Analytics, o Microsoft Purview adicionará automaticamente seus metadados do Synapse Analytics ao mapa de dados na coleção raiz de domínio padrão.

Essa pode ser uma excelente maneira de monitorar seu patrimônio de dados à medida que os usuários movem e transformam informações usando o Azure Synapse Analytics.

Recursos do Azure Synapse com suporte

Atualmente, o Microsoft Purview captura a linhagem de runtime das seguintes atividades do pipeline do Azure Synapse:

• Copiar dados
• Fluxo de Dados

atividade Copy support

* No momento, o Microsoft Purview não dá suporte a consulta ou procedimento armazenado para linhagem ou verificação. A linhagem é limitada apenas a fontes de tabela e exibição.

Se você usar o Integration Runtime auto-hospedado, observe a versão mínima com suporte de linhagem para:

• Qualquer caso de uso: versão 5.9.7885.3 ou posterior
• Copiando dados do Oracle: versão 5.10 ou posterior
• Copiando dados para o Azure Synapse Analytics por meio do comando COPY ou do PolyBase: versão 5.10 ou posterior

Limitações na linhagem da atividade de cópia

No momento, se você usar os seguintes recursos de atividade de cópia, a linhagem ainda não terá suporte:

• Copie dados para o Azure Data Lake Storage Gen1 usando o formato binário.
• Configuração de compactação para arquivos binários, texto delimitado, Excel, JSON e XML.
• Opções de partição de origem para o Banco de Dados SQL do Azure, a Instância Gerenciada do SQL do Azure, o Azure Synapse Analytics, o SQL Server e a Tabela SAP.
• Copie dados para o coletor baseado em arquivo com a configuração de máx. linhas por arquivo.
• Atualmente, a linhagem no nível da coluna não é suportada pela atividade de cópia quando origem/coletor é conjunto de recursos.

Além da linhagem, o esquema do ativo de dados (mostrado na guia Ativo -> Esquema) é relatado para os seguintes conectores:

• Arquivos CSV e Parquet no blob do Azure, Arquivos do Azure, ADLS Gen1, ADLS Gen2 e Amazon S3
• Azure Data Explorer, Banco de Dados SQL do Azure, Instância Gerenciada de SQL do Azure, Análise de Azure Synapse, SQL Server, Teradata

Suporte ao Fluxo de Dados

* No momento, o Microsoft Purview não dá suporte a consulta ou procedimento armazenado para linhagem ou verificação. A linhagem é limitada apenas a fontes de tabela e exibição.

Limitações na linhagem de fluxo de dados

• A linhagem do fluxo de dados pode gerar um conjunto de recursos no nível da pasta sem visibilidade dos arquivos envolvidos.
• Atualmente, não há suporte para a linhagem no nível de coluna quando origem/coletor é conjunto de recursos.
• Para a linhagem da atividade de fluxo de dados, o Microsoft Purview dá suporte apenas à exibição da origem e do coletor envolvidos. A linhagem detalhada para a transformação do fluxo de dados ainda não tem suporte.
• A linhagem não é suportada quando os flowlets fazem parte do fluxo de dados.
• Atualmente, o Purview não dá suporte a relatórios de linhagem para tabelas do Synapse (LakeHouse DB/Workspace DB)

Acessar conta segura do Microsoft Purview

Se sua conta do Microsoft Purview estiver protegida por firewall, saiba como permitir que o Azure Synapse acesse uma conta segura do Microsoft Purview por meio de pontos de extremidade privados do Microsoft Purview.

Traga a linhagem do Azure Synapse para o Microsoft Purview

Etapa 1: conectar o workspace do Azure Synapse à sua conta do Microsoft Purview

Você pode conectar um workspace do Azure Synapse ao Microsoft Purview, e a conexão permite que o Azure Synapse envie informações de linhagem para o Microsoft Purview. Siga as etapas em Conectar o workspace do Synapse ao Microsoft Purview. Vários workspaces do Azure Synapse podem se conectar a uma única conta do Microsoft Purview para acompanhamento holístico da linhagem.

Etapa 2: Executar pipeline no espaço de trabalho do Azure Synapse

Você pode criar pipelines com a atividade Copy no workspace do Azure Synapse. Você não precisa de nenhuma outra configuração para captura de dados de linhagem. Os dados de linhagem serão capturados automaticamente durante a execução das atividades.

Etapa 3: Monitorar o status de relatórios de linhagem

Depois de executar o pipeline do Azure Synapse, na exibição de monitoramento de pipeline do Synapse, você poderá marcar o status do relatório de linhagem selecionando o seguinte botão de status de linhagem. As mesmas informações também estão disponíveis na seção JSON de>reportLineageToPurvew saída da atividade.

Etapa 4: exibir informações de linhagem em sua conta do Microsoft Purview

Na sua conta do Microsoft Purview, você pode procurar ativos e escolher o tipo "Azure Synapse Analytics". Você também pode pesquisar no Catálogo unificado usando palavras-chave.

Selecione a conta do Synapse -> pipeline -> atividade, você pode exibir as informações de linhagem.

Monitorar os links do Azure Synapse Analytics

No portal de governança do Microsoft Purview, você pode monitorar os links do Azure Synapse Analytics.

Próximas etapas

Guia do usuário da linhagem do catálogo

Link para Azure Data Share para linhagem