Como obter linhagem do fluxo de ar para o Microsoft Purview (versão prévia)

O Airflow é uma plataforma de automação e agendamento de fluxo de trabalho de código aberto que pode ser usada para criar e gerenciar pipelines de dados. O Microsoft Purview dá suporte à coleta de linhagem do Airflow integrando-se ao OpenLineage, uma estrutura aberta para coleta e análise de linhagem de dados. Saiba mais sobre como o Airflow funciona com o OpenLineage aqui.

Habilitar o OpenLineage no Airflow rastreia automaticamente metadados e linhagem sobre trabalhos e conjuntos de dados à medida que os DAGs são executados. As informações são enviadas para um Hubs de Eventos do Azure que você configurar. O Microsoft Purview assina os eventos, analisa-os e ingere-os no mapa de dados.

Recursos compatíveis

As versões de fluxo de ar suportadas são 1.10+ e 2.0-2.7.

O Microsoft Purview dá suporte à coleta de metadados e linhagem quando os seguintes tipos de fontes de dados são usados no Airflow:

• Amazon RDS for PostgreSQL
• Banco de dados do Azure para PostgreSQL
• BigQuery do Google
• PostgreSQL
• Snowflake

Os seguintes metadados do fluxo de ar são capturados junto:

• Espaço de trabalho do Airflow
• Fluxo de ar DAG
• Tarefa de fluxo de ar

A linhagem é coletada no Microsoft Purview após execuções bem-sucedidas do DAG de maneira baseada em eventos.

Limitações conhecidas

• No momento, não há suporte para a linhagem em nível de coluna. O esquema dos ativos de dados é capturado.
• Se as exibições de banco de dados forem referenciadas nas tarefas, elas serão capturadas como ativos de tabela.
• Todos os metadados são ingeridos na coleção raiz do Microsoft Purview. Os ativos já existentes no mapa de dados são preservados na coleção configurada.

Como trazer a linhagem do Airflow para o Microsoft Purview

Como pré-requisito, você precisa de uma instância do Airflow em execução.

Para obter a linhagem do Airflow para o Microsoft Purview, você precisa:

1. Configurar um Hubs de Eventos do Azure
2. Configurar Hubs de Eventos para publicar mensagens no Microsoft Purview
3. Configure seu fluxo de ar com o OpenLineage
4. Executar trabalhos do Airflow e exibir os ativos/linhagem

Configurar Hubs de Eventos do Azure

Configure um Hubs de Eventos do Azure como o receptor dos metadados e da linhagem rastreados pelo OpenLineage no Airflow.

1. Crie um namespace de Hubs de Eventos do Azure.

2. Crie um hub de eventos. Nomeie seu hub de eventos como "microsoft_internal_openlineage".

   

3. Vá para os hubs de eventos "microsoft_internal_openlineage" -Controle de>acesso (IAM) -Adicionar atribuição de> função, atribua a função "Receptor de Dados Hubs de Eventos do Azure" à identidade gerenciada da sua conta do Microsoft Purview. Para obter etapas detalhadas, consulte Atribuir funções do Azure usando o portal do Azure.

Configurar Hubs de Eventos para publicar mensagens no Microsoft Purview

O Microsoft Purview dá suporte ao consumo e envio de eventos de/para seus próprios Hubs de Eventos. Siga este documento para configurar Hubs de Eventos para o Microsoft Purview: Configurar Hubs de Eventos com o Microsoft Purview para enviar e receber mensagens de tópicos do Atlas Kafka.

Em resumo:

• Vá para sua conta do Microsoft Purview -> guia Recursos gerenciados, desabilite o namespace dos Hubs de Eventos gerenciados.

• Vá para a guia configuração do Kafka ->+ Adicionar configuração ->Hook configuration, insira um nome e selecione o namespace dos Hubs de Eventos e os Hubs de Eventos que você criou na etapa anterior.

  

Configure seu fluxo de ar com o OpenLineage

Instalação:

Para baixar e instalar a biblioteca "openlineage-airflow" mais recente, atualize o arquivo "requirements.txt" da instância do Airflow em execução com:

openlineage-airflow

Configuração:

Em seguida, configure sua instância dos Hubs de Eventos do Azure como o destino para o qual o OpenLineage envia os eventos.

1. Crie um arquivo 'openlineage.yml' no caminho raiz do Airflow. O conteúdo do arquivo é o seguinte:

   transport:
     type: "kafka"
     config:
       bootstrap.servers: "{EVENTHUB_SERVER}:9093"
       security.protocol: "SASL_SSL"
       sasl.mechanism: "PLAIN"
       sasl.username: "$ConnectionString"
       sasl.password: "{PASSWORD}"
       client.id: "airflow-client"
     topic: "microsoft_internal_openlineage"
     flash: True
   

   Substitua os dois espaços reservados por valores:

   • Obtenha o {EVENTHUB_SERVER} do namespace dos Hubs de Eventos ->Nome do host:

     

   • Obtenha o {PASSWORD} do namespace dos Hubs de Eventos ->Políticas de acesso compartilhado ->Cadeia de conexão - chave primária ou cadeia de conexão - chave secundária:

     

2. Reinicie o servidor Airflow.

Executar trabalhos do Airflow e exibir os ativos/linhagem

Agora você pode executar seus trabalhos do Airflow e, em seguida, acessar o portal de Governança do Microsoft Purview para navegar/pesquisar/exibir ativos. Os ativos devem aparecer logo após uma execução bem-sucedida do DAG.

Navegue pelos ativos do Airflow:

Exibir detalhes do ativo da tarefa do Airflow com linhagem:

Dicas de solução de problemas

Se você executar o trabalho do Airflow, mas não vir os ativos/linhagem correspondentes mostrados no Microsoft Purview:

• Verifique se o caso de uso do Airflow é compatível com o Microsoft Purview. Consulte a seção de recursos com suporte .
• Vá para a instância dos Hubs de Eventos para marcar se há solicitações e mensagens recebidas. Em caso negativo, marque novamente sua configuração do OpenLineage no Airflow.

Próximas etapas

• Saiba mais sobre a linhagem de dados no Microsoft Purview