Práticas recomendadas para obter o melhor desempenho com o Dataflow Gen2

Este artigo fornece as práticas recomendadas para otimizar o desempenho do Dataflow Gen2 no Fabric Data Factory. Seguindo essas diretrizes, você pode aprimorar a eficiência e a velocidade dos processos de integração de dados.

O que você aprenderá

Neste artigo, você descobrirá:

• Principais áreas de otimização de desempenho: noções básicas sobre os três componentes críticos (fonte de dados, mecanismo de fluxo de dados e destino de dados) que afetam o desempenho do fluxo de dados
• Técnicas de otimização principais: como aproveitar a cópia rápida, dobramento de consulta e estágio para maximizar a eficiência
• Cenários do mundo real: desafios comuns de desempenho e suas soluções específicas
• Práticas recomendadas: diretrizes acionáveis para diferentes padrões de integração de dados e casos de uso

Quais são as principais áreas em que se concentrar para otimização de desempenho?

Dentro da experiência de ponta a ponta do fluxo de dados, há várias áreas-chave nas quais se concentrar para otimização de desempenho. Essas áreas incluem a movimentação de dados, o mecanismo de fluxo de dados e as transformações de dados. Cada um desses componentes e os caminhos entre eles desempenham um papel crucial no desempenho geral do fluxo de dados e otimizá-los pode levar a melhorias significativas no tempo de execução e na utilização de recursos.

Movimentação de dados

A movimentação de dados é um aspecto crítico do desempenho do fluxo de dados. Envolve a transferência de dados entre vários componentes, como fontes de dados, áreas de preparo e destinos finais. A movimentação eficiente de dados pode reduzir significativamente o tempo de execução e o consumo de recursos. No Dataflow Gen2, a movimentação de dados é otimizada por meio de técnicas como Fast Copy, que permite a transferência de dados de alta taxa sem a sobrecarga de transformações que não se aplicam ao sistema de origem. Saiba mais sobre a Cópia Rápida.

Transformação de dados

A transformação de dados é o processo de conversão de dados de uma estrutura para outra, geralmente envolvendo operações como filtragem, agregação e junção. No Dataflow Gen2, as transformações são projetadas para serem eficientes e aplicar recursos de dobragem de consulta sempre que possível. O query folding permite que as transformações sejam empurradas para o sistema de origem, reduzindo a quantidade de dados transferidos e processados no Dataflow Gen2. Essa redução é particularmente importante para grandes conjuntos de dados, pois minimiza a carga de trabalho no mecanismo de fluxo de dados e acelera o tempo de execução. Para saber mais sobre a dobragem de consultas, vá para a dobragem de consulta. Siga também outras práticas recomendadas para otimização de consulta, como filtrar cedo e frequentemente, usar a parametrização para limitar as visualizações de dados e evitar transformações desnecessárias em seu fluxo de dados. Para saber mais sobre a otimização de consulta, acesse a otimização de consulta.

Dados de preparação e computação de armazém

Os dados de staging são uma técnica usada para melhorar o desempenho armazenando temporariamente resultados intermediários em uma área de staging. O Dataflow Gen2 vem com um Lakehouse e um Data Warehouse de preparação, que podem ser usados para executar transformações com mais eficiência. Ao preparar dados, você pode usar os recursos de computação dessas áreas de preparo para dividir fluxos de dados complexos em etapas gerenciáveis, reduzindo o tempo de processamento geral. Esse detalhamento é particularmente útil para grandes conjuntos de dados ou transformações complexas que, de outra forma, levariam muito tempo para serem executadas em uma única etapa. Você pode considerar os locais de staging como uma área de armazenamento temporária que permite consolidar transformações. Essa abordagem é especialmente benéfica ao trabalhar com fontes de dados que não dão suporte ao dobramento de consultas ou quando as transformações são muito complexas para serem propagadas ao sistema de origem. Para aplicar o processo de preparação com eficiência, você pode ficar atento aos indicadores de dobra no editor do fluxo de dados para garantir que suas transformações estejam sendo transferidas para a fonte. Se você notar que uma transformação não está se simplificando, considere dividir a consulta em duas consultas e aplicar a transformação na segunda consulta. Habilite o staging na primeira consulta para executar a transformação na computação Lakehouse ou Warehouse de staging. Essa abordagem permite que você aproveite os recursos de computação disponíveis nas áreas de preparo, garantindo que seu fluxo de dados permaneça eficiente e responsivo.

Quando você tiver dados já estagiados no Lakehouse ou Warehouse e aplicar mais transformações que se integram totalmente nas consultas a seguir, o fluxo de dados gravará a saída no Warehouse de estágio. Isso pode ser mais rápido do que gravar no Lakehouse de preparo porque o conjunto de dados pode ser escrito em paralelo pelo DW e passará por menos saltos de rede com suas respectivas etapas de serialização.

Cenários e quais otimizações considerar

Ao trabalhar com o Dataflow Gen2, é essencial entender os vários cenários que você pode encontrar e como otimizar o desempenho em cada caso. As considerações a seguir fornecem orientações práticas sobre como aplicar as práticas recomendadas a situações do mundo real. Ao adaptar sua abordagem com base nas características específicas de seus dados e transformações, você pode obter um desempenho ideal em seus fluxos de trabalho de integração de dados. Aqui estão alguns cenários comuns que você pode encontrar ao trabalhar com o Dataflow Gen2, juntamente com as ações recomendadas para otimizar o desempenho. Lembre-se de que a otimização de desempenho é um processo contínuo e muito específico para seu cenário. Talvez seja necessário ajustar sua abordagem com base nas características específicas de seus próprios dados e transformações.

Consideração 1: Melhorar a movimentação de dados com Cópia Rápida

Nesse cenário, você observará que a movimentação de dados entre a fonte de dados e a área de preparo ou para o destino final está demorando mais do que o esperado. Vários fatores podem estar envolvidos, como latência de rede, tamanhos de conjunto de dados grandes ou métodos de transferência de dados ineficientes.

Nesse caso, considere avaliar o caminho de movimentação de dados e otimize-o para melhor desempenho. Uma abordagem é usar a Cópia Rápida para transferência de dados de alta taxa de transferência, o que pode reduzir significativamente o runtime. A Cópia Rápida foi projetada para lidar com grandes volumes de dados com eficiência, minimizando a sobrecarga associada aos métodos tradicionais de transferência de dados. No entanto, tenha cuidado: se você adicionar transformações na mesma consulta de uma operação de Cópia Rápida, isso poderá desabilitar a Cópia Rápida se as transformações não se integrarem ao sistema de origem. Nesses casos, considere separar a consulta em duas etapas: uma para a operação de Cópia Rápida e outra para as transformações usando a computação do Lakehouse ou Warehouse de preparação. Essa abordagem permite que você aproveite a Cópia Rápida para movimentação de dados de alta taxa de transferência enquanto executa as transformações necessárias em uma etapa separada. Saiba mais sobre a Cópia Rápida.

Você pode habilitar a Cópia Rápida nas configurações de fluxo de dados. Essa configuração está habilitada por padrão, mas você também pode exigir que a Cópia Rápida seja usada para uma consulta específica em seu fluxo de dados. Para fazer isso, selecione a opção Exigir Cópia Rápida nas configurações de consulta. Essa ação garante que a Cópia Rápida seja usada para a consulta selecionada e que ela ignore o limite de tamanho mínimo para Cópia Rápida. Essa configuração é particularmente útil quando você deseja garantir que a Cópia Rápida seja usada para consultas específicas, independentemente do tamanho dos dados ou de outras condições. Se você precisar de Cópia Rápida, verifique se a fonte de dados é compatível com a Cópia Rápida e se as transformações na consulta podem ser enviadas por push para o sistema de origem. Se você precisar de Cópia Rápida em uma consulta que não seja compatível com Cópia Rápida, o fluxo de dados falhará. Se você não precisar de Cópia Rápida, o fluxo de dados ainda será executado, mas ele poderá voltar ao método de movimentação de dados padrão, que pode não ser tão eficiente quanto a Cópia Rápida. Essa flexibilidade permite otimizar seu fluxo de dados com base nos requisitos específicos dos processos de integração de dados.

Consideração 2: Melhorar o tempo de execução para transformações complexas usando o preparo

Nesse cenário, você tem um fluxo de dados com várias transformações complexas, como junções, agregações e filtragem. O tempo de execução é maior do que o desejado e você deseja otimizar o desempenho dessas transformações.

Nesse caso, considere dividir o fluxo de dados em etapas menores e mais gerenciáveis. Em vez de executar todas as transformações em uma única consulta, você pode preparar os dados em um staging Lakehouse ou Warehouse e, em seguida, aplicar as transformações em consultas seguintes. Essa abordagem permite que você aplique os recursos de computação da área de preparo para transformações complexas, reduzindo o tempo de execução geral. Além disso, garanta que suas transformações sejam projetadas para se adaptarem ao sistema de origem sempre que possível, pois isso pode melhorar significativamente o desempenho, reduzindo a quantidade de dados transferidos e processados no Dataflow Gen2. Se você observar que determinadas transformações não dobram, considere dividi-las em consultas separadas e aplicá-las após o preparo dos dados.

Na imagem a seguir, observe como os indicadores de colapso no editor de fluxo de dados podem ajudá-lo a identificar quais transformações estão sendo aplicadas diretamente ao sistema de origem.

Para implementar os estágios de forma eficaz, você pode dividir o fluxo de dados em duas consultas. Faça isso clicando com o botão direito do mouse na primeira etapa que não se dobra ao sistema de origem e selecionando a opção Extrair anterior. Essa ação cria uma nova consulta que estagia os dados na área de preparo do Lakehouse ou do Warehouse, permitindo que você execute a transformação em uma etapa separada. Essa abordagem ajuda você a aproveitar os recursos de computação disponíveis nas áreas de preparo, garantindo que seu fluxo de dados permaneça eficiente e responsivo.

Em seguida, forneça um nome para a nova consulta e selecione "OK".

Agora, com a nova consulta criada, você pode verificar se o ambiente de teste está habilitado para a primeira consulta. Se o staging não estiver habilitado, você poderá habilitá-lo selecionando a opção Habilitar staging nas configurações de consulta. Essa ação permite que você execute transformações na computação do Lakehouse ou warehouse de preparo, otimizando o desempenho do fluxo de dados. O uso da segunda consulta é opcional, mas pode melhorar ainda mais o desempenho ao permitir que você execute transformações adicionais na área intermediária antes de escrever o resultado final para o destino.

Se você agora observar os indicadores de dobra no editor de fluxo de dados, as transformações na primeira consulta estão sendo desdobradas para o sistema de origem. A segunda consulta pode não refletir os mesmos indicadores de dobra, pois é apenas durante o runtime que tem consciência da área de preparo e das transformações que podem ser enviadas para a área de preparo.

Para saber mais sobre como otimizar suas transformações de fluxo de dados e garantir que elas estejam sendo aplicadas ao sistema de origem, vá para dobramento de consulta.

Consideração 3: Otimizar a movimentação de dados da área de staging para o Lakehouse quando o destino é um Lakehouse

Nesse cenário, use um destino do Lakehouse para o seu fluxo de dados e habilite o staging para executar transformações antes de gravar a saída final. Verifique se a etapa que move os dados em etapas para o Lakehouse não adiciona sobrecarga desnecessária ao tempo de atualização geral.

Um Lakehouse é um destino de alto desempenho com suporte completo para esse padrão. A movimentação de dados do Warehouse de preparo para o destino Lakehouse é otimizada, portanto você não precisa mais alterar o destino para um Warehouse para obter um bom desempenho. A abordagem recomendada é o padrão ELT: use Fast Copy para carregar os dados rapidamente, execute suas transformações nos dados em staging usando a computação de staging do Fabric e grave o resultado final no Lakehouse. Para grandes conjuntos de dados, a Cópia Rápida continua sendo a maneira recomendada de mover os dados com eficiência.

Para aproveitar ao máximo esse padrão hoje, separe a Cópia Rápida e o trabalho de transformação em duas consultas: uma consulta que executa a movimentação de dados com a Cópia Rápida e uma segunda consulta que aplica as transformações aos dados em estágio antes de gravar no destino do Lakehouse. Combinar uma operação de Cópia Rápida com transformações que não dobram na mesma consulta desabilita a Cópia Rápida, portanto, mantê-las em consultas separadas é a principal coisa a ser observado. Se suas transformações forem totalmente convertidas na origem, você também pode gravar diretamente no Lakehouse com o preparo desativado.

Ao preparar dados e gravar em um destino do Lakehouse, ative a opção Cópia otimizada para o Lakehouse (Versão prévia) na guia Escala para rotear os dados preparados para o Lakehouse por meio do caminho de cópia mais rápido, o que reduz a sobrecarga da etapa de preparação para o Lakehouse. Para obter mais informações, consulte as opções de dados em etapas para o Dataflow Gen2.

Consideração 4: Pré-visualizações de grandes volumes de dados em tempo de design

Nesse cenário, você está trabalhando em um fluxo de dados com grandes conjuntos de dados, e a experiência durante o design é lenta devido ao tamanho das pré-visualizações de dados. Esse processo pode dificultar a criação e o teste do fluxo de dados com eficiência.

Nesse caso, considere usar a exibição de esquema ou a parametrização para limitar o tamanho das visualizações de dados. Aplicando filtros com base em parâmetros, como um intervalo de datas ou IDs específicas, você pode reduzir a quantidade de dados exibidos no ambiente de tempo de design. Essa abordagem ajuda a manter o ambiente de design responsivo e eficiente, permitindo que você se concentre em criar e testar seu fluxo de dados sem ser prejudicado por visualizações de dados grandes. Além disso, você pode ajustar os parâmetros durante o runtime para recuperar o conjunto de dados completo quando necessário.

Por exemplo, se você estiver trabalhando com um grande conjunto de dados transacional, poderá criar um parâmetro que filtra os dados com base em um intervalo de datas específico. Dessa forma, durante o tempo de design, você só vê um subconjunto dos dados relevantes para seu trabalho atual. Quando estiver pronto para executar o fluxo de dados, você poderá ajustar o parâmetro para incluir o conjunto de dados completo, garantindo que os processos de integração de dados permaneçam eficientes e responsivos. O exemplo a seguir mostra como configurar um parâmetro no Dataflow Gen2:

1. Selecione a opção Gerenciar parâmetros no editor de fluxo de dados.

2. Selecione o botão Adicionar parâmetro para adicionar um novo parâmetro.

   

3. Preencha os detalhes do parâmetro, como nome, tipo e valor. Por exemplo, você pode criar um parâmetro chamado DesignDateFilter do tipo DateTime com um valor padrão que limita a visualização de dados a um intervalo de datas específico.

   

4. Aplique o parâmetro em suas consultas de fluxo de dados usando-o nas condições de filtro. Por exemplo, você pode filtrar os dados com base no parâmetro DesignDateFilter para limitar a visualização de dados a um intervalo de datas específico. Nesse caso, filtramos os dados para incluir apenas registros em que a coluna "Date" é maior que o parâmetro DesignDateFilter .

   

5. Agora você pode usar o parâmetro DesignDateFilter em suas consultas de fluxo de dados para limitar a visualização de dados durante o tempo de design. Quando estiver pronto para executar o fluxo de dados, você poderá ajustar o valor do parâmetro para incluir o conjunto de dados completo, garantindo que os processos de integração de dados permaneçam eficientes e responsivos.

   

Outra opção é usar a exibição de esquema, que permite ver a estrutura de seus dados sem carregar todo o conjunto de dados. Essa exibição fornece uma visão geral de alto nível dos tipos de dados e colunas em seu conjunto de dados, permitindo que você projete e teste seu fluxo de dados sem ser afetado por visualizações de dados grandes. Para alternar para o modo de exibição de esquema, selecione a opção Exibição de esquema no editor de fluxo de dados.

Consideração 5: Características de runtime do fluxo de dados gen2 em comparação com o Dataflow Gen1

Nesse cenário, você observará que o desempenho do Dataflow Gen2 é mais lento do que o do Dataflow Gen1, especialmente em termos de tempo de execução e uso de recursos. Essa diferença de desempenho pode ser devido a vários fatores, incluindo as diferenças nas técnicas de otimização e nos formatos de saída usados no Dataflow Gen2.

O Dataflow Gen2 produz dados no formato Delta Parquet quando você usa armazenamento temporário ou pontos de destino do Lakehouse, o que é diferente do formato de saída CSV do Dataflow Gen1. Embora o Delta Parquet possa resultar em runtimes de ETL mais longos em comparação com o CSV, ele permite recursos de downstream avançados, como Direct Lake, Lakehouses e Warehouses, permitindo que esses serviços consumam dados com eficiência sem processamento ou custo adicional. Essa diferença no método de armazenamento significa que, embora o tempo de execução inicial possa ser maior, o desempenho geral e a eficiência dos processos downstream podem ser significativamente melhorados e podem levar a um melhor desempenho a longo prazo dos fluxos de trabalho de integração de dados. Saiba mais sobre o formato Delta Parquet.

Consideração 6: Otimizando o tempo de atualização para grandes conjuntos de dados transacionais usando a atualização incremental

Nesse cenário, você está lidando com um grande conjunto de dados transacional que é atualizado com frequência e deseja otimizar o tempo de atualização do fluxo de dados. Essa otimização pode ser desafiadora devido ao volume de dados e à necessidade de processar apenas os registros novos ou alterados.

Nesse caso, considere usar a atualização incremental ou o padrão para acumular dados incrementalmente. A atualização incremental permite processar apenas os dados novos ou alterados desde a última atualização, reduzindo a quantidade de dados processados e acelerando o tempo de execução geral. Essa abordagem é particularmente útil para cenários em que os dados são atualizados com frequência, como em sistemas transacionais. Ao implementar a atualização incremental, você pode otimizar o desempenho do fluxo de dados e garantir que os processos de integração de dados permaneçam eficientes e responsivos. Saiba mais sobre a atualização incremental ou saiba mais sobre o padrão de dados de acumulação incremental.

Consideração 7: Estou usando um gateway para me conectar à minha fonte de dados local e quero otimizar o desempenho do meu fluxo de dados

Nesse cenário, você está usando um gateway para se conectar à fonte de dados local e deseja otimizar o desempenho do fluxo de dados. Os gateways podem introduzir latência e sobrecarga adicionais, o que pode afetar o desempenho geral do fluxo de dados.

Nesse caso, considere dividir seu fluxo de dados em dois fluxos de dados separados: um para movimentação de dados da fonte de dados local para um destino de dados (como um Lakehouse ou Warehouse) e outro para transformações e saída final. Essa abordagem permite otimizar a etapa de movimentação de dados aproveitando a Cópia Rápida para transferência de dados de alta taxa de transferência, mantendo a etapa de transformação focada no processamento dos dados com eficiência e na redução do tempo de execução geral. Separando as etapas de movimentação e transformação de dados, você pode reduzir o impacto da latência do gateway e das limitações de capacidade. O motivo disso é que o gateway está executando todo o fluxo de dados e, se o fluxo de dados for complexo ou tiver muitas transformações, poderá levar a um desempenho mais lento à medida que o gateway processa todas as transformações no computador que hospeda o gateway. Ao dividir o fluxo de dados, você pode garantir que o gateway seja responsável apenas pela etapa de movimentação de dados, o que pode melhorar significativamente o desempenho e reduzir o tempo de execução.

Consideração 8: Estou usando os conectores de fluxo de dados para consumir dados do fluxo de dados e quero otimizar meus processos de integração de dados

Nesse cenário, você está usando conectores para consumir dados do seu fluxo de dados e deseja otimizar seus processos de integração de dados. Os conectores de fluxo de dados podem fornecer uma maneira conveniente de acessar e consumir dados.

Nesse caso, considere usar destinos de dados em vez de conectores de fluxo de dados para consumir dados de seu fluxo de dados. Destinos de dados, como Lakehouses e Warehouses, foram projetados para armazenar e fornecer dados com eficiência, permitindo que você aplique seus recursos para consumo downstream. Um grande benefício do uso de destinos de dados é que eles geralmente atendem a maneiras mais genéricas de se conectar a dados, como o ponto de extremidade do SQL ou usar os recursos do Direct Lake, o que pode melhorar significativamente o desempenho e reduzir o consumo de recursos.

Consideração 9: Habilitar o Avaliador Moderno para melhorar o desempenho de execução da consulta

Nesse cenário, você deseja otimizar o desempenho geral do fluxo de dados, especialmente para transformações complexas ou ao trabalhar com conectores que não dão suporte à inclusão de consultas.

Nesse caso, considere habilitar o Mecanismo de Avaliação de Consulta Moderna (Avaliador Moderno) para seu Dataflow Gen2 com CI/CD. O Avaliador Moderno é um novo mecanismo de execução de consulta em execução no .NET Core 8 que pode melhorar significativamente o desempenho das execuções de fluxo de dados. É recomendável sempre habilitar esse recurso para cenários com suporte, pois ele oferece vários benefícios principais:

• Execução mais rápida do fluxo de dados: o mecanismo moderno pode reduzir substancialmente o tempo de avaliação da consulta. Muitos fluxos de dados são executados visivelmente mais rapidamente, permitindo que você atualize os dados com mais frequência ou atenda a janelas de atualização apertadas.
• Processamento mais eficiente: o mecanismo é otimizado para eficiência, usando algoritmos aprimorados e um runtime moderno. Isso significa que ele pode lidar com transformações complexas com menos sobrecarga, o que ajuda a manter o desempenho à medida que o volume de dados aumenta.
• Escalabilidade e confiabilidade: acelerando a execução e reduzindo gargalos, o Avaliador Moderno ajuda os fluxos de dados a serem dimensionados para volumes maiores com maior estabilidade. Você pode esperar durações de atualização mais consistentes e menos problemas de tempo limite em grandes fluxos de dados.

O Avaliador Moderno é particularmente benéfico quando:

• Você está trabalhando com conectores não dobráveis ou parcialmente dobráveis
• Você está aplicando filtros, derivações de coluna ou operações de limpeza de dados
• Você está lidando com grandes volumes de dados ou transformações complexas
• Seus fluxos de dados são executados várias vezes por dia e você precisa acumular economia de tempo

Para habilitar o Avaliador Moderno:

1. Abra o fluxo de dados no editor do Power Query.
2. Selecione Opções no menu.
3. Navegue até a guia Escala.
4. Ative a opção mecanismo de moderna avaliação de consultas.
5. Salve e execute seu fluxo de dados.

O Avaliador Moderno dá suporte a uma lista crescente de conectores. Para obter a lista completa de conectores com suporte e o status do recurso atual, consulte o Avaliador Moderno para o Fluxo de Dados Gen2 com CI/CD. Se o fluxo de dados usar conectores que não estão na lista com suporte, essas consultas continuarão a ser executadas com o mecanismo padrão.

Para saber mais sobre o Avaliador Moderno, consulte o Avaliador Moderno para o Fluxo de Dados Gen2 com CI/CD.

Conclusion

Seguindo essas práticas recomendadas e considerando as características específicas de seus dados e transformações, você pode otimizar o desempenho do Dataflow Gen2 no Fabric Data Factory. Se você estiver trabalhando com grandes conjuntos de dados, transformações complexas ou padrões de integração de dados específicos, essas diretrizes fornecem insights acionáveis para aprimorar a eficiência e a velocidade dos processos de integração de dados. Lembre-se de que a otimização de desempenho é um processo contínuo e talvez seja necessário ajustar sua abordagem com base nas necessidades em evolução dos fluxos de trabalho de integração de dados. Monitorando e otimizando continuamente seus fluxos de dados, você pode garantir que eles permaneçam eficientes e responsivos aos seus requisitos de negócios.