Custo e desempenho do Dataflow Gen2: benchmarks de capacidade e custos de CU

O Microsoft Fabric Dataflow Gen2 oferece múltiplas formas de ingerir, transformar e carregar dados de forma eficiente. Esses métodos ajudam a equilibrar o desempenho, a escalabilidade e o custo.

Este artigo é a referência de desempenho e custo para a Geração 2 do Dataflow. Ele compara quatro cargas de trabalho comuns – cópia em massa, modelagem pesada de dados, gravações otimizadas em um lakehouse e combinação de arquivos particionados – e reporta o tempo de execução e as unidades de capacidade (CUs) que cada uma consumiu, medida a partir da telemetria de capacidade. Use-o para estimar o custo das suas próprias atualizações e para escolher a capacidade que se encaixa em cada carga de trabalho.

Em escala, a Dataflow Gen2 supera substancialmente a Dataflow Gen1 tanto em velocidade quanto em custo – e quanto maior a carga de trabalho, maior a diferença. Rodando o mesmo script M, com os mesmos dados e com a mesma capacidade de Fabric, o Dataflow Gen2 completou todos os benchmarks deste artigo de 1,7× a 21× mais rápido que o padrão do Dataflow Gen1. Em todos os cenários em que o consumo de capacidade de ambas as gerações foi medido, a Dataflow Gen2 fez esse trabalho mais rápido consumindo de 82% a 95% unidades de capacidade a menos – então o aumento de velocidade não vem ao custo de capacidade extra. Você consegue os dois ganhos juntos, sem reescrever uma única consulta.

Quanto você ganha depende da sua carga de trabalho, e o maior fator é quanto tempo suas consultas duram. A Computação Padrão cobra os primeiros 10 minutos de cada consulta a 12 CU por segundo e, depois disso, apenas 1,5 CU por cada segundo adicional; portanto, quanto mais tempo uma consulta é executada, menor se torna seu custo médio por segundo. Um fluxo de dados curto termina dentro desse primeiro nível e nunca atinge a taxa mais barata, então a diferença entre as duas gerações é pequena. Os ganhos crescem com o volume de dados e o tempo de execução, por isso os benchmarks deste artigo utilizam grandes conjuntos de dados de alto volume e atualizações de longa duração.

O Dataflow Gen2 também continua ficando mais barato por si só: os preços e os recursos atuais reduzem o consumo de CU em uma estimativa de 14% a 84%, dependendo da carga de trabalho, em comparação com o que a mesma carga de trabalho teria consumido antes de 2026.

Os seguintes recursos ajudam você a otimizar seus fluxos de dados:

• Cópia Rápida – Acelere o movimento em massa de dados antes da transformação.
• Avaliador Moderno – Acelerar a formatação de dados pesados em consultas não dobráveis.
• Consultas de preparo – Obter dados em uma camada intermediária antes de aplicar transformações, habilitando padrões ELT.
• Cópia otimizada para Lakehouse – Acelerar a gravação de dados em estágio para um destino de lakehouse em cargas de trabalho ELT.
• Computação Particionada (Preview) – Transformações em escala entre conjuntos de dados grandes e particionados.

Este artigo aborda casos de uso comuns, exemplos do mundo real e resultados de benchmarking para ajudar você a escolher a capacidade certa para sua carga de trabalho.

A Dataflow Gen2 cobra cada motor separadamente, nas taxas atuais:

• Computação padrão (consultas do mecanismo mashup) - 12 CU por segundo nos primeiros 10 minutos de cada consulta, depois 1,5 CU por segundo adicional.
• Cópia Rápida (movimentação de dados) - 1,5 CU para cada segundo de atividade de cópia, medida considerando todos os núcleos utilizados.

Para o modelo completo de taxas, veja Precificação Dataflow Gen2.

Referência rápida

Corresponda sua carga de trabalho com a funcionalidade do Dataflow Gen2 correta. Para obter um exemplo de parâmetro de comparação de cada um, consulte o cenário vinculado.

Resumo dos resultados do benchmark

A maioria dos cenários neste artigo usa o conjunto de dados Dados de Viagem da New York City Taxi & Limousine Commission (TLC) – Dados de Registro de Viagens da TLC: bilhões de registros de viagens de táxi armazenados em arquivos Parquet no ADLS Gen2, abrangendo 2021–2025 (até agosto). O Cenário 3 utiliza uma tabela Fabric lakehouse com cerca de 113 milhões de registros de viagens de táxi em Nova York abrangendo 2017 até meados de 2018. O destino é um Fabric lakehouse ou warehouse, dependendo do cenário.

A tabela a seguir resume os resultados do parâmetro de comparação em todos os cenários. Cada cenário também inclui uma linha de base do Dataflow Gen1 para comparação.

O gráfico a seguir compara os mesmos cenários por consumo de capacidade em vez de tempo de execução.

Para obter detalhes passo a passo, configurações de conjunto de dados e padrões de design para cada funcionalidade, consulte as seções de cenário a seguir.

Como medimos esses parâmetros

Cada cenário executa o mesmo script M duas vezes: uma vez no Dataflow Gen1 para estabelecer uma linha de base, e outra no Dataflow Gen2 com a capacidade em teste ativada.

Cada execução neste artigo compartilha as mesmas condições de teste:

• Todos os cenários e ambas as gerações foram executados na mesma capacidade do Fabric, portanto nenhum resultado reflete um tamanho de capacidade nem um SKU diferente.
• Não houve nenhum gateway de dados envolvido. Cada conexão ia diretamente do serviço Fabric para uma fonte de dados em nuvem.
• Cada cenário usava os mesmos dados de origem e o mesmo script M tanto para suas execuções Dataflow Gen1 quanto Dataflow Gen2.

Os números reportados significam o seguinte:

• Tempo de execução é a duração total de atualização reportada para a execução do fluxo de dados.
• CU consumida são os segundos de Unidade de Capacidade que a execução debitou da capacidade, obtidos no Microsoft Fabric Capacity Metrics app. Como o Dataflow Gen2 cobra cada mecanismo separadamente, o total de um cenário corresponde à soma de todos os mecanismos executados durante a atualização, e os valores de CU são arredondados para o segundo de CU inteiro mais próximo. Para o modelo completo de taxas, veja Precificação Dataflow Gen2.

Ao comparar as duas gerações, tenha em mente essas diferenças arquitetônicas:

• O Dataflow Gen1 usa uma arquitetura fundamentalmente diferente da Dataflow Gen2, e não suporta capacidades como Cópia Rápida, Avaliador Moderno, Cópia Otimizada para Lakehouse ou Computação Particionada.
• O Dataflow Gen1 só pode carregar dados como arquivos CSV, enquanto o Dataflow Gen2 carrega dados como arquivos Parquet nesses cenários.

Cenário 1: Copiar dados

A equipe de análise da NYC Taxi precisa carregar milhões de registros brutos de viagens Parquet do ADLS Gen2 para uma casa de lago Fabric. A equipe não precisa de transformações, apenas uma cópia direta para dar suporte à análise downstream.

Challenges

• Mova grandes volumes de dados de Parquet rapidamente para a casa do lago.
• Reduza o tempo de ingestão para atualizações diárias.
• Minimize o custo de computação para processos simples de EC (extração-carga).

Dataset

Arquivos Parquet do NYC Yellow Taxi mesclados por ano, cinco partições consolidadas (2021 até agosto de 2025).

Solução

A equipe habilita a Cópia Rápida no Dataflow Gen2. Fast Copy otimiza caminhos de movimentação de dados e paraleliza gravações para conectores compatíveis.

Design

Esta consulta combina os arquivos Parquet de cinco anos e carrega o resultado na casa do lago.

Considerações sobre Cópia Rápida

• Dá suporte aos formatos de arquivo .csv e .parquet.
• Dá suporte a até 1M linhas por tabela por execução para Banco de Dados SQL do Azure.
• É mais adequado para fluxos de extração e carga (EL) antes da etapa de transformação.

Results

Quando você ativa o Fast Copy, o Dataflow Gen2 ingere esse conjunto de dados cerca de 11× mais rápido que a linha de base do Dataflow Gen1 (00:09:08 vs. 01:38:59), reduzindo o uso de computação. Sem Cópia Rápida, o Dataflow Gen2 já é cerca de 2,8× mais rápido que o Gen1 na mesma carga de trabalho.

Quando você ativa o Fast Copy — a configuração mais otimizada do Dataflow Gen2 para esse cenário — a ingestão com Fast Copy do Cenário 1 de cinco arquivos Parquet consolidados em um lakehouse consome 14.593 segundos de CU. A tabela a seguir detalha esse total por operação:

A movimentação de dados do Fast Copy é cobrada à razão de 1,5 CU por segundo de atividade de cópia, medida como o tempo total somado em todos os núcleos nos quais a cópia é executada. Dataflow Gen2 balanceia automaticamente quantos núcleos cada cenário de Cópia Rápida usa, então uma cópia que termina rapidamente em tempo de relógio de parede ainda pode durar muitos segundos de núcleo. Qualquer tempo de consulta restante é cobrado na Computação Padrão (12 CU por segundo até 10 minutos, depois 1,5 CU por cada segundo adicional). Para o modelo de taxa completa, veja Precificação do Dataflow Gen2.

Principais conclusões

• Ativar o Fast Copy reduziu uma ingestão de 99 minutos em aproximadamente nove minutos, uma melhoria de ordem de magnitude em relação ao mesmo conjunto de dados e ao mesmo script M.
• O Dataflow Gen2 também usou 83% menos capacidade do que o Dataflow Gen1 para o mesmo trabalho (14.593 versus 84.411 segundos de CU), portanto o ganho de velocidade não ocorreu à custa de computação adicional.
• A aceleração vem da movimentação nativa e paralelizada de dados que contorna o mecanismo de mashup, por isso só se aplica às etapas de extração e carregamento que atendem aos pré-requisitos do Fast Copy. Qualquer transformação que interrompa a dobragem volta para o mecanismo padrão e perde os ganhos.
• Para fontes com suporte, trate a Cópia Rápida como o padrão para ingestão e reserve mecanismos de transformação mais pesados (cobertos nos próximos cenários) para etapas que realmente remodelam os dados.

Cenário 2: Formatação de dados pesada

Após a ingestão, a equipe aplica filtragem, substituição de valores nulos e mapeamento de códigos antes de carregar os dados no lakehouse. Essas transformações não se integram completamente ao Parquet e são lentas quando executadas na memória.

Challenges

• Aprimore a velocidade de transformação para consultas semi-dobráveis ou não dobráveis.
• Manter a criação do Power Query sem a necessidade de código.
• Reduza o tempo e o custo gerais da atualização.

Dataset

Todos os arquivos Parquet de 2021 a agosto de 2025 foram fundidos em um único arquivo consolidado.

Solução

A equipe habilita o Avaliador Moderno, um mecanismo de execução de alto desempenho projetado para uma transformação eficiente, especialmente para conectores como o ADLS Gen2 e o SharePoint.

Design

Essa consulta ingere dados de um arquivo Parquet consolidado, filtra as colunas trip_distance e fare_amount para manter valores acima de 0, substitui nulos em passenger_count por 1 e cria uma nova coluna payment_method mapeando os tipos de pagamento antes de carregar os dados na lakehouse.

Considerações sobre Avaliadores Modernos

• Os tempos de atualização esperados podem ser significativamente mais rápidos (varia de acordo com o conjunto de dados e transformações).
• Otimizado para grandes volumes (milhões de linhas).
• Benéfico para consultas não dobráveis.
• O Faster escreve para destinos como uma casa no lago.

Results

Quando você ativa o Modern Evaluator, o Dataflow Gen2 executa essa carga de trabalho de modelagem cerca de 1,7× mais rápido que a linha base do Dataflow Gen1 (00:46:29 vs. 01:19:56), preservando a experiência de Power Query sem código. Sem o Modern Evaluator, a mesma carga de trabalho é apenas cerca de 1,2× mais rápida que a Gen1 (01:08:37 vs. 01:19:56).

Quando você ativa o Modern Evaluator — a configuração de Dataflow Gen2 mais otimizada para esse cenário —, a transformação, no Cenário 2, de um único arquivo Parquet grande em um lakehouse pelo Modern Evaluator consome 10.485 segundos de CU. A tabela a seguir detalha esse total por operação:

A tarefa é executada inteiramente em Computação Padrão, que é cobrada em duas faixas: 12 CU por segundo até 10 minutos, depois 1,5 CU por cada segundo adicional. A tabela a seguir mostra como a duração faturada e o total de CUs se distribuem entre essas faixas:

Esta tabela mostra o total medido com uma decimal, então os níveis somam exatamente; o restante do artigo arredonda para 10.485 segundos.

A divisão mostra o quanto a primeira faixa domina a cobrança: os primeiros 10 minutos representam apenas cerca de 22% da execução, mas respondem por aproximadamente 69% dos segundos de CU, porque cada um desses segundos custa oito vezes mais do que um segundo na segunda faixa. Tudo o que ultrapassa os 10 minutos — a maior parte de uma execução longa de shaping — é cobrado à taxa muito menor de 1,5 CU. O Modern Evaluator reduz ainda mais a fatura ao encurtar o próprio período de cobrança, não ao alterar a tarifa. Para o modelo de taxa completa, veja Precificação do Dataflow Gen2.

Principais conclusões

• Sem o Modern Evaluator, o Dataflow Gen2 era apenas cerca de 1,2× mais rápido que a linha de base do Dataflow Gen1 nessa carga de trabalho de moldagem. Ativar o Modern Evaluator melhorou o desempenho para cerca de 1,7× mais rápido que o Gen1, em scripts e conjuntos de dados M idênticos.
• A economia de capacidade é maior do que a economia de tempo: a Dataflow Gen2 terminou 1,7× mais rápida, consumindo 82% menos capacidade que a Dataflow Gen1 (10.485 contra 56.855 ssegundos).
• Esse aumento de desempenho vem de um caminho de execução mais eficiente para consultas não dobráveis e semi-dobráveis. O Power Query tradicionalmente dedica mais tempo a essas consultas, especialmente quando você usa conectores como ADLS Gen2 e SharePoint. Ganha escala com o volume de linhas e a complexidade da modelagem.
• Use o Modern Evaluator como padrão para fluxos que usam muita formatagem, onde as consultas não retornam totalmente à fonte. Quanto maior o conjunto de dados e mais transformações você aplicar no motor, maior o impacto que você deve esperar.

Cenário 3: Cópia otimizada para Lakehouse

A equipe de análise de dados da NYC Taxi transforma uma grande tabela e grava o resultado em um lakehouse do Fabric. Escrever esse volume no destino é a parte mais lenta da atualização, então a equipe quer acelerar a escrita sem mudar a lógica de transformação.

Challenges

• Escreva um resultado grande e transformado para um destino de casa no lago rapidamente.
• Evite que a gravação de destino se torne o gargalo da atualização.
• Preserve a experiência do Power Query sem código e a lógica de transformação existente.

Dataset

Uma tabela do Fabric Lakehouse com cerca de 113 milhões de registros de viagens de táxi de Nova York, abrangendo de 2017 até meados de 2018.

Solução

A equipe ativa Habilitar staging e habilita Cópia otimizada para o Lakehouse em uma única consulta que grava em um destino do Lakehouse. A cópia otimizada para Lakehouse move o resultado preparado para o lakehouse por um caminho acelerado.

Design

O fluxo de dados de referência usa uma consulta única com Habilitar preparo ativado e um destino lakehouse que usa V-Order. A consulta lê a tabela de táxis de NYC, com cerca de 113 milhões de fileiras de uma casa de lago Fabric, ordena as fileiras por data e hora de retirada, e adiciona duas colunas derivadas - o início do mês de retirada e a soma do imposto da MTA e da sobretaxa por melhorias. Como o staging está habilitado, Cópia otimizada para o Lakehouse grava o resultado transformado no destino do Lakehouse por um caminho acelerado, o que proporciona um tempo de execução rápido.

Considerações sobre cópia otimizada para o Lakehouse

• Isso exige Habilitar o staging na consulta e um destino de casa no lago. Para obter mais informações, consulte as opções de dados em etapas para o Dataflow Gen2.
• Ele acelera a gravação no lakehouse sem alterar a lógica de transformação.
• Combine isso com V-Order no destino para otimizar a saída para análises posteriores.

Results

Quando você ativa a cópia otimizada para o Lakehouse, o Dataflow Gen2 completa essa atualização cerca de 15× mais rápido que a linha base do Dataflow Gen1 (00:03:34 vs. 00:53:20) sem alterar a lógica de transformação. Sem ele, o mesmo fluxo de dados em etapas é cerca de 3,6× mais rápido que o da Gen1.

Quando você habilita o staging, a cópia otimizada para o Lakehouse e o V-Order — a configuração ideal do Dataflow Gen2 para esse cenário —, a atualização do Cenário 3 da tabela de táxis de NYC com 113 milhões de linhas para uma tabela no Lakehouse é concluída em 00:03:34 e consome 2.391 segundos de CU. A tabela a seguir detalha esse total por operação:

O trabalho é cobrado integralmente com base em Computação padrão (12 CU por segundo até 10 minutos; depois, 1,5 CU por segundo adicional). A cópia otimizada para o lakehouse passa pelo mecanismo de mashup, portanto não há medição separada. Para o modelo de taxa completa, veja Precificação do Dataflow Gen2.

Principais conclusões

• A cópia otimizada para o Lakehouse acelera a gravação do resultado transformado no destino do Lakehouse, reduzindo o tempo de atualização de 00:14:45 (sem esse recurso) para 00:03:34 — cerca de 4× mais rápido do que o mesmo fluxo de dados sem esse recurso e aproximadamente 15× mais rápido do que o valor de referência do Dataflow Gen1 (00:53:20).
• Esse cenário proporcionou a maior economia de capacidade em relação ao Dataflow Gen1 neste artigo: o Dataflow Gen2 consumiu 95% menos capacidade que o Dataflow Gen1 (2.391 contra 50.788 segundos).
• Isso requer Enable staging na consulta, além de um destino de lakehouse, e não altera sua lógica de transformação.
• Esse cenário usa explicitamente o V-Order na saída de destino.
• Use Cópia otimizada para o Lakehouse sempre que você escrever dados em etapas para um destino do Lakehouse e o tempo de escrita domina a atualização.

Cenário 4: Combinar arquivos

A equipe agora deve agregar e enriquecer dados de viagem em centenas de arquivos Parquet (partições mensais). As transformações incluem o cálculo de porcentagens de gorjeta no conjunto de dados.

Challenges

• Você deve processar centenas de arquivos grandes.
• As transformações exigem agrupamento, agregação e enriquecimento entre partições.
• A execução sequencial torna-se um gargalo.

Dataset

Cinquenta e seis arquivos Parquet (2021–agosto de 2025).

Solução

A equipe habilita o Partitioned Compute (Preview), que paraleliza o processamento entre partições e funde resultados de forma eficiente.

Design

Essa consulta combina 56 arquivos Parquet e cria uma nova coluna personalizada para o percentual de gorjeta, "Tip Pctg", no arquivo Transform Sample antes de carregar os dados no armazém de dados.

Considerações sobre computação particionada

• Atualmente em versão prévia e está disponível apenas no Dataflow Gen2 com CI/CD; o recurso ainda está recebendo melhorias.
• Use-o quando a origem não oferecer suporte ao dobramento.
• Fornece o melhor desempenho ao carregar dados no estágio ou no armazém de dados.
• Use o arquivo de transformação de exemplo de Combine files para garantir uma lógica de transformação consistente.
• Dá suporte a um subconjunto de transformações; o desempenho varia.

Results

O Partitioned Compute oferece desempenho cerca de 21× mais rápido do que a linha de base Dataflow Gen1 (00:04:48 vs. 01:40:57) em grandes conjuntos de dados particionados e multi-arquivo.

Partitioned Compute visa o tempo de execução real em vez do custo. Ele roda partições em paralelo, então a atualização termina mais rápido, mas esse paralelismo distribui o trabalho por mais computação em vez de reduzi-lo, então o custo normalmente é semelhante ou maior que a mesma carga de trabalho sem o recurso. O consumo de CU não foi medido para esse cenário, então este artigo informa apenas o tempo de execução.

Principais conclusões

• A Computação Particionada proporcionou um aumento de velocidade de 21 vezes em relação ao padrão de comparação do Dataflow Gen1 e terminou em um tempo inferior a cinco minutos. Como a capacidade está em prévia e ainda recebendo melhorias, espere que esses números evoluam.
• Trate a Computação Particionada como uma forma de terminar mais rápido, não de gastar menos. O paralelismo reduz o tempo do relógio de parede ao rodar partições ao mesmo tempo, então o custo normalmente é semelhante ou maior que a mesma carga de trabalho sem ele.
• O ganho vem do processamento de cada partição em paralelo e da subsequente mesclagem dos resultados, portanto, é mais eficaz em fontes com vários arquivos ou particionadas onde o folding não está disponível e a avaliação sequencial é o gargalo.
• Use o padrão de arquivo de transformação Sample dos arquivos Combine para que a lógica de transformação seja aplicada de forma consistente por cada partição. O Partitioned Compute atualmente suporta um subconjunto de transformações, então valide se seus passos de modelagem são compatíveis antes de confiar nele, e verifique novamente conforme a prévia evoluir.
• Para a ingestão particionada de alto volume para uma área de preparo ou um warehouse, defina Computação Particionada como padrão e combine-a com o Avaliador Moderno sempre que possível. Como ainda está em prévia, valide-o em relação à sua própria carga de trabalho antes de adotá-lo para atualizações de produção.

Custo ao longo do tempo (antes vs. agora)

O Dataflow Gen2 tornou-se mais eficiente em termos de custo para rodar ao longo do tempo. A mesma lógica, com os mesmos dados, consome menos CUs hoje do que no passado, sem necessidade de alterações nas suas consultas.

Nessa comparação, isso significa a mesma carga de trabalho sob os preços e capacidades geralmente disponíveis antes de 2026. Agora significa que a mesma carga de trabalho é executada hoje com as melhores configurações geralmente disponíveis (como Modern Evaluator e Fast Copy). Ambas as colunas utilizam a melhor configuração geralmente disponível de seu período. Os números atuais são medidos pela telemetria de capacidade. Os números de então são estimativas do que a mesma carga de trabalho teria consumido na época, porque as condições de serviço anteriores não podem ser reproduzidas hoje.

Por exemplo, a carga de trabalho pesada de modelagem no Cenário 2 teria consumido cerca de 66.164 segundos antes de 2026, e agora consome 10.485 segundos. Essa mudança é uma redução de 84% com lógica idêntica e sem necessidade de alterações. Duas melhorias se combinam para criá-lo. Primeiro, a precificação do Standard Compute passou a ser em níveis: em vez de uma taxa fixa de 16 CU por segundo durante toda a execução, apenas os primeiros 10 minutos são cobrados a 12 CU por segundo, e cada segundo após isso é cobrado a apenas 1,5 CU, de modo que a longa cauda de uma carga de trabalho de modelagem agora custa uma fração do que custava antes. Em segundo lugar, o Modern Evaluator — disponível para o público em geral desde abril de 2026 — reduz a própria duração faturável, de modo que há menos segundos a serem faturados em qualquer uma das duas faixas. Uma execução mais curta, cobrada com base em uma tarifa de longo prazo muito mais barata, é o que explica por que o consumo de CU cai de forma tão acentuada, e também por que combinar o Modern Evaluator com o atual modelo de preços em camadas é tão importante para fluxos de dados com muita transformação.

A ingestão por Cópia Rápida no Cenário 1 teria consumido cerca de 17.055 segundos de CU antes de 2026 e agora consome 14.593 segundos de CU. Essa mudança representa uma redução de 14%, decorrente da queda da taxa de Computação Standard de uma taxa fixa de 16 CU por segundo para 12 CU por segundo por até 10 minutos; a parcela de movimentação de dados da Cópia Rápida permanece inalterada. A cópia otimizada para a atualização do Lakehouse no Cenário 3 teria consumido cerca de 14.173 segundos antes de 2026, e agora consome 2.391 segundos. Essa mudança representa uma redução de 83%. Cada comparação usa a mesma carga de trabalho com as melhores configurações geralmente disponíveis de seu período.

Perguntas frequentes

Como o Dataflow Gen2 é faturado?

A Dataflow Gen2 fatura cada motor separadamente em Unidades de Capacidade de Fabric (CUs). O Standard Compute (o mecanismo de mashup) cobra 12 CU por segundo durante os primeiros 10 minutos de cada consulta e, depois, 1,5 CU por cada segundo adicional. A Cópia Rápida (movimentação de dados) cobra 1,5 CU para cada segundo de atividade de cópia, medido em todos os núcleos nos quais a cópia é executada. Você é cobrado apenas pelo cálculo que cada consulta realmente usa, sem taxa fixa por atualização e sem cobrança por tempo ocioso. Para o modelo completo de taxas, veja Precificação Dataflow Gen2.

O preço da Dataflow Gen2 é elástico?

Sim. O Dataflow Gen2 cobra apenas pela capacidade computacional que cada consulta realmente consome, medida em Unidades de Capacidade do Fabric (CUs). Não há taxa fixa por atualização, nem cobrança por tempo de inatividade, nem cobranças diretas durante a fase de criação para funcionalidades nativas. Nos benchmarks deste artigo, uma atualização completa consumiu 14.593 segundos para uma ingestão de Cópia Rápida e 10.485 segundos para uma carga de trabalho pesada de moldagem.

Como posso estimar o custo do meu Dataflow Gen2 antes de rodar toda a carga de trabalho?

Faça uma pequena atualização representativa e meça seu consumo, em vez de construir a solução completa e só descobrir o custo depois. Para estimar o custo desta forma:

• Construa o fluxo de dados em uma amostra ou em uma única partição da sua fonte em vez do conjunto de dados completo.
• Atualize-o uma vez e, em seguida, leia os segundos de CU consumidos no aplicativo Microsoft Fabric Capacity Metrics.
• Verifique o histórico de atualização do fluxo de dados para ver quais motores foram executados, pois Computação Padrão e Cópia Rápida são cobradas separadamente.
• Divida os segundos de CU medidos pelo número de linhas ou GB que você processou para obter uma taxa por unidade e, depois, multiplique pelo volume total de dados.

Para o método completo, veja Calcular custos estimados usando o aplicativo Fabric Metrics e histórico de atualização de fluxo de dados.

Quanto tempo leva uma atualização do Dataflow Gen2?

Depende do volume de dados e das transformações que você aplica. Nos benchmarks deste artigo, as atualizações do Dataflow Gen2 variaram de 00:03:34 para uma cópia otimizada de uma tabela de 113 milhões de fileiras em uma casa de lago, até 00:46:29 para uma carga pesada de moldagem sobre um grande arquivo consolidado de Parquet. Uma cópia em massa de cinco arquivos Parquet consolidados foi concluída em 00:09:08 com Cópia Rápida, e uma combinação de 56 arquivos particionados foi concluída em 00:04:48 com Processamento Particionado (Prévia). Para os tempos completos por cenário, veja o resumo dos resultados do benchmark.

Qual capacidade Dataflow Gen2 reduz mais o custo?

Depende da carga de trabalho, pois cada funcionalidade mira um gargalo diferente: Cópia Rápida para ingestão sem transformações, Avaliador Moderno para modelagem de dados não dobráveis, Cópia otimizada para Lakehouse para acelerar escritas em um destino de Lakehouse, e Computação Particionada (Prévia) para grandes conjuntos de dados multi-arquivo. Em comparação com a referência do Dataflow Gen1, a Cópia otimizada para o Lakehouse gerou a maior economia nesses benchmarks, com 95% menos segundos de CU. Em comparação com execuções equivalentes do Dataflow Gen2 anteriores a 2026, o Modern Evaluator apresentou a maior redução estimada, com 84% menos segundos de CU em uma carga de trabalho intensa de transformação de dados. Para ajustar uma capacidade à sua carga de trabalho, veja a referência rápida.

Como posso fazer um Dataflow Gen2 atualizar mais rápido?

Ajuste a capacidade ao gargalo: ative o Fast Copy para fontes de extração-load suportadas, ative o Modern Evaluator para transformações não dobráveis, ative a cópia otimizada para o Lakehouse ao escrever dados em estágio para um destino do lakehouse, e use o Partitioned Compute (Preview) para grandes conjuntos de dados particionados ou multi-arquivo. Cada recurso tem seu desempenho comparado neste artigo com base no ganho específico de desempenho que proporcionou em relação ao baseline do Dataflow Gen1.

Preciso mudar minhas consultas para conseguir essas melhorias?

Não. Cada benchmark neste artigo executou o mesmo script M em ambas as gerações e todas as configurações. Cópia Rápida, Avaliador Moderno e cópia otimizada para o Lakehouse são configurações que você pode ativar, e elas alteram a forma como o mecanismo executa suas consultas, e não as consultas em si. Uma ressalva: o Fast Copy só se aplica a etapas que atendem aos seus pré-requisitos, portanto, uma transformação que interrompe o query folding volta a usar o mecanismo padrão e perde esse ganho. Para esses pré-requisitos, veja Cópia rápida no Dataflow Gen2.

O Dataflow Gen2 é mais rápido e barato que o Dataflow Gen1?

Para cargas de trabalho de alto volume como as referenciadas neste artigo, sim, em ambos os casos. Dataflow Gen2 rodava entre 1,7× e 21× mais rápido que a linha de base Dataflow Gen1 com os mesmos dados e o mesmo script M, consumindo 82% a 95% unidades de capacidade a menos nos cenários em que ambas as gerações eram medidas. Por exemplo, uma cópia em massa que levou 01:38:59 no Dataflow Gen1 terminou em 00:09:08 no Dataflow Gen2 com Cópia Rápida - cerca de 11× mais rápido. A diferença é menor para fluxos de dados de execução curta, porque uma consulta que termina nos primeiros 10 minutos nunca atinge a camada mais barata de 1,5 CU; por isso, os ganhos aumentam com o volume de dados e o tempo de execução. Para a comparação completa por cenário, veja o resumo dos resultados do benchmark.

Quanta capacidade o Dataflow Gen1 consome em comparação com o Dataflow Gen2?

Nos cenários em que ambas as gerações foram medidas, o Dataflow Gen1 consumiu várias vezes mais capacidade que o Dataflow Gen2 para o mesmo trabalho de alto volume. A ingestão do Fast Copy consumiu 84.411 segundos no Dataflow Gen1 contra 14.593 segundos no Dataflow Gen2, uma redução de 83%. A carga intensa de transformação de dados consumiu 56.855 segundos de CU no Dataflow Gen1, em comparação com 10.485 segundos de CU no Dataflow Gen2, uma redução de 82%. A carga de trabalho de cópia otimizada para o Lakehouse consumiu 50.788 segundos de CU no Dataflow Gen1, em comparação com 2.391 segundos de CU no Dataflow Gen2, uma redução de 95%. Essas três atualizações duram bem mais de 10 minutos, então a maior parte da duração do Dataflow Gen2 é cobrada pela taxa mais baixa de 1,5 CU. Para os números por cenário, veja o resumo dos resultados do benchmark.

Devo mover meus dataflows Dataflow Gen1 para Dataflow Gen2?

Sim. O Dataflow Gen2 é a geração atual dos fluxos de dados no Microsoft Fabric, portanto planeje migrar qualquer fluxo de dados do Dataflow Gen1 para essa versão. Nos benchmarks deste artigo, o Dataflow Gen2 executou o mesmo script M de 1,7 a 21 vezes mais rápido, consumindo de 82% a 95% menos unidades de capacidade do que o Dataflow Gen1 — a mesma lógica, sendo executada mais rapidamente e usando menos capacidade. As capacidades que entregam esses ganhos - Cópia Rápida, Avaliador Moderno, Cópia otimizada para Lakehouse e Computação Particionada - estão disponíveis apenas no Dataflow Gen2, então a diferença só aumenta conforme essas capacidades melhoram. Espere os maiores ganhos em atualizações de alto volume e longa duração. À medida que você migra, teste uma carga de trabalho representativa para confirmar os ganhos com seus próprios dados e sua própria capacidade. Para começar, veja a visão geral do Dataflow Gen2.

O Dataflow Gen2 se tornou mais eficiente em termos de custos com o tempo?

Sim. A carga de trabalho de modelagem intensiva no Cenário 2 teria consumido cerca de 66.164 segundos de CU antes de 2026 e agora consome 10.485 segundos de CU com os recursos atualmente disponíveis de forma geral, uma redução estimada de 84%, com lógica idêntica e sem necessidade de alterações. Para valores por cenário, veja Custo ao longo do tempo (antes vs. agora).

Os números antigos de custo e desempenho da Gen2 do Dataflow ainda são precisos?

Não necessariamente. Os números deste artigo refletem o modelo atual de preços do Dataflow Gen2: 12 CU por segundo durante até 10 minutos de Computação Padrão e, em seguida, 1,5 CU por segundo adicional, bem como recursos atuais, como Fast Copy e Modern Evaluator. Como a Gen2 do Dataflow se tornou mais rápida e eficiente em termos de custos ao longo do tempo, números de referência ou estimativas de custo publicadas antes de 2026 podem superestimar o custo atual ou subestimar o desempenho atual. Valide suas próprias cargas de trabalho com o aplicativo Microsoft Fabric Capacity Metrics.

Conteúdo relacionado

• Precificação do Dataflow Gen2
• Cópia rápida no Dataflow Gen2
• Avaliador moderno do Dataflow Gen2 com CI/CD
• Opções de dados em etapas para Dataflow Gen2
• Computação Particionada para Dataflow Gen2 (Prévia)