Custos e desempenho do Dataflow Gen2: benchmarks de capacidade e custos de CU

O Microsoft Fabric Dataflow Gen2 oferece múltiplas formas de ingerir, transformar e carregar dados de forma eficiente. Estes métodos ajudam-no a equilibrar desempenho, escalabilidade e custo.

Este artigo é a referência de desempenho e custo do Dataflow Gen2. Compara o desempenho de quatro cargas de trabalho comuns — cópia em massa, modelação intensiva de dados, escritas otimizadas num lakehouse e combinação de ficheiros particionados — e indica o tempo de execução e as unidades de capacidade (CUs) consumidas por cada uma, medidos com base na telemetria da capacidade. Utilize-o para estimar quanto custam as suas próprias atualizações e para escolher a capacidade adequada a cada carga de trabalho.

Em escala, a Dataflow Gen2 supera substancialmente a Dataflow Gen1 tanto em velocidade como em custo – e quanto maior a carga de trabalho, maior a diferença. Executando o mesmo script M, com os mesmos dados e com a mesma capacidade de Fabric, o Dataflow Gen2 completou todos os benchmarks deste artigo 1,7× a 21× mais rápido do que a linha base do Dataflow Gen1. Em todos os cenários em que foi medido o consumo de capacidade de ambas as gerações, a Dataflow Gen2 fez esse trabalho mais rápido, consumindo entre 82% a 95% menos unidades de capacidade – por isso o aumento de velocidade não vem à custa de capacidade extra. Consegues ambos os ganhos juntos, sem reescrever uma única consulta.

Quanto ganhas depende da tua carga de trabalho, e o maior fator é a duração das tuas consultas. O Standard Compute cobra os primeiros 10 minutos de cada consulta à taxa de 12 CU por segundo e, depois disso, apenas 1,5 CU por cada segundo adicional, pelo que, quanto mais tempo uma consulta durar, menor se torna o seu custo médio por segundo. Um fluxo de dados curto termina dentro desse primeiro nível e nunca atinge a taxa mais barata, por isso a diferença entre as duas gerações é pequena. Os ganhos crescem com o volume de dados e o tempo de execução, razão pela qual os benchmarks neste artigo utilizam conjuntos de dados grandes e de grande volume e atualizações de longa duração.

O Dataflow Gen2 também continua a ficar mais barato por si só: a atual estrutura de preços e capacidades reduz o consumo de CU entre cerca de 14% e 84%, dependendo da carga de trabalho, em comparação com o que a mesma carga de trabalho teria consumido antes de 2026.

As seguintes capacidades ajudam-no a otimizar os seus fluxos de dados:

• Cópia Rápida – Acelerar o movimento de dados em massa antes da transformação.
• Avaliador Moderno – Acelerar a modelagem pesada de dados em consultas não dobráveis.
• Consultas de preparação – Carregar os dados numa camada intermédia antes de aplicar transformações, permitindo padrões ELT.
• Cópia otimizada para o Lakehouse – Acelera a escrita de dados preparados temporariamente para um destino no Lakehouse em cargas de trabalho ELT.
• Computação Particionada (Pré-visualização) – Transformações de escala em conjuntos de dados grandes e particionados.

Este artigo aborda casos de uso comuns, exemplos reais e resultados de benchmarking para o ajudar a escolher a capacidade certa para a sua carga de trabalho.

A Dataflow Gen2 fatura cada motor separadamente, às taxas atuais:

• Computação Padrão (consultas do motor mashup) - 12 CU por segundo até 10 minutos de cada consulta, depois 1,5 CU por cada segundo adicional.
• Cópia Rápida (movimento de dados) - 1,5 CU por segundo de atividade de cópia, medido no conjunto de todos os núcleos utilizados.

Para o modelo completo de preços, veja preços do Dataflow Gen2.

Referência rápida

Ajusta a tua carga de trabalho à capacidade Dataflow Gen2 correta. Para um exemplo de referência de cada um, veja o cenário relacionado.

Resumo dos resultados do benchmark

A maioria dos cenários neste artigo utiliza o conjunto de dados de viagens da Comissão de Táxis e Limusinas da Cidade de Nova Iorque (TLC) – Dados de Registo de Viagens TLC: milhares de milhões de registos de viagens de táxi armazenados em ficheiros Parquet no ADLS Gen2, abrangendo 2021–2025 (até agosto). O Cenário 3 utiliza uma tabela Fabric lakehouse com cerca de 113 milhões de registos de viagens de táxi em Nova Iorque, abrangendo 2017 até meados de 2018. O destino é uma casa de lago ou armazém Fabric, dependendo do cenário.

A tabela seguinte resume os resultados dos benchmarks em todos os cenários. Cada cenário inclui também uma linha base Dataflow Gen1 para comparação.

O gráfico seguinte compara os mesmos cenários por consumo de capacidade em vez de tempo de execução.

Para detalhes passo a passo, configurações de conjuntos de dados e padrões de design para cada capacidade, consulte as secções de cenários que se seguem.

Como medimos estes parâmetros

Cada cenário executa o mesmo script M duas vezes: uma vez no Dataflow Gen1 para estabelecer uma linha base, e outra no Dataflow Gen2 com a capacidade em teste ativada.

Cada execução neste artigo partilha as mesmas condições de teste:

• Todos os cenários e ambas as gerações foram executados na mesma capacidade do Fabric, pelo que nenhum resultado reflete uma dimensão de capacidade ou um SKU diferentes.
• Não houve qualquer gateway de dados envolvido. Cada ligação ia diretamente do serviço Fabric para uma fonte de dados na cloud.
• Cada cenário usava os mesmos dados de origem e o mesmo script M tanto para as execuções Dataflow Gen1 como Dataflow Gen2.

Os números reportados significam o seguinte:

• O tempo de execução é a duração total de atualização reportada para a execução do fluxo de dados.
• CU consumida corresponde aos segundos de Unidade de Capacidade que a execução imputou à capacidade, obtidos a partir da aplicação Métricas de Capacidade do Microsoft Fabric. Como o Dataflow Gen2 faturar cada motor de processamento separadamente, o total de um cenário é a soma de todos os motores de processamento que foram executados durante a atualização, e os valores de CU são arredondados ao segundo de CU inteiro mais próximo. Para o modelo completo de preços, veja preços do Dataflow Gen2.

Ao comparar as duas gerações, tenha em mente estas diferenças arquitetónicas:

• O Dataflow Gen1 utiliza uma arquitetura fundamentalmente diferente da Dataflow Gen2, e não suporta capacidades como Cópia Rápida, Avaliador Moderno, Cópia Otimizada para Lakehouse ou Computação Particionada.
• O Dataflow Gen1 só pode carregar dados como ficheiros CSV, enquanto o Dataflow Gen2 carrega dados como ficheiros Parquet nestes cenários.

Cenário 1: Copiar dados

A equipa de análise da NYC Taxi precisa de carregar milhões de registos brutos de viagens Parquet do ADLS Gen2 numa casa de lago Fabric. A equipa não precisa de transformações, precisa apenas de uma cópia direta para suportar análises posteriores.

Challenges

• Mova rapidamente grandes volumes de dados em formato Parquet para o lakehouse.
• Reduza o tempo de ingestão para renovações diárias.
• Minimizar o custo de computação para cargas de trabalho simples de extração-carga (EL).

Dataset

Ficheiros Yellow Taxi Parquet de Nova Iorque fundidos por ano, cinco partições consolidadas (2021–agosto 2025).

Solução

A equipa disponibiliza Cópia Rápida no Dataflow Gen2. O Fast Copy otimiza os caminhos de movimento dos dados e paraleliza as escritas para conectores suportados.

Design

Esta consulta combina os ficheiros Parquet de cinco anos, separados por ano, e carrega o resultado no lakehouse.

Considerações sobre Cópia Rápida

• Suporta os formatos de ficheiros .csv e .parquet.
• Suporta até 1 milhão de linhas por tabela por execução para Base de Dados SQL do Azure.
• Mais indicado para fluxos de trabalho de extração e carregamento (EL) antes das transformações.

Results

Quando ativas o Fast Copy, o Dataflow Gen2 ingere este conjunto de dados cerca de 11× mais rápido do que a linha base do Dataflow Gen1 (00:09:08 vs. 01:38:59) enquanto reduz o uso de computação. Sem o Fast Copy, o Dataflow Gen2 já é cerca de 2,8× mais rápido do que o Gen1 na mesma carga de trabalho.

Quando ativas o Fast Copy – a configuração Dataflow Gen2 mais otimizada para este cenário – a ingestão Fast Copy do Cenário 1 de cinco ficheiros Parquet consolidados numa casa de lago consome 14.593 segundos. A tabela seguinte decompõe esse total por operação:

A movimentação de dados Fast Copy é faturada à taxa de 1,5 CU por cada segundo de atividade de cópia, medida como o tempo total em todos os núcleos em que a cópia é executada. Dataflow Gen2 equilibra automaticamente quantos núcleos cada cenário de Cópia Rápida utiliza, por isso uma cópia que termina rapidamente em tempo de parede ainda pode abranger muitos segundos de núcleo. Qualquer tempo de consulta restante é faturado à tarifa Standard Compute (12 CU por cada segundo até 10 minutos, depois 1,5 CU por cada segundo adicional). Para o modelo de tarifa completa, consulte preços do Dataflow Gen2.

Principais conclusões

• Ativar o Fast Copy reduziu uma ingestão de 99 minutos em cerca de nove minutos, uma melhoria de ordem de magnitude em relação ao mesmo conjunto de dados e ao mesmo script M.
• O Dataflow Gen2 também utilizou menos 83% de capacidade de computação do que o Dataflow Gen1 para o mesmo trabalho (14.593 contra 84.411 segundos de UC), pelo que este aumento de velocidade não teve o custo de computação adicional.
• A aceleração resulta da transferência de dados nativa e paralelizada que ignora o motor mashup, pelo que só se aplica a etapas de extração e carregamento que satisfaçam os pré-requisitos do Fast Copy. Qualquer transformação que interrompa o folding volta a usar o motor padrão e perde os ganhos.
• Para fontes suportadas, trate o Fast Copy como o padrão para a ingestão e reserve motores de transformação mais complexos (abordados nos próximos cenários) para etapas que realmente transformam os dados.

Cenário 2: Modelação pesada de dados

Após a ingestão, a equipa aplica filtragem, substituição de valores nulos e mapeamento de códigos antes de carregar os dados para o lakehouse. Estas transformações não se integram completamente ao Parquet e são lentas em termos de desempenho na memória.

Challenges

• Melhorar a velocidade de transformação para consultas semi-dobráveis ou não dobráveis.
• Manter a criação do Power Query sem programação.
• Reduza o tempo e o custo total de atualização.

Dataset

Todos os ficheiros Parquet para 2021–agosto de 2025 foram fundidos num único ficheiro consolidado.

Solução

A equipa habilita o Modern Evaluator, um motor de execução de alto desempenho concebido para transformações eficientes, especialmente para conectores como ADLS Gen2 e SharePoint.

Design

Esta consulta ingere dados de um ficheiro Parquet consolidado, filtra as colunas trip_distance e fare_amount para manter valores acima de 0, substitui nulos em passenger_count por 1 e cria uma nova coluna payment_method mapeando os tipos de pagamento antes de carregar os dados no lakehouse.

Considerações do Avaliador Moderno

• Os tempos de atualização esperados podem ser significativamente mais rápidos (variam consoante o conjunto de dados e as transformações).
• Otimizado para grandes volumes (milhões de linhas).
• Benéfico para consultas não dobráveis.
• Escreve mais rápido para destinos como uma casa de lago.

Results

Quando ativas o Modern Evaluator, o Dataflow Gen2 executa esta carga de trabalho de modelação cerca de 1,7× mais rápido do que a linha base do Dataflow Gen1 (00:46:29 vs. 01:19:56), preservando a experiência de Power Query sem código. Sem o Modern Evaluator, a mesma carga de trabalho é apenas cerca de 1,2× mais rápida do que a Gen1 (01:08:37 vs. 01:19:56).

Quando se ativa o Modern Evaluator – a configuração de Dataflow Gen2 mais otimizada para este cenário – o Modern Evaluator do Cenário 2, que molda um único ficheiro grande de Parquet numa casa de lago, consome 10.485 segundos. A tabela seguinte decompõe esse total por operação:

A tarefa é executada inteiramente em Computação Padrão, que é cobrada de acordo com dois escalões: 12 CU por cada segundo até 10 minutos e, depois, 1,5 CU por cada segundo adicional. A tabela seguinte mostra como a duração faturada e o total de CU se distribuem pelos respetivos escalões:

Esta tabela mostra o total medido com uma casa decimal, pelo que os escalões somam exatamente; no restante artigo, o valor é arredondado para 10 485 segundos de CU.

A divisão mostra até que ponto o primeiro nível domina a fatura: os primeiros 10 minutos representam apenas cerca de 22% da execução, mas correspondem a aproximadamente 69% dos segundos de CU, porque cada um desses segundos custa oito vezes mais do que um segundo no segundo nível. Tudo o que ultrapassa os 10 minutos — a maior parte de uma execução prolongada de modelação — é cobrado à taxa muito mais baixa de 1,5 CU. O Modern Evaluator reduz ainda mais a fatura ao encurtar a duração da faturação em si, não alterando a tarifa. Para o modelo de tarifa completa, consulte preços do Dataflow Gen2.

Principais conclusões

• Sem o Modern Evaluator, o Dataflow Gen2 era apenas cerca de 1,2× mais rápido do que a linha base do Dataflow Gen1 nesta carga de trabalho de modelagem. Ativar o Modern Evaluator melhorou o desempenho para cerca de 1,7× mais rápido do que o Gen1, no script e conjunto de dados M idênticos.
• A poupança de capacidade é maior do que a poupança de tempo: o Dataflow Gen2 terminou 1,7× mais rápido, consumindo 82% menos capacidade do que o Dataflow Gen1 (10.485 contra 56.855 segundos).
• Este aumento de desempenho resulta de um percurso de execução mais eficiente para consultas não dobráveis e semidobráveis. O Power Query tradicionalmente dedica mais tempo a estas consultas, especialmente quando se usam conectores como ADLS Gen2 e SharePoint. Ganha escala com o volume das filas e a complexidade da modelagem.
• Use o Modern Evaluator como padrão para fluxos com muita formatação, onde as consultas não retornam totalmente à fonte. Quanto maior for o conjunto de dados e mais transformações aplicares no motor, maior o impacto que deves esperar.

Cenário 3: Cópia otimizada para Lakehouse

A equipa de analítica da NYC Taxi transforma uma tabela grande e grava o resultado num lakehouse do Fabric. Escrever esse volume no destino é a parte mais lenta da atualização, por isso a equipa quer acelerar a escrita sem alterar a lógica de transformação.

Challenges

• Escreva rapidamente um resultado grande e transformado para um destino de casa no lago.
• Evita que a escrita de destino se torne o gargalo da atualização.
• Preservar a experiência do Power Query sem código e a lógica de transformação existente.

Dataset

Uma tabela Fabric lakehouse com cerca de 113 milhões de viagens de táxi em Nova Iorque regista o número de viagens de táxi em Nova Iorque entre 2017 e meados de 2018.

Solução

A equipa ativa Ativar staging e Cópia otimizada para o Lakehouse numa única consulta que escreve para um destino do Lakehouse. A cópia otimizada para o Lakehouse move o resultado preparado para o Lakehouse através de uma via acelerada.

Design

O fluxo de dados de referência utiliza uma única consulta com Ativar preparação ativado e tem como destino um lakehouse que utiliza V-Order. A consulta lê a tabela de táxis de Nova Iorque, com cerca de 113 milhões de filas, de uma casa de lago em Fabric, ordena as filas por data e hora de recolha, e adiciona duas colunas derivadas – o início do mês de recolha e a soma do imposto e sobretaxa de melhoria da MTA. Como o staging está ativado, a cópia otimizada para o Lakehouse grava o resultado transformado no destino do Lakehouse através de um caminho acelerado, o que permite um tempo de execução rápido.

Considerações sobre a cópia otimizada para o Lakehouse

• Requer Habilitar staging na consulta e um destino de casa no lago. Para mais informações, consulte opções de dados em etapas para Dataflow Gen2.
• Acelera a escrita no lakehouse sem alterar a lógica de transformação.
• Combine esta opção com V-Order no destino para otimizar a saída para análises posteriores.

Results

Quando ativas a cópia otimizada para o Lakehouse, o Dataflow Gen2 completa esta atualização cerca de 15× mais rápido do que a linha base do Dataflow Gen1 (00:03:34 vs. 00:53:20) sem alterar a lógica de transformação. Sem ele, o mesmo fluxo de dados em fases é cerca de 3,6× mais rápido do que o Gen1.

Quando ativa o staging, o Optimized copy to Lakehouse e o V-Order — a configuração do Dataflow Gen2 mais otimizada para este cenário —, a atualização do Cenário 3 da tabela de táxis de NYC com 113 milhões de linhas para uma tabela no lakehouse é concluída em 00:03:34 e consome 2 391 segundos de CU. A tabela seguinte decompõe esse total por operação:

O trabalho é faturado integralmente com base na Capacidade de Computação Padrão (12 CU por segundo até 10 minutos, depois 1,5 CU por cada segundo adicional). A cópia otimizada para o lakehouse passa pelo motor de mashup, pelo que não existe um contador separado. Para o modelo de tarifa completa, consulte preços do Dataflow Gen2.

Principais conclusões

• A cópia otimizada para o Lakehouse acelera a escrita do resultado transformado no destino do Lakehouse, reduzindo o tempo de atualização de 00:14:45 (sem esta funcionalidade) para 00:03:34 — cerca de 4× mais rápido do que o mesmo fluxo de dados sem esta funcionalidade e aproximadamente 15× mais rápido do que a referência do Dataflow Gen1 (00:53:20).
• Este cenário proporcionou a maior poupança de capacidade face ao Dataflow Gen1 neste artigo: o Dataflow Gen2 consumiu 95% menos capacidade do que o Dataflow Gen1 (2.391 contra 50.788 segundos).
• Requer a opção Ativar staging na consulta e um destino lakehouse, e não altera a sua lógica de transformação.
• Este cenário usa explicitamente V-Order na saída de destino.
• Use Cópia Otimizada para o Lakehouse sempre que escrever dados em estágio para um destino de Lakehouse e o tempo de escrita dominar a atualização.

Cenário 4: Combinar ficheiros

A equipa tem agora de agregar e enriquecer dados de viagens em centenas de ficheiros Parquet (partições mensais). As transformações incluem o cálculo das percentagens de gorjetas em todo o conjunto de dados.

Challenges

• Tem de processar centenas de ficheiros grandes.
• As transformações requerem agrupamento, agregação e enriquecimento entre partições.
• A execução sequencial torna-se um gargalo.

Dataset

Cinquenta e seis ficheiros Parquet (2021–ago. 2025).

Solução

A equipa permite utilizar o Partitioned Compute (Pré-visualização), que paraleliza o processamento pelas partições e combina os resultados de forma eficiente.

Design

Esta consulta combina 56 ficheiros Parquet e cria uma nova coluna personalizada para a percentagem de gorjetas "Tip Pctg" no ficheiro Transform Sample antes de carregar os dados no armazém.

Considerações sobre Computação Particionada

• Atualmente, está em pré-visualização e disponível apenas no Dataflow Gen2 com CI/CD; esta funcionalidade continua a receber melhorias.
• Utilize-o quando a fonte não oferecer suporte a dobramento.
• Assegura o melhor desempenho ao importar dados para a área temporária ou para o armazém de dados.
• Utilize ficheiro de transformação de exemplo de Combinar ficheiros para garantir uma lógica de transformação consistente.
• Suporta um subconjunto de transformações; O desempenho varia.

Results

O Partitioned Compute oferece um desempenho cerca de 21× mais rápido do que a linha base Dataflow Gen1 (00:04:48 vs. 01:40:57) em conjuntos de dados grandes, particionados e multi-ficheiros.

A computação particionada privilegia o tempo de execução real em vez do custo. Executa partições em paralelo para que a atualização termine mais cedo, mas esse paralelismo distribui o trabalho por mais computação em vez de o reduzir, pelo que o custo é tipicamente semelhante ou superior à mesma carga de trabalho sem a funcionalidade. O consumo de CU não foi medido para este cenário, por isso este artigo apresenta apenas o tempo de execução.

Principais conclusões

• O Partitioned Compute proporcionou uma aceleração de 21× em relação à linha base do Dataflow Gen1 e terminou em menos de cinco minutos. Como a funcionalidade está em pré-visualização e ainda a receber melhorias, espera-se que estes números evoluam.
• Considere a computação particionada como uma forma de concluir mais cedo, e não de gastar menos. O paralelismo encurta o tempo do relógio de parede ao executar partições ao mesmo tempo, pelo que o custo é tipicamente semelhante ou superior ao da mesma carga de trabalho sem ela.
• O ganho vem do processamento de cada partição em paralelo e da subsequente fusão dos resultados, tornando-a assim mais eficaz em fontes multificheiro ou particionadas, onde o folding não está disponível e a avaliação sequencial é o gargalo.
• Use o padrão de ficheiro de transformação Sample dos ficheiros Combine para que a lógica de transformação seja aplicada de forma consistente por partição. O Partitioned Compute suporta atualmente um subconjunto de transformações, por isso valida se os teus passos de modelagem são compatíveis antes de confiar nele e verifica novamente à medida que a pré-visualização evolui.
• Para ingestão particionada de alto volume para staging ou warehouse, faça do Partitioned Compute o padrão e combine-o com o Modern Evaluator sempre que possível. Como ainda está em pré-visualização, valida-o contra a tua própria carga de trabalho antes de o adotares para atualizações de produção.

Custo ao longo do tempo (antes vs. agora)

O Dataflow Gen2 tornou-se mais eficiente em termos de custos ao longo do tempo. A mesma lógica, com os mesmos dados, consome hoje menos CUs do que no passado, sem necessidade de alterar as suas consultas.

Nesta comparação, significa então a mesma carga de trabalho sob os preços e capacidades geralmente disponíveis antes de 2026. Agora significa que a mesma carga de trabalho é executada hoje com as melhores definições geralmente disponíveis (como Modern Evaluator e Fast Copy). Ambas as colunas utilizam a melhor configuração geralmente disponível da sua época. Os números atuais são medidos a partir da telemetria de capacidade. Os valores de então são estimativas do que a mesma carga de trabalho teria consumido na altura, porque as condições de serviço anteriores não podem ser reproduzidas hoje.

Por exemplo, a carga de trabalho de modelação intensiva no Cenário 2 teria consumido cerca de 66 164 segundos de CU estimados antes de 2026 e agora consome 10 485 segundos de CU. Esta alteração é uma redução de 84% com lógica idêntica e sem necessidade de alterações. Duas melhorias combinam-se para o criar. Primeiro, os preços do Standard Compute passaram a ser escalonados: em vez de uma tarifa fixa de 16 CU por cada segundo durante toda a execução, apenas os primeiros 10 minutos são faturados a 12 CU por segundo e cada segundo após esse período é faturado a apenas 1,5 CU, pelo que a parte final de uma carga de trabalho de modelação agora custa uma fração do que custava. Em segundo lugar, o Modern Evaluator — disponível ao público em geral desde abril de 2026 — encurta a própria duração faturável, pelo que há menos segundos para faturar em qualquer um dos escalões. Uma execução mais curta, faturada a uma tarifa de longa duração muito mais baixa, é a razão pela qual o consumo de CU diminui tão acentuadamente, e é por isso que combinar o Modern Evaluator com o atual modelo de preços escalonados é tão importante para fluxos de dados com muita modelação.

A ingestão Fast Copy no Cenário 1 teria consumido cerca de 17 055 segundos de CU antes de 2026 e agora consome 14 593 segundos de CU. Esta alteração representa uma redução de 14%, resultante da descida da taxa do Standard Compute de uma taxa fixa de 16 CU por segundo para 12 CU por segundo durante até 10 minutos; a componente de movimentação de dados Fast Copy mantém-se inalterada. A cópia otimizada para a atualização do Lakehouse no Cenário 3 teria consumido cerca de 14.173 segundos antes de 2026, e agora consome 2.391 segundos. Esta alteração representa uma redução de 83%. Cada comparação utiliza a mesma carga de trabalho com as melhores configurações geralmente disponíveis da sua época.

Perguntas frequentes

Como é faturado o Dataflow Gen2?

O Dataflow Gen2 fatura cada motor separadamente em Unidades de Capacidade Fabric (CUs). O Standard Compute (o motor de mashup) cobra 12 CU por cada segundo durante os primeiros 10 minutos de cada consulta e, depois, 1,5 CU por cada segundo adicional. A Fast Copy (movimentação de dados) fatura 1,5 CU por cada segundo de atividade de cópia, medido em todos os núcleos em que a cópia é executada. É cobrado apenas pelo cálculo que cada consulta realmente utiliza, sem taxa fixa por atualização e sem cobrança por tempo inativo. Para o modelo completo de preços, veja preços do Dataflow Gen2.

O preço da Dataflow Gen2 é elástico?

Yes. O Dataflow Gen2 fatura apenas pelo cálculo que cada consulta realmente utiliza, medido em Unidades de Capacidade de Fabric (CUs). Não há qualquer taxa fixa por cada atualização, nem cobrança por tempo de inatividade, nem encargos diretos durante o período de criação para funcionalidades nativas. Nos testes de desempenho deste artigo, uma atualização completa consumiu 14 593 segundos de CU para uma ingestão Fast Copy e 10 485 segundos de CU para uma carga de trabalho intensa de transformação de dados.

Como posso estimar o custo do meu Dataflow Gen2 antes de executar toda a carga de trabalho?

Faça uma pequena atualização representativa e meça o que consome, em vez de construir a solução completa e descobrir o custo depois. Para estimar o custo desta forma:

• Constrói o fluxo de dados contra uma amostra ou uma única partição da tua fonte em vez do conjunto de dados completo.
• Atualize-a uma vez e, em seguida, veja os segundos de CU que consumiu na aplicação Métricas de Capacidade do Microsoft Fabric.
• Verifique o histórico de atualização do fluxo de dados para ver quais motores funcionaram, porque o Standard Compute e o Fast Copy são faturados separadamente.
• Divide os segundos de CU medidos pelas linhas ou GB que processaste para obter uma taxa por unidade e, depois, multiplica pelo volume total de dados.

Para o método completo, consulte Calcular custos estimados usando a aplicação Fabric Metrics e histórico de atualização do fluxo de dados.

Quanto tempo demora uma atualização do Dataflow Gen2?

Depende do volume de dados e das transformações que aplicas. Nos testes de desempenho deste artigo, as atualizações do Dataflow Gen2 variaram entre 00:03:34 para uma cópia otimizada de uma tabela com 113 milhões de linhas para um lakehouse e 00:46:29 para uma carga de trabalho intensiva de transformação sobre um ficheiro Parquet consolidado de grandes dimensões. Uma cópia em lote de cinco ficheiros Parquet consolidados terminou em 00:09:08 com Cópia Rápida, e uma combinação de 56 ficheiros particionados terminou em 00:04:48 com Processamento Particionado (Pré-visualização). Para os tempos completos por cenário, consulte o resumo dos resultados do benchmark.

Qual é a capacidade Dataflow Gen2 que mais reduz o custo?

Depende da carga de trabalho, porque cada funcionalidade visa um estrangulamento diferente: Cópia Rápida para ingestão sem necessidade de transformação, Avaliador Moderno para modelação de dados sem dobragem, Cópia otimizada para o Lakehouse para acelerar a escrita para um destino do Lakehouse e Computação Particionada (Pré-visualização) para grandes conjuntos de dados com vários ficheiros. Em comparação com a referência do Dataflow Gen1, a cópia otimizada para Lakehouse proporcionou a maior redução nestes benchmarks, com menos 95% de segundos de CU. Em comparação com as execuções equivalentes do Dataflow Gen2 anteriores a 2026, o Modern Evaluator produziu a maior redução estimada, com uma redução de 84% nos segundos de UC numa carga de trabalho intensiva de modelação. Para ajustar uma capacidade à sua carga de trabalho, veja a referência rápida.

Como posso fazer com que um Dataflow Gen2 atualize mais rápido?

Ajustar a capacidade ao gargalo: ativar o Fast Copy para fontes de extração-load suportadas, ativar o Modern Evaluator para transformações não dobráveis, ativar a cópia otimizada para o Lakehouse ao escrever dados em etapas para um destino do lakehouse, e usar o Partitioned Compute (Preview) para grandes conjuntos de dados particionados ou com múltiplos ficheiros. Cada funcionalidade é comparada neste artigo com o ganho de velocidade específico que proporcionou em relação ao valor de referência do Dataflow Gen1.

Preciso de alterar as minhas questões para obter estas melhorias?

Não. Cada benchmark neste artigo executou o mesmo script M em ambas as gerações e em todas as configurações. Cópia Rápida, Avaliador Moderno e Cópia Otimizada para o Lakehouse são definições que ativa e que alteram a forma como o motor executa as suas consultas, e não as próprias consultas. Uma ressalva: o Fast Copy aplica-se apenas a etapas que cumpram os seus pré-requisitos, pelo que uma transformação que interrompa o query folding reverte para o motor padrão, perdendo essa vantagem. Para conhecer esses pré-requisitos, veja Cópia rápida no Dataflow Gen2.

O Dataflow Gen2 é mais rápido e barato do que o Dataflow Gen1?

Para cargas de trabalho de alto volume como as referenciadas neste artigo, sim, em ambos os aspetos. Dataflow Gen2 funcionava entre 1,7× e 21× mais rápido do que a linha base Dataflow Gen1 com os mesmos dados e o mesmo script M, e consumia entre 82% a 95% menos unidades de capacidade nos cenários em que ambas as gerações eram medidas. Por exemplo, uma cópia em massa que demorou 01:38:59 no Dataflow Gen1 terminou em 00:09:08 no Dataflow Gen2 com Cópia Rápida - cerca de 11× mais rápido. A diferença é menor para fluxos de dados de curta duração, porque uma consulta que é concluída nos primeiros 10 minutos nunca chega ao escalão mais barato de 1,5 CU, pelo que os ganhos aumentam com o volume de dados e o tempo de execução. Para a comparação completa por cenário, consulte o resumo dos resultados do benchmark.

Quanta capacidade consome o Dataflow Gen1 em comparação com o Dataflow Gen2?

Nos cenários em que ambas as gerações eram medidas, o Dataflow Gen1 consumia várias vezes mais capacidade do que o Dataflow Gen2 para o mesmo trabalho de alto volume. A ingestão do Fast Copy consumiu 84.411 segundos no Dataflow Gen1 contra 14.593 segundos no Dataflow Gen2, uma redução de 83%. A pesada carga de trabalho de modelagem de dados consumiu 56.855 segundos no Dataflow Gen1 contra 10.485 segundos no Dataflow Gen2, uma redução de 82%. A carga de trabalho de cópia otimizada para o Lakehouse consumiu 50 788 segundos de CU no Dataflow Gen1, face a 2 391 segundos de CU no Dataflow Gen2, uma redução de 95%. Estas três atualizações duram bem mais de 10 minutos, pelo que a maior parte do tempo de execução do Dataflow Gen2 é faturada à taxa mais baixa de 1,5 CU. Para os números por cenário, consulte o resumo dos resultados do benchmark.

Devo mover os meus fluxos de dados Dataflow Gen1 para Dataflow Gen2?

Yes. Dataflow Gen2 é a geração atual de dataflows no Microsoft Fabric, por isso planeia transferir quaisquer dataflows Dataflow Gen1 para ela. Nos testes de desempenho deste artigo, o Dataflow Gen2 executou o mesmo script M entre 1,7 e 21 vezes mais depressa, consumindo entre 82% e 95% menos unidades de capacidade do que o Dataflow Gen1 — a mesma lógica, executada mais rapidamente e consumindo menos da sua capacidade. As capacidades que proporcionam esses ganhos – Cópia Rápida, Avaliador Moderno, Cópia Otimizada para Lakehouse e Computação Particionada – estão disponíveis apenas na Geração 2 do Dataflow, pelo que a diferença continua a aumentar à medida que essas capacidades melhoram. Espere os maiores ganhos em renovações de grande volume e longa duração. À medida que migrar, teste uma carga de trabalho representativa para confirmar os ganhos nos seus próprios dados e capacidade. Para começar, veja a visão geral do Dataflow Gen2.

O Dataflow Gen2 tornou-se mais eficiente em termos de custos ao longo do tempo?

Yes. A carga de trabalho de transformação intensiva no Cenário 2 teria consumido cerca de 66.164 segundos de CU antes de 2026 e consome agora 10.485 segundos de CU com as atuais capacidades de disponibilidade geral, o que representa uma redução estimada de 84%, com lógica idêntica e sem necessidade de alterações. Para valores por cenário, veja Custo ao longo do tempo (então vs. agora).

Os valores de custo e desempenho dos Dataflow Gen2 mais antigos ainda são precisos?

Não necessariamente. Os números deste artigo refletem o modelo de preços atual do Dataflow Gen2 — 12 CU por segundo durante até 10 minutos de Standard Compute, depois 1,5 CU por cada segundo adicional — juntamente com as funcionalidades atualmente disponíveis, como Fast Copy e Modern Evaluator. Como o Dataflow Gen2 se tornou mais rápido e eficiente em termos de custos ao longo do tempo, os números de referência ou estimativas de custo publicados antes de 2026 podem sobrestimar o custo atual ou subestimar o desempenho atual. Valide as suas próprias cargas de trabalho com a aplicação Microsoft Fabric Capacity Metrics.

Conteúdo relacionado

• Preços do Dataflow Gen2
• Cópia rápida no Dataflow Gen2
• Avaliador Moderno para Dataflow Gen2 com CI/CD
• Opções de dados em etapas para Dataflow Gen2
• Computação Particionada para Dataflow Gen2 (Pré-visualização)