Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
O Dataflow Gen2 ajuda você a moldar e transformar dados com facilidade. Oferece uma interface low-code e mais de 300 transformações de dados e IA integradas, todas alimentadas pela experiência familiar de Power Query que encontrará no Excel, Power BI, Power Platform e Dynamics 365. Dataflow Gen2 também suporta a execução de transformações apoiadas pelo Spark através de transformações de fluxo de dados de mapeamento (MDF) para cargas de trabalho nativas e migradas.
Este preço aplica-se a todos os SKUs de capacidade Fabric (F2 e acima). O preço não se aplica às capacidades de teste do Fabric. Para consultar referências de consumo de CU em condições reais para cenários comuns, veja referências de custo e desempenho do Dataflow Gen2.
Quando você publica um fluxo de dados, ele cria uma definição que é executada durante a atualização. O motor Dataflow Gen2 utiliza essa definição para planear e gerir como as consultas se executam através de fontes de dados, gateways e motores de computação. Ele constrói tabelas no armazenamento temporário ou envia-as para o destino escolhido, para que o utilizador obtenha resultados confiáveis sem o trabalho pesado.
O diagrama mostra componentes da arquitetura Data Factory Dataflow Gen2, incluindo o Lakehouse usado para escalonar dados ingeridos, e o item Warehouse usado como motor de computação para escrever resultados para staging ou output mais rapidamente. Quando não consegues usar o Warehouse compute, ou quando desativas o staging para uma consulta, o Mashup Engine extrai, transforma ou carrega os dados para staging ou destinos de dados. Para saber mais sobre como funciona o Dataflow Gen2, consulte Data Factory Spotlight: Dataflow Gen2.
O Dataflow Gen2 pode executar cargas de trabalho usando tanto o Mashup Engine como o Spark Engine. Quando as transformações MDF são usadas dentro da Gen2 do Dataflow, a computação apoiada pelo Spark é usada para execução de transformações e processamento de dados.
Quando você atualiza ou publica um item Dataflow Gen2, as Unidades de Capacidade de Malha são consumidas para os seguintes mecanismos:
- Computação padrão: você é cobrado por isso com base no tempo de avaliação da consulta em todas as suas consultas de fluxo de dados que são executadas através do mecanismo Mashup.
- Computação de fluxo de dados de alta escala: é cobrado quando o estágio intermediário está ativado, com base na duração de consumo do mecanismo SQL Lakehouse (armazenamento intermediário) e Warehouse (computação de armazenamento).
- Cópia rápida: você é cobrado quando os conectores de cópia rápida estão habilitados e podem ser usados no fluxo de dados, com base na duração do trabalho de cópia. A Cópia Rápida é executada em paralelo em vários núcleos, pelo que esta duração corresponde ao tempo total consumido em todos os núcleos utilizados pela tarefa de cópia, e não ao tempo real decorrido da atualização.
- Spark Compute: É cobrado com base na duração de execução do Spark e na utilização do núcleo Spark quando as transformações MDF são executadas durante as execuções do pipeline. As cargas de trabalho de transformação MDF em Dataflow Gen2 são atualmente executadas através da atividade Fabric Pipeline Dataflow.
Modelo de preços do Dataflow Gen2
Como são determinadas as tarifas
A definição de preço do Dataflow Gen2 depende de como cada consulta usa a computação. Para computação padrão, as consultas são processadas pelo motor de mashup. Dependendo se o seu fluxo de dados é Dataflow Gen2 (CI/CD), a classificação varia.
No Dataflow Gen2 (CI/CD), há uma taxa de duas camadas aplicada à duração da consulta:
- Se uma consulta for executada em menos de 10 minutos, será avaliada em 12 CUs.
- Se ultrapassar a duração prevista, cada segundo extra é avaliado em 1,5 unidades CU.
Se o Dataflow Gen2 não for CI/CD, a taxa será de 16 CU aplicáveis a toda a duração da consulta.
Note
Quando usas computação particionada, o Dataflow Gen2 avalia cada partição como uma unidade de trabalho própria. As cargas de computação padrão baseiam-se na soma da duração de processamento de cada partição. A execução de partições em paralelo reduz o tempo total decorrido para concluir a execução, enquanto o consumo total de CU reflete a capacidade computacional combinada de todas as partições.
Para cenários de grande escala — quando o staging é ativado — as consultas são executadas no motor SQL Lakehouse ou Warehouse. Cada segundo de tempo de computação utiliza 6 segundos de UC, portanto, consultas mais longas consomem mais recursos.
Se ativar a cópia rápida, haverá uma taxa separada para movimentação de dados: 1,5 CU, com base na duração da atividade. A cópia rápida equilibra automaticamente cada cenário para decidir quantos núcleos usar, e a duração faturada é o tempo total gasto em todos esses núcleos, em vez do tempo do relógio de parede que vês no histórico de atualizações. Distribuir o trabalho por mais núcleos reduz o tempo total, enquanto a duração faturada tem em conta todos os núcleos utilizados pela tarefa de cópia.
No final de cada execução, o Dataflow Gen2 soma o uso de CU de cada mecanismo e cobra-o com base no preço de capacidade do Fabric na sua região.
Tabela de taxas de CU
| Tipo de mecanismo de fluxo de dados Gen2 | Medidores de Consumo | Taxa de consumo de CU do Fabric | Granularidade dos relatórios de consumo |
|---|---|---|---|
| Computação padrão (Dataflow Gen2 (CI/CD)) | Com base no tempo de execução, em segundos, de cada consulta do motor de mashup. O Standard Compute tem preços de duas camadas, dependendo da duração da consulta. | - Para cada segundo até 10 minutos, 12 CU - Para cada segundo além de 10 minutos, 1,5 CU |
Por cada item de fluxo de dados Gen2 |
| Computação padrão (não CI/CD) | Com base no tempo de execução, em segundos, de cada consulta do motor de mashup. | 16 CU | Por cada item de fluxo de dados Gen2 |
| Computação de fluxos de dados de alta escala | Com base na duração da execução do motor SQL de Lakehouse/Warehouse (com faseamento ativado), em segundos. | 6 Unidades de Crédito | Por espaço de trabalho |
| Movimento de dados | Baseado na duração da execução da Cópia Rápida, medida como o tempo agregado do núcleo em segundos somado em todos os núcleos que o trabalho de cópia utiliza. O Dataflow equilibra automaticamente quantos núcleos cada cenário de cópia rápida utiliza. | 1,5 CU | Por cada item de fluxo de dados Gen2 |
| Mapeamento de Fluxo de Dados Transforms Compute (Pré-visualização) | Com base na duração da execução da transformação MDF em segundos, utilizando computação com suporte do Spark no Dataflow Gen2. | 1,5 CU por hora de núcleo do Spark Exemplo: Um cluster Spark de 8 núcleos consome 12 CU por hora de execução (8 × 1,5 CU). |
Por cada item de fluxo de dados Gen2 |
Preços do gateway de dados de rede virtual com Dataflow Gen2
O Gateway de Dados da Rede Virtual (VNET) é faturado como um encargo adicional de infraestrutura, associado a uma capacidade do Fabric. Isto significa que tem o seu próprio contador e gera uma faturação uniforme, adicional a todas as execuções de itens do Fabric.
A fatura total para a execução do Dataflow Gen2 através do Rede Virtual Data Gateway é calculada como: Dataflow Gen2 Charge + Rede Virtual Data Gateway Charge.
O Rede Virtual Data Gateway Charge é proporcional ao seu uso do Rede Virtual Data Gateway, onde o uso é definido como tempo de atividade, ou sempre que o Rede Virtual Data Gateway estiver ativo.
Taxa de consumo de CU do Gateway de Dados de Rede Virtual: 4 CU
Saiba mais em Preços e Faturamento de Gateways de Dados de Rede Virtual.
Alterações na taxa de consumo de carga de trabalho do Microsoft Fabric
As taxas de consumo estão sujeitas a alterações a qualquer momento. A Microsoft envida todos os esforços razoáveis para fornecer um aviso por correio eletrónico e notificação no produto. As alterações entram em vigor na data indicada nas Notas de Versão e no Blogue do Microsoft Fabric. Se qualquer alteração em uma Taxa de Consumo de Carga de Trabalho do Microsoft Fabric aumentar materialmente as Unidades de Capacidade () necessárias para usar uma carga de trabalho específica, os clientes poderão usar as opções de cancelamento disponíveis para o método de pagamento escolhido.
Calcule os custos estimados usando a aplicação Fabric Metrics e o histórico de atualização do fluxo de dados
A aplicação Microsoft Fabric Capacity Metrics fornece visibilidade da utilização da capacidade para todos os espaços de trabalho do Fabric associados a uma capacidade. Ele é usado por administradores de capacidade para monitorar o desempenho de cargas de trabalho e seu uso em comparação com a capacidade comprada. Usar o aplicativo Metrics é a maneira mais precisa de estimar os custos das execuções de atualização do Dataflow Gen2. Para perceber como os preços escalonados afetaram os seus custos padrão de computação, também precisa de usar o histórico de atualização do Dataflow.
Estes exercícios mostram como validar custos para fluxos de dados de CI/CD e não CI/CD. Para o fluxo de dados CI/CD com computação padrão, é fornecido um exemplo trabalhado, seguido de instruções para todos os outros cenários.
Exercício 1: Computação padrão para um fluxo de dados CI/CD
O fluxo de dados a seguir tem duas consultas envolvendo transformação, e a preparação está desativada.
O Dataflow Gen2 utiliza apenas o cálculo padrão.
Para cada consulta, aceda à duração da consulta no Histórico de Atualizações e aplique a fórmula a seguir para calcular o consumo de CUs por consulta.
Para a primeira consulta, a duração é de 2.131 segundos.
Da mesma forma, para a segunda consulta, a duração é de 913 segundos
StandardComputeCapacityConsumptionInCUSeconds = if(QueryDurationInSeconds < 600, QueryDurationInSeconds x 12, (QueryDurationInSeconds - 600) x 1.5 + 600 x 12)
Para a consulta 1, o consumo calculado é de 9497 segundos e para a consulta 2, o consumo calculado é de 7670 segundos.
Agregue o consumo de capacidade em segundos CU e valide o consumo na aplicação de métricas de capacidade Fabric. Nesse cenário, o aplicativo de métricas mostra 17.180 segundos como o uso de computação padrão, o que compara bem com o consumo computado de 17.167 segundos. Quaisquer discrepâncias podem dever-se a arredondamentos nos relatórios periódicos de utilização.
Exercício 2: Cálculo padrão para um fluxo de dados não CI/CD
Quando o seu fluxo de dados envolve transformação e o staging está desativado, o Dataflow Gen2 utiliza apenas o cálculo padrão.
Para cada consulta, aceda à duração da consulta no Histórico de Atualizações e aplique a fórmula a seguir para calcular o consumo de CUs por consulta.
StandardComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 16
Agregue o consumo de capacidade em segundos CU e valide o consumo na aplicação de métricas de capacidade Fabric.
Exercício 3: Compreender o consumo computacional de alta escala (tanto fluxos de dados CI/CD como não CI/CD)
Se o seu fluxo de dados usa staging, para saber quanta capacidade de computação High Scale utilizou, abra a aplicação Métricas de Capacidade do Fabric e filtre pelo nome do seu fluxo de dados. Clique com o botão direito do rato no nome, procure computação de Alta Escala na lista de operações e verifique a duração.
HighScaleComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 6
Exercício 4: Compreender o consumo rápido de cópias computacionais (tanto fluxos de dados CI/CD como não-CI/CD)
Se o seu Dataflow usa cópia rápida, para saber quanto processamento de Data Movement utilizou, abra a aplicação Fabric Capacity Metrics e filtre pelo nome do seu Dataflow. Clique com o botão direito do mouse no nome, procure Movimentação de Dados na lista de operações e verifique a duração.
FastCopyComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 1.5