Aanbevolen procedures voor het verkrijgen van de beste prestaties met Dataflow Gen2

Dit artikel bevat aanbevolen procedures voor het optimaliseren van de prestaties van Dataflow Gen2 in Fabric Data Factory. Door deze richtlijnen te volgen, kunt u de efficiëntie en snelheid van uw processen voor gegevensintegratie verbeteren.

Wat u leert

In dit artikel ontdekt u het volgende:

• Belangrijke gebieden voor prestatieoptimalisatie: Inzicht krijgen in de drie essentiële onderdelen (gegevensbron, gegevensstroomengine en gegevensbestemming) die van invloed zijn op de prestaties van uw gegevensstroom
• Kernoptimalisatietechnieken: Het gebruik van snelle kopieën, query folding en fasering om de efficiëntie te maximaliseren
• Praktijkscenario's: Veelvoorkomende prestatieproblemen en hun specifieke oplossingen
• Aanbevolen procedures: Bruikbare richtlijnen voor verschillende patronen voor gegevensintegratie en gebruiksvoorbeelden

Wat zijn de belangrijkste gebieden waarop u zich moet richten voor prestatieoptimalisatie?

Binnen de end-to-end-ervaring van de gegevensstroom zijn er verschillende belangrijke gebieden waarop u zich kunt richten voor prestatieoptimalisatie. Deze gebieden omvatten de gegevensverplaatsing, de gegevensstroomengine en de gegevenstransformaties. Elk van deze onderdelen en de paden ertussen spelen een cruciale rol bij de algehele prestaties van uw gegevensstroom en het optimaliseren ervan kan leiden tot aanzienlijke verbeteringen in de uitvoeringstijd en het resourcegebruik.

Gegevensverplaatsing

Gegevensverplaatsing is een essentieel aspect van de prestaties van de gegevensstroom. Het omvat de overdracht van gegevens tussen verschillende onderdelen, zoals gegevensbronnen, faseringsgebieden en eindbestemmingen. Efficiënte gegevensverplaatsing kan de uitvoeringstijd en het resourceverbruik aanzienlijk verminderen. In Dataflow Gen2 is gegevensverplaatsing geoptimaliseerd via technieken zoals Fast Copy, waardoor gegevensoverdracht met hoge doorvoer mogelijk is zonder de overhead van transformaties die niet naar het bronsysteem worden gevouwen. Meer informatie over Snel kopiëren.

Gegevenstransformatie

Gegevenstransformatie is het proces van het converteren van gegevens van de ene structuur naar de andere, vaak met bewerkingen zoals filteren, aggregeren en samenvoegen. In Dataflow Gen2 zijn transformaties zo ontworpen dat ze efficiënt zijn en waar mogelijk mogelijkheden voor het vouwen van query's toepassen. Met query folding kunnen transformaties naar het bronsysteem worden gepusht, waardoor de hoeveelheid overgedragen en verwerkte gegevens in Dataflow Gen2 wordt verminderd. Deze vermindering is met name belangrijk voor grote gegevenssets, omdat de werkbelasting op de gegevensstroomengine wordt geminimaliseerd en de uitvoeringstijd wordt versneld. Ga naar Query Folding voor meer informatie over het vouwen van query's. Volg ook andere aanbevolen procedures voor queryoptimalisatie, zoals het vroeg filteren en vaak filteren, het gebruik van parameters om voorbeeldweergaven van gegevens te beperken en onnodige transformaties in uw gegevensstroom te voorkomen. Ga naar Queryoptimalisatie voor meer informatie over queryoptimalisatie.

Fasering van data- en warehouse-rekenkracht

Faseringsgegevens zijn een techniek die wordt gebruikt om de prestaties te verbeteren door tussenliggende resultaten tijdelijk op te slaan in een faseringsgebied. Dataflow Gen2 wordt geleverd met een staging Lakehouse en een staging Warehouse, dat kan worden gebruikt om transformaties efficiënter uit te voeren. Door gegevens te faseren, kunt u de rekenresources van deze faseringsgebieden gebruiken om complexe gegevensstromen op te splitsen in beheerbare stappen, waardoor de totale verwerkingstijd wordt verminderd. Deze uitsplitsing is met name handig voor grote gegevenssets of complexe transformaties die anders lange tijd in beslag nemen om in één stap uit te voeren. U kunt voorbereidingslocaties beschouwen als een tijdelijke opslagruimte die het mogelijk maakt om transformaties te integreren. Deze aanpak is vooral nuttig bij het werken met gegevensbronnen die geen ondersteuning bieden voor het vouwen van query's of wanneer transformaties te complex zijn om naar het bronsysteem te worden gepusht. Als u staging effectief wilt toepassen, kunt u de vouwindicatoren in de gegevensstroomeditor in de gaten houden om te garanderen dat uw transformaties worden doorgestuurd naar de bron. Als u merkt dat een transformatie niet wordt gevouwen, kunt u de query opsplitsen in twee query's en de transformatie in de tweede query toepassen. Schakel staging in bij de eerste query om de transformatie uit te voeren in de staging Lakehouse of Warehouse omgeving. Met deze aanpak kunt u profiteren van de rekenresources die beschikbaar zijn in de faseringsgebieden, terwijl u ervoor zorgt dat uw gegevensstroom efficiënt en responsief blijft.

Wanneer u gegevens hebt die al zijn gefaseerd in Lakehouse of Warehouse en u meer transformaties toepast die volledig zijn gevouwen in de volgende query's, schrijft de gegevensstroom de uitvoer naar het faseringswarehouse. Dit kan sneller zijn dan schrijven naar de staging Lakehouse, omdat de gegevensset parallel kan worden geschreven door DW en minder netwerkhops met de bijbehorende serialisatiestappen ondergaat.

Scenario's en welke optimalisaties u moet overwegen

Wanneer u met Dataflow Gen2 werkt, is het essentieel om inzicht te krijgen in de verschillende scenario's die u kunt tegenkomen en hoe u de prestaties in elk geval kunt optimaliseren. De volgende overwegingen bieden praktische richtlijnen voor het toepassen van de best practices op praktijksituaties. Door uw benadering aan te passen op basis van de specifieke kenmerken van uw gegevens en transformaties, kunt u optimale prestaties bereiken in uw werkstromen voor gegevensintegratie. Hier volgen enkele veelvoorkomende scenario's die u kunt tegenkomen bij het werken met Dataflow Gen2, samen met aanbevolen acties om de prestaties te optimaliseren. Houd er rekening mee dat prestatieoptimalisatie een doorlopend proces is en zeer specifiek is voor uw scenario. Mogelijk moet u uw benadering aanpassen op basis van de specifieke kenmerken van uw eigen gegevens en transformaties.

Overweging 1: Gegevensverplaatsing verbeteren met Snel kopiëren

In dit scenario ziet u dat het verplaatsen van gegevens tussen uw gegevensbron en het faseringsgebied of naar uw uiteindelijke bestemming langer duurt dan verwacht. Er kunnen verschillende factoren betrokken zijn, zoals netwerklatentie, grote gegevenssetgrootten of inefficiënte methoden voor gegevensoverdracht.

In dit geval kunt u overwegen het pad voor gegevensverplaatsing te evalueren en te optimaliseren voor betere prestaties. Een benadering is om Fast Copy te gebruiken voor gegevensoverdracht met hoge doorvoer, waardoor runtime aanzienlijk kan worden verminderd. Snel kopiëren is ontworpen om grote hoeveelheden gegevens efficiënt te verwerken, waardoor de overhead die is gekoppeld aan traditionele methoden voor gegevensoverdracht wordt geminimaliseerd. Wees echter voorzichtig: als u transformaties toevoegt in dezelfde query als een snelle kopieerbewerking, kunt u Snel kopiëren uitschakelen als de transformaties niet naar het bronsysteem worden gevouwen. In dergelijke gevallen kunt u overwegen om de query in twee stappen te scheiden: een voor de Fast Copy-bewerking en een voor de transformaties met behulp van de staging Lakehouse- of Warehouse-rekencapaciteit. Met deze methode kunt u snel kopiëren gebruiken voor gegevensverplaatsing met hoge doorvoer terwijl u de benodigde transformaties in een afzonderlijke stap uitvoert. Meer informatie over Snel kopiëren.

U kunt Snel kopiëren inschakelen in de instellingen voor de gegevensstroom. Deze instelling is standaard ingeschakeld, maar u kunt ook vereisen dat Snel kopiëren wordt gebruikt voor een specifieke query in uw gegevensstroom. Hiervoor selecteert u de optie Snel kopiëren verplicht in de query-instellingen. Deze actie zorgt ervoor dat Snel kopiëren wordt gebruikt voor de geselecteerde query en dat de minimale groottedrempel voor Snel kopiëren wordt genegeerd. Deze instelling is met name handig als u ervoor wilt zorgen dat Snel kopiëren wordt gebruikt voor specifieke query's, ongeacht de gegevensgrootte of andere voorwaarden. Als u Fast Copy nodig hebt, moet u ervoor zorgen dat de gegevensbron compatibel is met Fast Copy en dat de transformaties in de query naar het bronsysteem kunnen worden gepusht. Als u Fast Copy nodig hebt voor een query die niet compatibel is met Fast Copy, mislukt de gegevensstroom. Als u geen Fast Copy nodig hebt, wordt de gegevensstroom nog steeds uitgevoerd, maar kan deze terugvallen op de standaardmethode voor gegevensverplaatsing, wat mogelijk niet zo efficiënt is als Fast Copy. Met deze flexibiliteit kunt u uw gegevensstroom optimaliseren op basis van de specifieke vereisten van uw gegevensintegratieprocessen.

Overweging 2: Uitvoeringstijd voor complexe transformaties verbeteren met fasering

In dit scenario hebt u een gegevensstroom met meerdere complexe transformaties, zoals joins, aggregaties en filteren. De uitvoeringstijd is langer dan gewenst en u wilt de prestaties van deze transformaties optimaliseren.

In dit geval kunt u overwegen om de gegevensstroom op te delen in kleinere, beheerbare stappen. In plaats van alle transformaties in één query uit te voeren, kunt u de gegevens faseren in een staging Lakehouse of Warehouse en vervolgens de transformaties in volgende query's toepassen. Met deze aanpak kunt u de rekenresources van het faseringsgebied toepassen voor complexe transformaties, waardoor de totale uitvoeringstijd wordt verminderd. Zorg er bovendien voor dat uw transformaties zo mogelijk naar het bronsysteem worden gevouwen, omdat dit de prestaties aanzienlijk kan verbeteren door de hoeveelheid overgedragen en verwerkte gegevens in Dataflow Gen2 te verminderen. Als u merkt dat bepaalde transformaties niet worden gevouwen, kunt u deze splitsen in afzonderlijke query's en deze toepassen na het faseren van de gegevens.

In de volgende afbeelding ziet u hoe u met de vouwindicatoren in de gegevensstroomeditor kunt bepalen welke transformaties naar het bronsysteem worden gepusht.

Als u fasering effectief wilt implementeren, kunt u de gegevensstroom splitsen in twee query's. U doet dit door met de rechtermuisknop te klikken op de eerste stap die niet in het bronsysteem is opgenomen en de optie Vorige eruit halen te selecteren. Met deze actie maakt u een nieuwe query waarmee gegevens in de voorbereidingsomgevingen van het Lakehouse of Warehouse worden voorbereid, zodat u de transformatie in een afzonderlijke stap kunt uitvoeren. Met deze aanpak kunt u profiteren van de rekenresources die beschikbaar zijn in de faseringsgebieden, terwijl u ervoor zorgt dat uw gegevensstroom efficiënt en responsief blijft.

Geef vervolgens een naam op voor de nieuwe query en selecteer OK.

Nu de nieuwe query is gemaakt, kunt u controleren of fasering is ingeschakeld voor de eerste query. Als fasering niet is ingeschakeld, kunt u deze inschakelen door de optie Fasering inschakelen te selecteren in de query-instellingen. Met deze actie kunt u transformaties uitvoeren in de staging Lakehouse- of Warehouse-berekening, waardoor de prestaties van uw gegevensstroom worden geoptimaliseerd. Fasering van de tweede query is optioneel, maar het kan de prestaties verder verbeteren door u in staat te stellen extra transformaties uit te voeren in het faseringsgebied voordat u de uiteindelijke uitvoer naar het doel schrijft.

Wanneer u de vouwmarkeringen in de gegevensstroomeditor bekijkt, worden de transformaties in de eerste query doorgedrukt naar het bronsysteem. De tweede query geeft mogelijk niet dezelfde vouwindicatoren weer, omdat deze zich alleen tijdens runtime bewust is van het faseringsgebied en de transformaties die naar het faseringsgebied kunnen worden gepusht.

Ga naar Query Folding voor meer informatie over het optimaliseren van uw gegevensstroomtransformaties en ervoor zorgen dat ze naar het bronsysteem worden gepusht.

Overweging 3: Optimaliseer de gegevensverplaatsing van de stagingomgeving naar een Lakehouse-doel

In dit scenario gebruikt u een Lakehouse-bestemming voor uw gegevensstroom en schakelt u fasering in om transformaties uit te voeren voordat u de uiteindelijke uitvoer schrijft. Zorg ervoor dat de stap voor het verplaatsen van gefaseerde gegevens naar Lakehouse geen onnodige overhead toevoegt aan de totale vernieuwingstijd.

Een Lakehouse is een volledig ondersteunde, krachtige bestemming voor dit patroon. De gegevensverplaatsing van het faseringswarehouse naar de Lakehouse-bestemming is geoptimaliseerd, dus u hoeft uw bestemming niet meer over te schakelen naar een magazijn om goede prestaties te krijgen. De aanbevolen benadering is het ELT-patroon: gebruik Fast Copy om de gegevens snel te landen, voer uw transformaties uit op de gefaseerde gegevens met behulp van de Fabric faseringsrekenkracht en schrijf de uiteindelijke uitvoer naar Lakehouse. Voor grote gegevenssets blijft Fast Copy de aanbevolen manier om de gegevens efficiënt te verplaatsen.

Om vandaag het maximale uit dit patroon te halen, splitst u Fast Copy en de transformatiebewerkingen op in twee query's: één query die de gegevensverplaatsing via Fast Copy uitvoert, en een tweede query die de transformaties toepast op de staginggegevens voordat deze naar de Lakehouse-bestemming worden geschreven. Als u een Fast Copy-bewerking combineert met niet-vouwbare transformaties in dezelfde query, wordt Fast Copy uitgeschakeld. Het belangrijkste is dus om ze in afzonderlijke query's te houden. Als uw transformaties volledig kunnen worden teruggevouwen naar de bron, kunt u ook rechtstreeks naar het Lakehouse schrijven met staging uitgeschakeld.

Wanneer u gegevens faseert en naar een Lakehouse-bestemming schrijft, schakelt u de optie Geoptimaliseerde kopie in naar Lakehouse (preview) op het tabblad Schaal om de gefaseerde gegevens naar lakehouse te routeren via het snellere kopieerpad, waardoor de overhead van de faserings-naar-Lakehouse-hop wordt verminderd. Zie Gefaseerde gegevensopties voor Dataflow Gen2 voor meer informatie.

Overweging 4: Grote gegevensvoorvertoningen tijdens ontwerptijd

In dit scenario werkt u aan een gegevensstroom met grote gegevenssets en is de ontwerptijd traag vanwege de grootte van de gegevensvoorbeelden. Dit proces kan het lastig maken om uw gegevensstroom effectief te ontwerpen en te testen.

In dit geval kunt u overwegen om de schemaweergave of parameterisatie te gebruiken om de grootte van gegevensvoorbeelden te beperken. Door filters toe te passen op basis van parameters, zoals een datumbereik of specifieke id's, kunt u de hoeveelheid gegevens verminderen die in de ontwerpomgeving worden weergegeven. Met deze aanpak kunt u de ontwerpomgeving responsief en efficiënt houden, zodat u zich kunt richten op het ontwerpen en testen van uw gegevensstroom zonder dat dit wordt belemmerd door grote gegevensvoorbeelden. Daarnaast kunt u de parameters tijdens runtime aanpassen om de volledige gegevensset op te halen wanneer dat nodig is.

Als u bijvoorbeeld met een grote transactionele gegevensset werkt, kunt u een parameter maken waarmee de gegevens worden gefilterd op basis van een specifiek datumbereik. Op deze manier ziet u tijdens de ontwerptijd alleen een subset van de gegevens die relevant zijn voor uw huidige werk. Wanneer u klaar bent om de gegevensstroom uit te voeren, kunt u de parameter aanpassen om de volledige gegevensset op te nemen, zodat uw processen voor gegevensintegratie efficiënt en responsief blijven. In het volgende voorbeeld ziet u hoe u een parameter instelt in Dataflow Gen2:

1. Selecteer de optie Parameters beheren in de gegevensstroomeditor.

2. Selecteer de knop Parameter toevoegen om een nieuwe parameter toe te voegen.

   

3. Vul de parametergegevens in, zoals naam, type en waarde. U kunt bijvoorbeeld een parameter met de naam DesignDateFilter van het type DateTime maken met een standaardwaarde waarmee het voorbeeld van de gegevens wordt beperkt tot een specifiek datumbereik.

   

4. Pas de parameter toe in uw gegevensstroomquery's door deze te gebruiken in de filtervoorwaarden. U kunt bijvoorbeeld de gegevens filteren op basis van de parameter DesignDateFilter om het voorbeeld van de gegevens te beperken tot een specifiek datumbereik. In dit geval filteren we de gegevens om alleen records op te nemen waarbij de kolom Date groter is dan de parameter DesignDateFilter .

   

5. U kunt nu de parameter DesignDateFilter in uw gegevensstroomquery's gebruiken om de voorbeeldweergave van de gegevens tijdens de ontwerptijd te beperken. Wanneer u klaar bent om de gegevensstroom uit te voeren, kunt u de parameterwaarde aanpassen om de volledige gegevensset op te nemen, zodat uw processen voor gegevensintegratie efficiënt en responsief blijven.

   

Een andere optie is om de schemaweergave te gebruiken, zodat u de structuur van uw gegevens kunt zien zonder de hele gegevensset te laden. Deze weergave biedt een algemeen overzicht van de gegevenstypen en kolommen in uw gegevensset, zodat u uw gegevensstroom kunt ontwerpen en testen zonder dat dit wordt beïnvloed door grote gegevensvoorbeelden. Als u wilt overschakelen naar de schemaweergave, selecteert u de optie Schemaweergave in de gegevensstroomeditor.

Overweging 5: Runtime-kenmerken van dataflow gen2 vergeleken met Dataflow Gen1

In dit scenario ziet u dat de prestaties van Dataflow Gen2 langzamer zijn dan die van Dataflow Gen1, met name wat betreft uitvoeringstijd en resourcegebruik. Dit prestatieverschil kan worden veroorzaakt door verschillende factoren, waaronder de verschillen in optimalisatietechnieken en uitvoerindelingen die worden gebruikt in Dataflow Gen2.

Gegevensstroom Gen2 verzendt gegevens in Delta Parquet-indeling wanneer u faserings- of Lakehouse-bestemmingen gebruikt. Dit verschilt van de CSV-uitvoer van Dataflow Gen1. Hoewel Delta Parquet kan leiden tot langere ETL-runtimes in vergelijking met CSV, biedt het krachtige downstreammogelijkheden zoals Direct Lake, Lakehouses en Warehouses, waardoor deze services efficiënt gegevens kunnen verbruiken zonder extra verwerking of kosten. Dit verschil in de opslagmethode betekent dat hoewel de initiële uitvoeringstijd langer kan zijn, de algehele prestaties en efficiëntie van downstreamprocessen aanzienlijk kunnen worden verbeterd en kunnen leiden tot betere langetermijnprestaties van uw werkstromen voor gegevensintegratie. Meer informatie over de Delta Parquet-indeling.

Overweging 6: Vernieuwingstijd optimaliseren voor grote transactionele gegevenssets met behulp van incrementeel vernieuwen

In dit scenario hebt u te maken met een grote transactionele gegevensset die regelmatig wordt bijgewerkt en u de vernieuwingstijd van uw gegevensstroom wilt optimaliseren. Deze optimalisatie kan lastig zijn vanwege het volume aan gegevens en de noodzaak om alleen de nieuwe of gewijzigde records te verwerken.

In dit geval kunt u overwegen incrementeel vernieuwen of het patroon te gebruiken om incrementeel gegevens te verzamelen. Met incrementeel vernieuwen kunt u alleen de nieuwe of gewijzigde gegevens verwerken sinds de laatste vernieuwing, waardoor de hoeveelheid verwerkte gegevens wordt verminderd en de totale uitvoeringstijd wordt versneld. Deze benadering is met name handig voor scenario's waarin gegevens regelmatig worden bijgewerkt, zoals in transactionele systemen. Door incrementeel vernieuwen te implementeren, kunt u de prestaties van uw gegevensstroom optimaliseren en ervoor zorgen dat uw processen voor gegevensintegratie efficiënt en responsief blijven. Meer informatie over incrementeel vernieuwen of meer informatie over het incrementele gegevenspatroon voor het verzamelen van gegevens.

Overweging 7: Ik gebruik een gateway om verbinding te maken met mijn on-premises gegevensbron en ik wil de prestaties van mijn gegevensstroom optimaliseren

In dit scenario gebruikt u een gateway om verbinding te maken met uw on-premises gegevensbron en wilt u de prestaties van uw gegevensstroom optimaliseren. Gateways kunnen extra latentie en overhead veroorzaken, wat van invloed kan zijn op de algehele prestaties van uw gegevensstroom.

In dit geval kunt u overwegen uw gegevensstroom op te splitsen in twee afzonderlijke gegevensstromen: een voor gegevensverplaatsing van de on-premises gegevensbron naar een gegevensbestemming (zoals een Lakehouse of Warehouse) en een andere voor transformaties en uiteindelijke uitvoer. Met deze aanpak kunt u de stap voor gegevensverplaatsing optimaliseren door gebruik te maken van Fast Copy voor gegevensoverdracht met hoge doorvoer, terwijl de transformatiestap gericht blijft op het efficiënt verwerken van de gegevens en het verminderen van de totale uitvoeringstijd. Door de stappen voor gegevensverplaatsing en transformatie te scheiden, kunt u de gevolgen van gatewaylatentie en capaciteitsbeperkingen verminderen. De reden hiervoor is dat de gateway de hele gegevensstroom uitvoert en als de gegevensstroom complex is of veel transformaties heeft, kan dit leiden tot tragere prestaties wanneer de gateway alle transformaties op de computer verwerkt die als host fungeert voor de gateway. Door de gegevensstroom te splitsen, kunt u ervoor zorgen dat de gateway alleen verantwoordelijk is voor de stap voor gegevensverplaatsing, waardoor de prestaties aanzienlijk kunnen worden verbeterd en de uitvoeringstijd kan worden verminderd.

Overweging 8: Ik gebruik de gegevensstroomconnectors om gegevens uit de gegevensstroom te gebruiken en mijn gegevensintegratieprocessen te optimaliseren

In dit scenario gebruikt u gegevensstroomconnectors om gegevens uit uw gegevensstroom te gebruiken en wilt u uw processen voor gegevensintegratie optimaliseren. Connectors voor gegevensstromen kunnen een handige manier bieden om gegevens te openen en te gebruiken.

In dit geval kunt u overwegen om gegevensbestemmingen te gebruiken in plaats van gegevensstroomconnectors voor het verbruik van gegevens uit uw gegevensstroom. Gegevensbestemmingen, zoals Lakehouses en Warehouses, zijn ontworpen om gegevens efficiënt op te slaan en te bedienen, zodat u hun mogelijkheden voor downstreamverbruik kunt toepassen. Een belangrijk voordeel van het gebruik van gegevensbestemmingen is dat ze vaak meer algemene manieren gebruiken om verbinding te maken met gegevens, zoals het SQL-eindpunt of de Direct Lake-mogelijkheden te gebruiken, waardoor de prestaties aanzienlijk kunnen worden verbeterd en het resourceverbruik kan worden verminderd.

Overweging 9: De moderne evaluator inschakelen voor verbeterde prestaties van queryuitvoering

In dit scenario wilt u de algehele prestaties van uw gegevensstroom verbeteren, met name voor complexe transformaties of bij het werken met connectors die geen ondersteuning bieden voor het vouwen van query's.

In dit geval kunt u overwegen om de moderne queryevaluatie-engine (moderne evaluator) in te schakelen voor uw Dataflow Gen2 met CI/CD. De moderne evaluator is een nieuwe engine voor het uitvoeren van query's die wordt uitgevoerd op .NET Core 8 waarmee de prestaties van gegevensstroomuitvoeringen aanzienlijk kunnen worden verbeterd. Het is raadzaam deze functie altijd in te schakelen voor ondersteunde scenario's, omdat deze verschillende belangrijke voordelen biedt:

• Snellere uitvoering van gegevensstromen: de moderne engine kan de evaluatietijd van query's aanzienlijk verminderen. Veel gegevensstromen worden aanzienlijk sneller uitgevoerd, zodat u gegevens vaker kunt vernieuwen of strakke vernieuwingsvensters kunt ontmoeten.
• Efficiëntere verwerking: de engine is geoptimaliseerd voor efficiëntie, met behulp van verbeterde algoritmen en een moderne runtime. Dit betekent dat het complexe transformaties met minder overhead kan verwerken, waardoor de prestaties behouden blijven naarmate uw gegevensvolume toeneemt.
• Schaalbaarheid en betrouwbaarheid: door de uitvoering te versnellen en knelpunten te verminderen, helpt de moderne evaluator bij het schalen van gegevensstromen naar grotere volumes met grotere stabiliteit. U kunt consistentere vernieuwingsduur verwachten en minder time-outproblemen voor grote gegevensstromen.

De moderne evaluator is bijzonder nuttig wanneer:

• Je werkt met niet-vouwbare of gedeeltelijk vouwbare connectoren
• U past filters, kolomafleidingen of gegevensopschoning toe
• U hebt te maken met grote gegevensvolumes of complexe transformaties
• Uw gegevensstromen worden meerdere keren per dag uitgevoerd en u moet tijd besparen

De moderne evaluator inschakelen:

1. Open uw gegevensstroom in de Power Query-editor.
2. Selecteer Opties in het menu.
3. Navigeer naar het tabblad Schaal .
4. Schakel de optie moderne query-evaluatie-engine in.
5. Sla uw gegevensstroom op en voer deze uit.

De moderne evaluator ondersteunt een groeiende lijst met connectors. Zie Modern Evaluator voor Dataflow Gen2 met CI/CD voor de volledige lijst met ondersteunde connectors en de huidige functiestatus. Als uw gegevensstroom connectors gebruikt die niet in de ondersteunde lijst worden weergegeven, blijven deze query's worden uitgevoerd met de standaardengine.

Zie Modern Evaluator voor Dataflow Gen2 met CI/CD voor meer informatie over de moderne evaluator.

Conclusion

Door deze aanbevolen procedures te volgen en rekening te houden met de specifieke kenmerken van uw gegevens en transformaties, kunt u de prestaties van Dataflow Gen2 in Fabric Data Factory optimaliseren. Of u nu met grote gegevenssets, complexe transformaties of specifieke patronen voor gegevensintegratie werkt, deze richtlijnen bieden bruikbare inzichten om de efficiëntie en snelheid van uw gegevensintegratieprocessen te verbeteren. Houd er rekening mee dat prestatieoptimalisatie een doorlopend proces is en mogelijk moet u uw benadering aanpassen op basis van de veranderende behoeften van uw werkstromen voor gegevensintegratie. Door uw gegevensstromen continu te bewaken en te optimaliseren, kunt u ervoor zorgen dat ze efficiënt en responsief blijven op uw bedrijfsvereisten.