Bewährte Methoden zum Erzielen der besten Leistung mit Dataflow Gen2

Dieser Artikel enthält bewährte Methoden zum Optimieren der Leistung von Dataflow Gen2 in Fabric Data Factory. Anhand dieser Richtlinien können Sie die Effizienz und Geschwindigkeit Ihrer Datenintegrationsprozesse verbessern.

Sie lernen Folgendes

In diesem Artikel werden Sie Folgendes entdecken:

• Wichtige Bereiche zur Leistungsoptimierung: Grundlegendes zu den drei kritischen Komponenten (Datenquelle, Datenflussmodul und Datenziel), die sich auf die Leistung des Datenflusses auswirken
• Kernoptimierungstechniken: Verwenden von Fast Copy, Abfragefaltung und Staging zur Maximierung der Effizienz
• Reale Szenarien: Häufige Leistungsprobleme und ihre spezifischen Lösungen
• Bewährte Methoden: Umsetzbare Anleitungen für verschiedene Datenintegrationsmuster und Anwendungsfälle

Was sind die wichtigsten Bereiche, auf die sich die Leistungsoptimierung konzentrieren soll?

Innerhalb der End-to-End-Erfahrung des Datenflusses gibt es mehrere Schlüsselbereiche, die sich auf die Leistungsoptimierung konzentrieren müssen. Zu diesen Bereichen gehören die Datenverschiebung, das Datenflussmodul und die Datentransformationen. Jede dieser Komponenten und die dazwischen stehenden Pfade spielen eine entscheidende Rolle bei der Gesamtleistung Ihres Datenflusses, und die Optimierung kann zu erheblichen Verbesserungen bei der Ausführungszeit und der Ressourcenauslastung führen.

Datenbewegung

Die Datenverschiebung ist ein wichtiger Aspekt der Datenflussleistung. Es umfasst die Übertragung von Daten zwischen verschiedenen Komponenten, z. B. Datenquellen, Stagingbereiche und Endziele. Eine effiziente Datenbewegung kann die Ausführungszeit und den Ressourcenverbrauch erheblich reduzieren. In Dataflow Gen2 ist die Datenverschiebung durch Techniken wie Fast Copy optimiert, die eine Datenübertragung mit hohem Durchsatz ohne den Aufwand von Transformationen ermöglicht, die nicht im Quellsystem durchgeführt werden können. Erfahren Sie mehr über fast Copy.

Datentransformation

Die Datentransformation ist der Prozess der Konvertierung von Daten aus einer Struktur in eine andere, häufig mit Vorgängen wie Filtern, Aggregieren und Verknüpfen. In Dataflow Gen2 sind Transformationen so konzipiert, dass sie effizient sind und Abfragefaltungsfunktionen nach Möglichkeit anwenden. Mit der Abfragefaltung können Transformationen an das Quellsystem gedrückt werden, wodurch die Menge der übertragenen und verarbeiteten Daten in Dataflow Gen2 reduziert wird. Diese Reduzierung ist besonders wichtig für große Datasets, da sie die Arbeitsauslastung des Datenflussmoduls minimiert und die Ausführungszeit beschleunigt. Weitere Informationen zur Abfragefaltung finden Sie unter "Abfragefaltung". Folgen Sie auch anderen bewährten Methoden für die Abfrageoptimierung, z. B. frühzeitiges und häufiges Filtern, Verwenden der Parametrisierung zum Einschränken von Datenvorschauen und Vermeiden unnötiger Transformationen in Ihrem Datenfluss. Weitere Informationen zur Abfrageoptimierung finden Sie in der Abfrageoptimierung.

Staging von Daten und Warehouse-Compute

Stagingdaten sind ein Verfahren zur Verbesserung der Leistung durch vorübergehendes Speichern von Zwischenergebnissen in einem Stagingbereich. Dataflow Gen2 verfügt über ein Staging Lakehouse und ein Staging Warehouse, das verwendet werden kann, um Transformationen effizienter durchzuführen. Durch das Staging von Daten können Sie die Computeressourcen dieser Stagingbereiche verwenden, um komplexe Datenflüsse in verwaltbare Schritte aufzuteilen, wodurch die Gesamtverarbeitungszeit reduziert wird. Diese Aufschlüsselung ist besonders nützlich für große Datensätze oder komplexe Transformationen, deren Ausführung in einem einzigen Schritt andernfalls lange dauern würde. Sie können Stagingspeicherorte als temporären Speicherbereich in Betracht ziehen, mit dem Sie Transformationen falten können. Dieser Ansatz ist besonders nützlich beim Arbeiten mit Datenquellen, die keine Abfragefaltung unterstützen oder transformationen zu komplex sind, um in das Quellsystem verschoben zu werden. Um Staging effektiv anzuwenden, können Sie die Faltindikatoren im Dataflow-Editor im Auge behalten, um sicherzustellen, dass Ihre Transformationen an die Quelle gedrückt werden. Wenn Sie feststellen, dass eine Transformation nicht gefaltet wird, sollten Sie die Abfrage in zwei Abfragen aufteilen und die Transformation in der zweiten Abfrage anwenden. Aktivieren Sie das Staging für die erste Abfrage, um die Transformation in der Staging Lakehouse- oder Warehouse-Berechnung durchzuführen. Mit diesem Ansatz können Sie die in den Stagingbereichen verfügbaren Computeressourcen nutzen und gleichzeitig sicherstellen, dass der Datenfluss effizient und reaktionsfähig bleibt.

Wenn Sie Daten haben, die bereits im Lakehouse oder Warehouse vorhanden sind und Sie mehr Transformationen anwenden, die vollständig in nachfolgenden Abfragen integriert werden, wird die Ausgabe durch den Datenfluss im Staging Warehouse gespeichert. Dies kann schneller sein als das Schreiben in das Staging Lakehouse, da der Datensatz parallel vom Data Warehouse geschrieben werden kann und weniger Netzwerkdurchläufe mit den zugehörigen Serialisierungsschritten durchlaufen wird.

Szenarien und zu berücksichtigende Optimierungen

Bei der Arbeit mit Dataflow Gen2 ist es wichtig, die verschiedenen Szenarien zu verstehen, die Sie möglicherweise treffen und wie Sie die Leistung in jedem Fall optimieren. Die folgenden Überlegungen enthalten praktische Anleitungen zum Anwenden der bewährten Methoden auf reale Situationen. Indem Sie Ihren Ansatz basierend auf den spezifischen Merkmalen Ihrer Daten und Transformationen anpassen, können Sie eine optimale Leistung in Ihren Datenintegrationsworkflows erzielen. Im Folgenden finden Sie einige häufige Szenarien, die beim Arbeiten mit Dataflow Gen2 auftreten können, zusammen mit empfohlenen Aktionen zur Optimierung der Leistung. Beachten Sie, dass die Leistungsoptimierung ein fortlaufender Prozess ist und für Ihr Szenario sehr spezifisch ist. Möglicherweise müssen Sie Ihren Ansatz basierend auf den spezifischen Merkmalen Ihrer eigenen Daten und Transformationen anpassen.

Überlegung 1: Verbessern der Datenverschiebung mit Fast Copy

In diesem Szenario stellen Sie fest, dass die Datenübertragung zwischen Ihrer Datenquelle und dem Stagingbereich oder zu Ihrem endgültigen Ziel länger dauert als erwartet. Mehrere Faktoren könnten beteiligt sein, z. B. Netzwerklatenz, große Datasetgrößen oder ineffiziente Datenübertragungsmethoden.

In diesem Fall sollten Sie den Datenbewegungspfad auswerten und ihn für eine bessere Leistung optimieren. Ein Ansatz besteht darin, Fast Copy für die Datenübertragung mit hohem Durchsatz zu verwenden, wodurch die Laufzeit erheblich reduziert werden kann. Fast Copy wurde entwickelt, um große Datenmengen effizient zu verarbeiten, wodurch der Aufwand für herkömmliche Datenübertragungsmethoden minimiert wird. Seien Sie jedoch vorsichtig: Wenn Sie Transformationen in derselben Abfrage wie ein Fast Copy-Vorgang hinzufügen, kann der Vorgang Fast Copy deaktivieren, wenn die Transformationen nicht in das Quellsystem integriert werden. In solchen Fällen sollten Sie die Abfrage in zwei Schritte unterteilen: eine für den Fast Copy-Vorgang und eine für die Transformationen mithilfe der Staging Lakehouse- oder Warehouse-Berechnung. Mit diesem Ansatz können Sie schnelle Kopie für die Datenübertragung mit hohem Durchsatz nutzen und gleichzeitig die erforderlichen Transformationen in einem separaten Schritt ausführen. Erfahren Sie mehr über fast Copy.

Sie können "Schnelle Kopie" in den Datenflusseinstellungen aktivieren. Diese Einstellung ist standardmäßig aktiviert, Sie können aber auch eine schnelle Kopie für eine bestimmte Abfrage in Ihrem Datenfluss verwenden. Wählen Sie dazu in den Abfrageeinstellungen die Option "Schnelle Kopie anfordern " aus. Mit dieser Aktion wird sichergestellt, dass "Schnelle Kopie" für die ausgewählte Abfrage verwendet wird und dass der Mindestschwellenwert für "Schnelle Kopie" ignoriert wird. Diese Einstellung ist besonders nützlich, wenn Sie sicherstellen möchten, dass schnelle Kopie für bestimmte Abfragen verwendet wird, unabhängig von der Datengröße oder anderen Bedingungen. Wenn Sie Fast Copy benötigen, stellen Sie sicher, dass die Datenquelle mit Fast Copy kompatibel ist und dass die Transformationen in der Abfrage an das Quellsystem übertragen werden können. Wenn Sie Fast Copy für eine Abfrage benötigen, die nicht mit Fast Copy kompatibel ist, schlägt der Datenfluss fehl. Wenn Sie "Fast Copy" nicht benötigen, wird der Datenfluss weiterhin ausgeführt, kann jedoch auf die standardmäßige Datenbewegungsmethode zurückgreifen, die möglicherweise nicht so effizient ist wie "Fast Copy". Diese Flexibilität ermöglicht es Ihnen, Ihren Datenfluss basierend auf den spezifischen Anforderungen Ihrer Datenintegrationsprozesse zu optimieren.

Überlegungen 2: Verbessern der Ausführungszeit für komplexe Transformationen mithilfe von Staging

In diesem Szenario verfügen Sie über einen Datenfluss mit mehreren komplexen Transformationen, z. B. Verknüpfungen, Aggregationen und Filtern. Die Ausführungszeit ist länger als gewünscht, und Sie möchten die Leistung dieser Transformationen optimieren.

In diesem Fall sollten Sie den Datenfluss in kleinere, überschaubarere Schritte aufteilen. Anstatt alle Transformationen in einer einzelnen Abfrage durchzuführen, können Sie die Daten in einem Staging Lakehouse oder Warehouse bereitstellen und dann die Transformationen in nachfolgenden Abfragen anwenden. Mit diesem Ansatz können Sie die Computeressourcen des Stagingbereichs auf komplexe Transformationen anwenden, wodurch die Gesamtausführungszeit reduziert wird. Stellen Sie außerdem sicher, dass Ihre Transformationen so konzipiert sind, dass sie nach Möglichkeit in das Quellsystem gefaltet werden, da dies die Leistung erheblich verbessern kann, indem Sie die Menge der übertragenen und verarbeiteten Daten in Dataflow Gen2 verringern. Wenn Sie feststellen, dass bestimmte Transformationen nicht gefaltet werden, sollten Sie sie in separate Abfragen aufteilen und nach dem Staging der Daten anwenden.

Beachten Sie in der folgenden Abbildung, wie die Faltanzeiger im Dataflow-Editor Ihnen helfen können, zu erkennen, welche Transformationen an das Quellsystem durchgereicht werden.

Screenshot, der die Faltindikatoren im Bereich "Angewandte Schritte" hervorhebt.

Um staging effektiv zu implementieren, können Sie den Datenfluss in zwei Abfragen aufteilen. Klicken Sie dazu mit der rechten Maustaste auf den ersten Schritt, der nicht in das Quellsystem übergeht, und wählen Sie die Option Vorheriges Extrahieren aus. Diese Aktion erstellt eine neue Abfrage, die die Daten in der Staging-Lakehouse- oder Warehouse-Bereitstellung vorbereitet, sodass Sie die Transformation in einem separaten Schritt ausführen können. Mit diesem Ansatz können Sie die in den Stagingbereichen verfügbaren Computeressourcen nutzen und gleichzeitig sicherstellen, dass Ihr Datenfluss effizient und reaktionsfähig bleibt.

Geben Sie dann einen Namen für die neue Abfrage ein, und wählen Sie "OK" aus.

Nachdem die neue Abfrage erstellt wurde, können Sie überprüfen, ob das Staging für die erste Abfrage aktiviert ist. Wenn staging nicht aktiviert ist, können Sie sie aktivieren, indem Sie in den Abfrageeinstellungen die Option "Staging aktivieren " auswählen. Mit dieser Aktion können Sie Transformationen im Staging-Lakehouse oder Warehouse-Compute durchführen, um die Leistung Ihres Datenflusses zu optimieren. Das Staging der zweiten Abfrage ist optional, kann aber die Leistung weiter verbessern, indem Sie zusätzliche Transformationen im Stagingbereich ausführen können, bevor Sie die endgültige Ausgabe an das Ziel schreiben.

Wenn Sie nun die Ein-/Ausklappindikatoren im Dataflow-Editor betrachten, werden die Transformationen in der ersten Abfrage in das Quellsystem übertragen. Die zweite Abfrage reflektiert möglicherweise nicht dieselben Folding-Indikatoren, da sie erst zur Laufzeit den Stagingbereich und die Transformationen erkennt, die in den Stagingbereich verschoben werden können.

Wenn Sie mehr darüber erfahren möchten, wie Sie Ihre Datenflusstransformationen optimieren und sicherstellen möchten, dass sie in das Quellsystem verschoben werden, wechseln Sie zur Abfragefaltung.

Überlegungen 3: Optimieren der Staging-zu-Lakehouse-Datenbewegung für ein Lakehouse-Ziel

Verwenden Sie in diesem Szenario ein Lakehouse-Ziel für Ihren Datenfluss, und ermöglichen Sie das Staging zum Ausführen von Transformationen, bevor Sie die endgültige Ausgabe schreiben. Stellen Sie sicher, dass der Schritt, der mehrstufige Daten in das Lakehouse verschiebt, dem gesamtaktualisierungszeitaufwand keinen unnötigen Aufwand hinzu.

Ein Lakehouse ist ein vollständig unterstütztes, leistungsfähiges Ziel für dieses Muster. Die Datenverschiebung vom Staging Warehouse zum Lakehouse-Ziel ist optimiert, sodass Sie Ihr Ziel nicht mehr auf ein Warehouse umstellen müssen, um eine gute Leistung zu erzielen. Der empfohlene Ansatz ist das ELT-Muster: Verwenden Sie Fast Copy, um die Daten schnell zu landen, führen Sie Ihre Transformationen auf den mehrstufigen Daten mithilfe der Fabric Staging-Compute aus, und schreiben Sie die endgültige Ausgabe in das Lakehouse. Für große Datasets bleibt Fast Copy die empfohlene Methode, um die Daten effizient zu verschieben.

Wenn Sie dieses Muster heute optimal nutzen möchten, trennen Sie die Fast Copy und die Transformation in zwei Abfragen: eine Abfrage, die die Datenverschiebung fast copy ausführt, und eine zweite Abfrage, die die Transformationen auf die mehrstufigen Daten anwendet, bevor Sie das Lakehouse-Ziel schreiben. Das Kombinieren eines Fast Copy-Vorgangs mit Nichtfaltungstransformationen in derselben Abfrage deaktiviert fast Copy, sodass es wichtig ist, sie in separaten Abfragen zu behalten. Wenn Ihre Transformationen vollständig in die Quelle gefaltet werden, können Sie auch direkt in das Lakehouse schreiben, mit deaktivierter Staging.

Wenn Sie Daten bereitstellen und in ein Lakehouse-Ziel schreiben, aktivieren Sie die Option "Optimierte Kopie in Lakehouse (Vorschau) " auf der Registerkarte "Scale", um die mehrstufigen Daten über den schnelleren Kopierpfad an das Lakehouse weiterzuleiten, wodurch der Aufwand des Staging-zu-Lakehouse-Hops reduziert wird. Weitere Informationen finden Sie unter "Mehrstufige Datenoptionen" für "Dataflow Gen2".

Überlegungen 4: Große Datenvorschauen während der Entwurfszeit

In diesem Szenario arbeiten Sie an einem Datenfluss mit großen Datensätzen, und die Entwurfszeit ist aufgrund der Größe der Datenvorschauen langsam. Dieser Prozess kann es schwierig machen, Ihren Datenfluss effektiv zu erstellen und zu testen.

In diesem Fall sollten Sie entweder die Schemaansicht oder die Parameterisierung verwenden, um die Größe der Datenvorschau einzuschränken. Indem Sie Filter basierend auf Parametern anwenden, z. B. einen Datumsbereich oder bestimmte IDs, können Sie die Datenmenge verringern, die in der Entwurfszeitumgebung angezeigt wird. Dieser Ansatz trägt dazu bei, die Entwurfsumgebung reaktionsfähig und effizient zu halten, sodass Sie sich auf die Erstellung und das Testen des Datenflusses konzentrieren können, ohne durch große Datenvorschauen behindert zu werden. Darüber hinaus können Sie die Parameter während der Laufzeit anpassen, um das vollständige Dataset bei Bedarf abzurufen.

Wenn Sie beispielsweise mit einem großen Transaktionsdatensatz arbeiten, können Sie einen Parameter erstellen, der die Daten basierend auf einem bestimmten Datumsbereich filtert. Auf diese Weise sehen Sie während der Entwurfszeit nur eine Teilmenge der Daten, die für Ihre aktuelle Arbeit relevant sind. Wenn Sie bereit sind, den Datenfluss auszuführen, können Sie den Parameter so anpassen, dass es das vollständige Dataset enthält, um sicherzustellen, dass Ihre Datenintegrationsprozesse effizient und reaktionsfähig bleiben. Das folgende Beispiel zeigt, wie Sie einen Parameter in Dataflow Gen2 einrichten:

1. Wählen Sie die Option "Parameter verwalten" im Datenfluss-Editor aus.

2. Wählen Sie die Schaltfläche " Parameter hinzufügen " aus, um einen neuen Parameter hinzuzufügen.

   

3. Füllen Sie die Parameterdetails aus, z. B. Name, Typ und Wert. Sie können beispielsweise einen Parameter namens DesignDateFilter vom Typ DateTime mit einem Standardwert erstellen, der die Datenvorschau auf einen bestimmten Datumsbereich beschränkt.

   

4. Wenden Sie den Parameter in Ihren Datenflussabfragen an, indem Sie ihn in den Filterbedingungen verwenden. Sie können beispielsweise die Daten basierend auf dem Parameter "DesignDateFilter " filtern, um die Datenvorschau auf einen bestimmten Datumsbereich zu beschränken. In diesem Fall filtern wir die Daten so, dass nur Datensätze einbezogen werden, bei denen die Spalte "Date" größer als der Parameter "DesignDateFilter " ist.

   

5. Jetzt können Sie den Parameter "DesignDateFilter " in Ihren Datenflussabfragen verwenden, um die Datenvorschau während der Entwurfszeit einzuschränken. Wenn Sie bereit sind, den Datenfluss auszuführen, können Sie den Parameterwert anpassen, um das vollständige Dataset einzuschließen, um sicherzustellen, dass Ihre Datenintegrationsprozesse effizient und reaktionsfähig bleiben.

   

Eine weitere Option besteht darin, die Schemaansicht zu verwenden, mit der Sie die Struktur Ihrer Daten anzeigen können, ohne das gesamte Dataset zu laden. Diese Ansicht bietet eine allgemeine Übersicht über die Datentypen und Spalten in Ihrem Dataset, sodass Sie Ihren Datenfluss entwerfen und testen können, ohne dass sie von großen Datenvorschauen betroffen sind. Um zur Schemaansicht zu wechseln, wählen Sie die Option "Schemaansicht " im Datenfluss-Editor aus.

Überlegung 5: Dataflow Gen2 Laufzeiteigenschaften im Vergleich zu Dataflow Gen1

In diesem Szenario stellen Sie fest, dass die Leistung von Dataflow Gen2 langsamer als die von Dataflow Gen1 ist, insbesondere in Bezug auf Ausführungszeit und Ressourcennutzung. Dieser Leistungsunterschied kann auf mehrere Faktoren zurückzuführen sein, einschließlich der Unterschiede in den Optimierungstechniken und Ausgabeformaten, die in Dataflow Gen2 verwendet werden.

Dataflow Gen2 gibt Daten im Delta-Parquet-Format aus, wenn Sie Staging- oder Lakehouse-Ziele verwenden, was sich von der CSV-Ausgabe von Dataflow Gen1 unterscheidet. Während Delta Parquet im Vergleich zu CSV längere ETL-Laufzeiten führen könnte, ermöglicht es leistungsstarke Downstream-Funktionen wie Direct Lake, Lakehouses und Warehouses, sodass diese Dienste Daten effizienter ohne zusätzliche Verarbeitung oder Kosten nutzen können. Der Unterschied in der Speichermethode bedeutet, dass zwar die anfängliche Ausführungszeit länger sein kann, jedoch die Gesamtleistung und Effizienz der nachgelagerten Prozesse erheblich verbessert werden können, was zu einer besseren langfristigen Leistung Ihrer Datenintegrations-Workflows führen kann. Erfahren Sie mehr über das Delta-Parkettformat.

Überlegungen 6: Optimieren der Aktualisierungszeit für große Transaktionsdatensätze mithilfe der inkrementellen Aktualisierung

In diesem Szenario beschäftigen Sie sich mit einem großen Transaktionsdatensatz, der häufig aktualisiert wird, und Sie möchten die Aktualisierungszeit Ihres Datenflusses optimieren. Diese Optimierung kann aufgrund der Datenmenge und der Notwendigkeit, nur die neuen oder geänderten Datensätze zu verarbeiten, schwierig sein.

In diesem Fall sollten Sie die inkrementelle Aktualisierung oder das Muster verwenden, um Daten inkrementell zu amassieren. Mit der inkrementellen Aktualisierung können Sie nur die neuen oder geänderten Daten seit der letzten Aktualisierung verarbeiten, die Menge der verarbeiteten Daten verringern und die Gesamtausführungszeit beschleunigen. Dieser Ansatz ist besonders nützlich für Szenarien, in denen Daten häufig aktualisiert werden, z. B. in Transaktionssystemen. Durch die Implementierung der inkrementellen Aktualisierung können Sie die Leistung Ihres Datenflusses optimieren und sicherstellen, dass Ihre Datenintegrationsprozesse effizient und reaktionsfähig bleiben. Erfahren Sie mehr über die inkrementelle Aktualisierung oder erfahren Sie mehr über das Datenmuster für die inkrementelle Sammlung.

Überlegungen 7: Ich verwende ein Gateway, um eine Verbindung mit meiner lokalen Datenquelle herzustellen, und ich möchte die Leistung meines Datenflusses optimieren.

In diesem Szenario verwenden Sie ein Gateway, um eine Verbindung mit Ihrer lokalen Datenquelle herzustellen, und Sie möchten die Leistung Ihres Datenflusses optimieren. Gateways können zusätzliche Latenz und Mehraufwand verursachen, was sich auf die Gesamtleistung Ihres Datenflusses auswirken kann.

In diesem Fall sollten Sie den Datenfluss in zwei separate Datenflüsse aufteilen: eine für die Datenverschiebung von der lokalen Datenquelle zu einem Datenziel (z. B. einem Lakehouse oder Warehouse) und einem anderen für Transformationen und endgültige Ausgabe. Dieser Ansatz ermöglicht es Ihnen, den Datenverschiebungsschritt zu optimieren, indem Sie fast Copy für die Datenübertragung mit hohem Durchsatz nutzen und gleichzeitig den Transformationsschritt auf die effiziente Verarbeitung der Daten konzentrieren und die Gesamtausführungszeit reduzieren. Durch die Trennung der Datenverschiebungs- und Transformationsschritte können Sie die Auswirkungen von Gatewaylatenz und Kapazitätsbeschränkungen verringern. Der Grund dafür ist, dass das Gateway den gesamten Datenfluss ausführt und wenn der Datenfluss komplex ist oder viele Transformationen aufweist, kann dies zu einer langsameren Leistung führen, da das Gateway alle Transformationen auf dem Computer verarbeitet, auf dem das Gateway gehostet wird. Durch die Aufteilung des Datenflusses können Sie sicherstellen, dass das Gateway nur für den Datenbewegungsschritt verantwortlich ist, wodurch die Leistung erheblich verbessert und die Ausführungszeit reduziert werden kann.

Überlegungen 8: Ich verwende die Datenfluss-Connectoren, um Daten aus dem Datenfluss abzurufen und meine Datenintegrationsprozesse zu optimieren

In diesem Szenario verwenden Sie Datenfluss-Konnektoren, um Daten aus Ihrem Datenfluss zu nutzen, und möchten Ihre Datenintegrationsprozesse optimieren. Dataflow-Connectors können eine bequeme Möglichkeit bieten, auf Daten zuzugreifen und sie zu nutzen.

In diesem Fall sollten Sie Datenziele anstelle von Datenfluss-Connectors verwenden, um Daten aus Ihrem Datenfluss zu beziehen. Datenziele wie Lakehouses und Warehouses sind so konzipiert, dass Daten effizient gespeichert und bereitgestellt werden, sodass Sie ihre Funktionen für den nachgelagerten Verbrauch anwenden können. Ein großer Vorteil der Verwendung von Datenzielen besteht darin, dass sie häufig allgemeinere Methoden zum Herstellen einer Verbindung mit Daten wie dem SQL-Endpunkt oder zum Verwenden der Direct Lake-Funktionen bereitstellen, die die Leistung erheblich verbessern und den Ressourcenverbrauch reduzieren können.

Überlegungen 9: Aktivieren des modernen Evaluators für eine verbesserte Abfrageausführungsleistung

In diesem Szenario möchten Sie die Gesamtleistung Ihres Datenflusses verbessern, insbesondere bei komplexen Transformationen oder beim Arbeiten mit Connectors, die keine Abfragefaltung unterstützen.

In diesem Fall sollten Sie die Modern Query Evaluation Engine (Modern Evaluator) mit CI/CD für Ihre Dataflow Gen2 aktivieren. Der moderne Evaluator ist eine neue Abfrageausführungs-Engine, die auf .NET Core 8 läuft und die Leistung von Datenflussprozessen erheblich verbessern kann. Es wird empfohlen, dieses Feature immer für unterstützte Szenarien zu aktivieren, da es mehrere wichtige Vorteile bietet:

• Schnellere Datenflussausführung: Das moderne Modul kann die Abfrageauswertungszeit erheblich reduzieren. Viele Datenflüsse werden deutlich schneller ausgeführt, sodass Sie Daten häufiger aktualisieren oder enge Aktualisierungsfenster erfüllen können.
• Effizientere Verarbeitung: Die Engine ist für Effizienz optimiert, mit verbesserten Algorithmen und einer modernen Ausführungsumgebung. Dies bedeutet, dass komplexe Transformationen mit weniger Aufwand verarbeitet werden können, was dazu beiträgt, die Leistung zu gewährleisten, wenn ihr Datenvolume wächst.
• Skalierbarkeit und Zuverlässigkeit: Durch die Beschleunigung der Ausführung und Verringerung von Engpässen hilft der moderne Evaluator, Datenflüsse auf größere Volumes mit größerer Stabilität zu skalieren. Sie können eine konsistentere Aktualisierungsdauer und weniger Timeoutprobleme bei großen Datenflüssen erwarten.

Der moderne Evaluator ist besonders vorteilhaft, wenn:

• Sie arbeiten mit nicht faltbaren oder teilweise faltbaren Verbindern
• Sie wenden Filter, Spalteneinleitungen oder Datenbereinigungsvorgänge an.
• Sie beschäftigen sich mit großen Datenvolumes oder komplexen Transformationen
• Ihre Datenflüsse werden mehrmals täglich ausgeführt, und Sie müssen Zeiteinsparungen sammeln.

So aktivieren Sie den modernen Evaluator:

1. Öffnen Sie den Datenfluss im Power Query-Editor.
2. Wählen Sie im Menü "Optionen" aus.
3. Navigieren Sie zur Registerkarte " Skalieren ".
4. Aktivieren Sie die Option "Moderne Abfrageauswertungsmodul ".
5. Speichern und ausführen Sie den Datenfluss.

Der moderne Evaluator unterstützt eine wachsende Liste von Verbindern. Die vollständige Liste der unterstützten Connectors und des aktuellen Featurestatus finden Sie unter Modern Evaluator for Dataflow Gen2 with CI/CD. Wenn Ihr Datenfluss Connectors verwendet, die nicht in der unterstützten Liste enthalten sind, werden diese Abfragen weiterhin mit dem Standardmodul ausgeführt.

Weitere Informationen über den Modern Evaluator finden Sie unter Modern Evaluator für Dataflow Gen2 mit CI/CD.

Conclusion

Indem Sie diese bewährten Methoden ausführen und die spezifischen Merkmale Ihrer Daten und Transformationen berücksichtigen, können Sie die Leistung von Dataflow Gen2 in Fabric Data Factory optimieren. Ganz gleich, ob Sie mit großen Datasets, komplexen Transformationen oder bestimmten Datenintegrationsmustern arbeiten, diese Richtlinien bieten umsetzbare Einblicke, um die Effizienz und Geschwindigkeit Ihrer Datenintegrationsprozesse zu verbessern. Denken Sie daran, dass die Leistungsoptimierung ein fortlaufender Prozess ist und Sie möglicherweise Ihren Ansatz basierend auf den sich entwickelnden Anforderungen Ihrer Datenintegrationsworkflows anpassen müssen. Indem Sie Ihre Datenflüsse kontinuierlich überwachen und optimieren, können Sie sicherstellen, dass sie effizient bleiben und auf Ihre Geschäftsanforderungen reagieren.