Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Nachdem Sie Ihre Daten mit Dataflow Gen2 bereinigt und vorbereitet haben, sollten Sie sie an einem beliebigen Ort speichern. Mit Dataflow Gen2 können Sie aus mehreren Zielen wählen, z. B. Azure SQL, Fabric Lakehouse und andere. Nachdem Sie ein Ziel ausgewählt haben, schreibt Dataflow Gen2 Ihre Daten dort, und Sie können sie für Analyse und Berichterstellung verwenden.
Die folgende Liste enthält die unterstützten Datenziele:
- Amazon S3 (Vorschau)
- Azure SQL-Datenbanken
- Azure Data Explorer (Kusto)
- Azure Datalake Gen2
- Fabric Lakehouse-Tische
- Fabric Lakehouse-Dateien
- Stofflagerhaus
- Fabric-KQL-Datenbank
- Fabric SQL-Datenbank
- Google BigQuery (Vorschau)
- SharePoint-Dateien
- Snowflake-Datenbank
- PostgreSQL-Datenbank
Die Datenziele von Google BigQuery und Amazon S3 sind in der Vorschau. Das PostgreSQL-Datenziel ist allgemein verfügbar.
Hinweis
Um Ihre Daten in Fabric Data Warehouse zu laden, können Sie den Azure Synapse Analytics (SQL DW) Connector verwenden, indem Sie die SQL-Verbindungszeichenfolge abrufen. Weitere Informationen finden Sie unter Konnektivität mit Fabric Data Warehouse.
Einstiegspunkte
Jede Datenabfrage in Ihrem Dataflow Gen2 kann ein Datenziel haben. Sie können nur Ziele auf tabellarische Abfragen anwenden – Funktionen und Listen werden nicht unterstützt. Sie können das Datenziel für jede Abfrage einzeln festlegen und unterschiedliche Ziele innerhalb desselben Datenflusses verwenden.
Es gibt drei Möglichkeiten zum Einrichten des Datenziels:
Über das obere Ribbon.
Über Abfrageeinstellungen.
Über die Diagrammansicht.
Verbindung herstellen zum Datenzielort
Das Herstellen einer Verbindung mit dem Datenziel funktioniert wie das Herstellen einer Verbindung mit einer Datenquelle. Sie können Verbindungen sowohl zum Lesen als auch zum Schreiben Ihrer Daten verwenden, sofern Sie über die richtigen Berechtigungen für die Datenquelle verfügen. Sie müssen eine neue Verbindung erstellen oder eine vorhandene Verbindung auswählen und dann "Weiter" auswählen.
Google BigQuery- und Amazon S3-Ziele (Vorschau)
Verwenden Sie diese Ziele, um vorbereitete Daten an andere Cloud-Plattformen zu liefern, ohne einen separaten Exportschritt durchführen zu müssen:
| Bestimmungsort | Ausgabe | Verbindung und Einrichtung |
|---|---|---|
| Google BigQuery-Datenanalyseplattform | Tabellen in einem BigQuery-Datensatz. | Verwenden Sie Google BigQuery als Datenziel. |
| Amazon S3 | Dateien in einem S3-Bucket. | Verwenden Sie Amazon S3 als Datenziel. |
Important
Um Google BigQuery oder Amazon S3 als Dataflow Gen2-Datenziel über ein lokales Datengateway zu verwenden, benötigen Sie die Gateway-Version November 2026 (Version 3000.342.0) oder später. Für Aktualisierungsanweisungen siehe Aktualisieren eines lokalen Datengateways.
Wählen Sie die zu exportierende Abfrage aus, wählen Sie Datenziel hinzufügen, und wählen Sie dann Google BigQuery oder Amazon S3. Konfigurieren Sie eine Verbindung mit Schreibberechtigungen und vervollständigen Sie die Ziel- und Zieleinstellungen. Führen Sie den Datenfluss aus, um die Abfrageergebnisse zu schreiben.
Amazon S3 ist ebenfalls als Datenquelle verfügbar. Sie können Dateien aus S3 lesen, die Daten in Power Query transformieren und kombinieren sowie die Ergebnisse an ein unterstütztes Ziel laden.
Hinweis
Während der Vorschau können das Schreiben an Google BigQuery langsamer verlaufen als erwartet. Siehe das bekannte Performanceproblem für Ziele für Hinweise.
Überprüfen Sie außerdem bei der Konfiguration dieser Ziele die Einschränkung von BigQuery empty-query-result sowie die Schreibbeschränkung im Stammverzeichnis des Amazon-S3-Buckets und Unterordner-Lösung.
Einrichten von dateibasierten Zielen
Wenn Sie ein dateibasiertes Ziel auswählen (z. B. SharePoint), müssen Sie Einstellungen basierend auf dem ausgewählten Dateiformat konfigurieren.
Textformat mit Trennzeichen
Wenn Sie Getrennter Text als Dateiformat auswählen, konfigurieren Sie die folgenden Einstellungen:
- Dateiname: Der Name der Datei, die im Zielort erstellt wird. Standardmäßig entspricht der Dateiname Ihrem Abfragenamen.
- Dateiursprung: Die Kodierung, die zur Erstellung der Datei im Ziel verwendet wird. Standardmäßig ist dies auf 65001 festgelegt: Unicode (UTF-8).
-
Trennzeichen: Das Trennzeichen, das verwendet wird, um Werte in der Datei zu trennen. Die folgenden Optionen stehen zur Verfügung:
- Doppelpunkt
- Komma (Standard)
- Gleichheitszeichen
- Semikolon
- Space
- Tab
Excel-Format
Wenn Sie Excel als Dateiformat auswählen, haben Sie drei Formatoptionen: Einzelnes Blatt, Mehrere Blatt und Erweitert.
Einzelnes Blattformat
Das Ein-Blatt-Format schreibt Ihre Daten auf ein einzelnes Blatt in der Excel-Datei. Konfigurieren Sie diese Einstellungen:
-
Dateiname: Der Name der Excel-Datei, die am Zielort erstellt wird. Standardmäßig entspricht der Dateiname Ihrem Abfragenamen mit einer
.xlsxErweiterung. -
Ausgabetyp: Wählen Sie aus, wie Ihre Daten im Blatt dargestellt werden:
- Sheet: Gibt Daten als Standard-Excel-Tabelle aus.
-
Diagramm: Gibt Daten als Diagramm aus. Wenn Sie "Diagramm" auswählen, müssen Sie zusätzliche Einstellungen konfigurieren:
- Blattname: Der Name des Blatts, in dem das Diagramm erstellt wurde.
- Diagrammart: Die Art des zu erstellenden Diagramms (zum Beispiel Fläche).
- Achsenspalten: Die Spalten, die für die Diagrammachse verwendet werden.
- Wertspalten: Die Spalten, die für die Diagrammwerte verwendet werden.
- Primärachsespalte: Die Spalte, die als primäre Achse verwendet werden soll (optional).
- Blattname: Der Name des Blatts, in dem die Daten geschrieben werden (wenn der Ausgabetyp Blatt ist).
Mehrblattformat
Das Multisheetformat partitioniert Ihre Daten auf grundlage eines Spaltenwerts auf mehreren Blättern. Konfigurieren Sie diese Einstellungen:
- Dateiname: Der Name der Excel-Datei, die am Zielort erstellt wird.
- Spalte Blattpartition: Die Spalte, die verwendet wird, um Daten über mehrere Blätter hinweg zu partitionieren. Jeder eindeutige Wert in dieser Spalte erstellt ein separates Blatt.
Erweitertes Format
Das erweiterte Format bietet mehr Kontrolle über die Excel-Ausgabe, sodass Sie komplexe Arbeitsmappen mit mehreren Blättern, Diagrammen und angepasster Formatierung mithilfe von Navigationstabellen erstellen können. Weitere Informationen finden Sie unter Excel Advanced Data Destination.
Dokument-Generatoren
Verwenden Sie einen Dokumenten-Builder, um formatierte Inhalte aus Ihren Dataflow-Abfragen zu definieren, und konfigurieren Sie dann ein dateibasiertes Ziel für die resultierende Dokumentabfrage:
- Excel Document Builder (Vorschau) definiert Arbeitsblätter, Tabellen, Bereiche und Diagramme.
- HTML Document Builder (Vorschau) definiert ein HTML-Dokument, einschließlich Diagrammen, die vorbereitete Abfragedaten verwenden.
Das Schließen eines Builders schreibt keine Datei. Konfigurieren Sie das Ziel der Dokumentabfrage und führen Sie den Datenfluss aus, um das Dokument zu generieren.
Erstellen Sie eine neue Tabelle oder wählen Sie eine vorhandene Tabelle
Beim Laden in Ihr Datenziel können Sie entweder eine neue Tabelle erstellen oder eine vorhandene Tabelle auswählen.
Erstellen einer neuen Tabelle
Wenn Sie eine neue Tabelle erstellen, erstellt Dataflow Gen2 während der Aktualisierung eine neue Tabelle in Ihrem Datenziel. Wenn die Tabelle später gelöscht wird (wenn Sie manuell in das Ziel wechseln und ihn löschen), erstellt der Datenfluss die Tabelle während der nächsten Aktualisierung neu.
Der Tabellenname entspricht standardmäßig dem Abfragenamen. Wenn der Tabellenname Zeichen enthält, die das Ziel nicht unterstützt, wird der Tabellenname automatisch angepasst. Viele Ziele unterstützen z. B. keine Leerzeichen oder Sonderzeichen.
Als Nächstes müssen Sie den Zielcontainer auswählen. Wenn Sie eines der Fabric-Datenziele ausgewählt haben, können Sie den Navigator verwenden, um das Fabric-Element auszuwählen, in dem Die Daten geladen werden sollen. Bei Azure-Zielen können Sie die Datenbank entweder während der Herstellung der Verbindung angeben oder die Datenbank über den Navigator auswählen.
Vorhandene Tabelle verwenden
Um eine vorhandene Tabelle auszuwählen, verwenden Sie die Umschaltfunktion oben im Navigator. Wenn Sie eine vorhandene Tabelle auswählen, müssen Sie sowohl das Fabric-Element/die Fabric-Datenbank als auch die Tabelle mit dem Navigator auswählen.
Wenn Sie eine vorhandene Tabelle verwenden, kann die Tabelle in keinem Szenario neu erstellt werden. Wenn Sie die Tabelle manuell aus dem Datenziel löschen, erstellt Dataflow Gen2 die Tabelle bei der nächsten Aktualisierung nicht neu.
Lakehouse-Dateien oder -Tabellen
Für Lakehouse haben Sie die Möglichkeit, dateien oder Tabellen in Ihrem Seehaus zu erstellen. Dies ist einzigartig, da die meisten Ziele nur eine oder andere unterstützen. Dies ermöglicht mehr Flexibilität bei der Struktur Ihrer Daten in Ihrem Lakehouse.
Um zwischen Dateien und Tabellen zu wechseln, können Sie den Umschalter verwenden, wenn Sie nach Ihrem Seehaus suchen.
Verwaltete Einstellungen für neue Tabellen
Wenn Sie in eine neue Tabelle laden, sind die automatischen Einstellungen standardmäßig aktiviert. Wenn Sie automatische Einstellungen verwenden, verwaltet Dataflow Gen2 die Zuordnung für Sie. Hier erfahren Sie, was die automatischen Einstellungen tun:
Update-Methode ersetzen: Daten werden bei jeder Dataflow-Aktualisierung ersetzt. Alle Daten im Ziel werden entfernt. Die Daten im Ziel werden durch die Ausgabedaten des Datenflusses ersetzt.
Managed Mapping: Mapping wird für Sie verwaltet. Wenn Sie Änderungen an Ihren Daten/Abfragen vornehmen müssen, um eine andere Spalte hinzuzufügen oder einen Datentyp zu ändern, wird die Zuordnung automatisch für diese Änderung angepasst, wenn Sie den Datenfluss erneut veröffentlichen. Sie müssen nicht jedes Mal, wenn Sie Änderungen am Datenfluss vornehmen, in die Datenzielumgebung wechseln, wodurch Schemaänderungen beim erneuten Veröffentlichen des Datenflusses einfach gemacht werden.
Tabelle löschen und neu erstellen: Um diese Schemaänderungen zu ermöglichen, wird die Tabelle bei jeder Datenflaf-Aktualisierung gelöscht und neu erstellt. Die Aktualisierung des Datenflusses kann dazu führen, dass Beziehungen oder Measures, die zuvor zu Ihrer Tabelle hinzugefügt wurden, entfernt werden.
Hinweis
Automatische Einstellungen werden für Lakehouse, Azure SQL-Datenbank und Snowflake als Datenziele unterstützt. Details finden Sie unter Snowflake-Zieleinstellungen.
Manuelle Einstellungen
Wenn Sie die Option "Automatische Einstellungen verwenden" deaktivieren, erhalten Sie die vollständige Kontrolle darüber, wie Ihre Daten in das Datenziel geladen werden. Sie können Änderungen an der Spaltenzuordnung vornehmen, indem Sie den Quelltyp ändern oder jede Spalte ausschließen, die Sie in Ihrem Datenziel nicht benötigen.
Aktualisierungsmethoden
Die meisten Ziele unterstützen sowohl das Anfügen als auch das Ersetzen als Methoden zur Aktualisierung. Fabric KQL-Datenbanken und Azure Data Explorer unterstützen jedoch keine Ersetzungen als Aktualisierungsmethode.
Ersetzen: Bei jeder Datenflussaktualisierung werden Ihre Daten vom Ziel entfernt und durch die Ausgabedaten des Datenflusses ersetzt.
Anhang: Bei jeder Datenfluss-Aktualisierung werden die Ausgabedaten des Datenflusses den vorhandenen Daten in der Datenzieltabelle hinzugefügt.
Schema-Optionen beim Veröffentlichen
Schemaoptionen für die Veröffentlichung gelten nur, wenn die Updatemethode ersetzt wird. Wenn Sie Daten anfügen, sind Änderungen am Schema nicht möglich.
Dynamisches Schema: Bei der Auswahl des dynamischen Schemas erlauben Sie Änderungen des Schemas im Datenziel, wenn Sie den Datenfluss erneut veröffentlichen. Da Sie keine verwaltete Zuordnung verwenden, müssen Sie die Spaltenzuordnung im Datenflussziel-Assistenten aktualisieren, wenn Sie Änderungen an Ihrer Abfrage vornehmen. Wenn eine Aktualisierung einen Unterschied zwischen dem Zielschema und dem erwarteten Schema erkennt, wird die Tabelle gelöscht und anschließend neu erstellt, um das erwartete Schema auszurichten. Die Aktualisierung des Datenflusses kann dazu führen, dass Beziehungen oder Measures, die zuvor zu Ihrer Tabelle hinzugefügt wurden, entfernt werden.
Fixiertes Schema: Wenn Sie festes Schema wählen, sind Änderungen des Schemas nicht möglich. Wenn der Datenfluss aktualisiert wird, werden nur die Zeilen in der Tabelle gelöscht und durch die Ausgabedaten aus dem Datenfluss ersetzt. Alle Beziehungen oder Kennzahlen in der Tabelle bleiben erhalten. Wenn Sie Änderungen an Ihrer Abfrage im Datenfluss vornehmen, schlägt die Veröffentlichung des Datenflusses fehl, wenn erkannt wird, dass das Abfrageschema nicht mit dem Schema des Datenziels übereinstimmt. Verwenden Sie diese Einstellung, wenn Sie das Schema nicht ändern möchten und Beziehungen oder Measures zu Ihrer Zieltabelle hinzugefügt haben.
Hinweis
Beim Laden von Daten in den Speicherort werden nur feste Schemas unterstützt.
Parametrisierung
Parameter sind ein zentrales Feature innerhalb von Dataflow Gen2. Verwenden Sie den dynamischen Ausdruckseditor, um Text mit dynamischen Datums- und Uhrzeitwerten, Parametern und Arbeitsflächenvariablen in unterstützten Datenzielfeldern zu kombinieren. Der Editor ist standardmäßig aktiviert. Drücken Sie in einem unterstützten Eingabefeld /, um einen Wert einzufügen. Weitere Informationen finden Sie unter Verwenden des Editors für dynamische Ausdrücke für Datenziele in Dataflow Gen2.
Um Zieleinstellungen zu parametrisieren, die der dynamische Ausdruckseditor nicht unterstützt, verwenden Sie das M-Skript, das für die Zielanfrage erstellt wurde. Weitere Informationen finden Sie unter "Erweiterte Bearbeitung für Datenzielabfragen".
Mashup-Skript für Datenzielabfragen
Bei Verwendung des Datenzielfeatures werden die einstellungen, die zum Laden der Daten in Ihr Ziel definiert sind, im Mashup-Dokument Ihres Dataflows definiert. Die Dataflow-Anwendung erstellt grundsätzlich zwei Komponenten:
- Eine Abfrage, die die Navigationsschritte zu Ihrem Ziel enthält. Es folgt dem Muster des ursprünglichen Abfragenamens mit einem Suffix von _DataDestination. Beispiel:
shared #"Orders by Region_DataDestination" = let
Pattern = Lakehouse.Contents([CreateNavigationProperties = false, EnableFolding = false]),
Navigation_1 = Pattern{[workspaceId = "cfafbeb1-8037-4d0c-896e-a46fb27ff229"]}[Data],
Navigation_2 = Navigation_1{[lakehouseId = "b218778-e7a5-4d73-8187-f10824047715"]}[Data],
TableNavigation = Navigation_2{[Id = "Orders by Region", ItemKind = "Table"]}?[Data]?
in
TableNavigation;
- Ein DataDestinations-Attributeintrag für die Abfrage, der die Logik enthält, die verwendet werden soll, um Daten zu Ihrem Ziel zu laden. Der Datensatz enthält einen Verweis auf die Abfrage, die die Navigationsschritte zu Ihrem Ziel und die allgemeinen Zieleinstellungen, wie Aktualisierungsmethoden, Schemaoptionen und den Zieltyp, z. B. eine Tabelle oder eine andere Art, umfasst. Beispiel:
[DataDestinations = {[Definition = [Kind = "Reference", QueryName = "Orders by Region_DataDestination", IsNewTarget = true], Settings = [Kind = "Automatic", TypeSettings = [Kind = "Table"]]]}]
Diese M-Skripts sind nicht innerhalb der Dataflow-Anwendung sichtbar, Sie können jedoch auf diese Informationen zugreifen:
Unterstützte Datentypen für Quellen je Ziel
| Unterstützte Datentypen pro Speicherort | DataflowStagingLakehouse | Azure DB (SQL) Ausgabe | Azure Data Explorer-Ausgabe | Ausgabe von Fabric Lakehouse (LH) | Fabric Warehouse (WH) Ausgang | Fabric SQL-Datenbank-Ausgabe (SQL) | Snowflake-Ausgabe |
|---|---|---|---|---|---|---|---|
| Vorgang | Nein | Nein | Nein | Nein | Nein | Nein | Nein |
| Beliebig | Nein | Nein | Nein | Nein | Nein | Nein | Nein |
| Binär | Nein | Nein | Nein | Nein | Nein | Nein | Nein |
| Währung | Ja | Ja | Ja | Ja | Nein | Ja | Ja |
| DateTimeZone | Ja | Ja | Ja | Nein | Nein | Ja | Nein |
| Dauer | Nein | Nein | Ja | Nein | Nein | Nein | Nein |
| Funktion | Nein | Nein | Nein | Nein | Nein | Nein | Nein |
| Keine | Nein | Nein | Nein | Nein | Nein | Nein | Nein |
| Null | Nein | Nein | Nein | Nein | Nein | Nein | Nein |
| Zeit | Ja | Ja | Nein | Nein | Nein | Ja | Ja |
| Typ | Nein | Nein | Nein | Nein | Nein | Nein | Nein |
| Strukturiert (Liste, Datensatz, Tabelle) | Nein | Nein | Nein | Nein | Nein | Nein | Nein |
Beim Arbeiten mit Datentypen wie Währung oder Prozentsatz werden sie in der Regel in ihre Dezimaläquivalente für die meisten Ziele konvertiert. Wenn Sie jedoch erneut eine Verbindung mit diesen Zielen herstellen und dem vorhandenen Tabellenpfad folgen, können Probleme beim Zuordnen von Währungen zu einer Dezimalspalte auftreten. Versuchen Sie in solchen Fällen, den Datentyp im Editor auf dezimal zu ändern, da dies die Zuordnung zu der vorhandenen Tabelle und Spalte erleichtert.
Weiterführende Themen
Verwendung von Staging vor dem Laden an einen Zielort
Um die Leistung der Abfrageverarbeitung zu verbessern, kann das Staging in Dataflow Gen2 verwendet werden, um die Fabric-Compute zum Ausführen Ihrer Abfragen zu verwenden.
Wenn das Staging für Ihre Abfragen aktiviert wird (das Standardverhalten), werden Ihre Daten in den Staging-Bereich geladen, ein internes Lakehouse, das nur vom Datenfluss selbst zugänglich ist.
In einigen Fällen kann die Verwendung von Staging-Bereichen die Leistung verbessern, in denen das Generieren der Abfrage am SQL-Analytics-Endpunkt schneller ist als die Verarbeitung im Arbeitsspeicher.
Wenn Sie Daten in das Lakehouse oder andere Nicht-Warehouse-Ziele laden, deaktivieren wir das Staging-Feature standardmäßig, um die Leistung zu verbessern. Wenn Sie Daten in das Datenziel laden, werden die Daten direkt in das Datenziel geschrieben, ohne Staging zu verwenden. Wenn Sie Staging für Ihre Abfrage verwenden möchten, können Sie eine erneute Aktivierung vornehmen.
Klicken Sie zum Aktivieren des Stagings mit der rechten Maustaste auf die Abfrage, und aktivieren Sie die Staging-Schaltfläche, indem Sie die Taste Staging aktivieren auswählen. Ihre Abfrage wird dann blau.
Snowflake-Zieleinstellungen
Snowflake unterstützt Replace und Append als Update-Methoden. Mit Replace unterstützen neue Tabellen dynamische Schema und feste Schema.
- Verwaltete Einstellungen: Für neue Tabellen verwaltet Dataflow Gen2 die Spaltenzuordnung und verwendet Replace. Wenn Sie Abfragespalten hinzufügen, umbenennen oder entfernen, veröffentlichen Sie den Datenfluss erneut. Die nächste Aktualisierung aktualisiert das Zielschema automatisch, ohne dass Sie die Zielzuordnung neu konfigurieren müssen.
- Manuelle Einstellungen: Aktualisieren Sie mit Ersetzen und dem dynamischen Schema die Spaltenzuordnung, wenn Sie Ihre Abfrage ändern, und veröffentlichen Sie dann den Datenfluss erneut. Die nächste Aktualisierung aktualisiert das Zielschema. Durch die Verwendung von Fixed Schema oder Append werden automatische Schemaänderungen nicht unterstützt.
Wenn du Snowflake als Standardziel verwendest, gelten verwaltete Einstellungen für neue Tabellen, einschließlich automatischer Zuordnung und Schema-Updates.
Hinweis
Um Snowflake als Datenziel über ein On-Premises-Datengateway zu verwenden, installieren Sie die neueste Version des Gateways. Ältere Gateway-Versionen enthalten nicht die für Snowflake-Ziele erforderlichen Steckverbinderänderungen.
Daten in das Data Warehouse laden
Wenn Sie Daten in das Datenlager laden, ist Staging erforderlich, bevor der Schreibvorgang zum Zieldatenbank erfolgt. Diese Anforderung verbessert die Leistung. Derzeit wird nur das Laden in denselben Arbeitsbereich wie der eigentliche Datenfluss unterstützt. Stellen Sie sicher, dass das Staging für alle Abfragen aktiviert ist, die in das Datenlager geladen werden.
Wenn das Staging deaktiviert ist und Sie "Speicherort" als Ausgabeziel auswählen, erhalten Sie eine Warnung, dass erst das Staging aktiviert werden muss, bevor Sie das Datenziel konfigurieren können.
Wenn Sie bereits über ein Lager als Ziel verfügen und versuchen, das Staging zu deaktivieren, wird eine Warnung angezeigt. Sie können entweder das Lager als Ziel entfernen oder die Staging-Aktion schließen.
Schemaunterstützung für Lakehouse-, Warehouse- und SQL-Datenbanken
Lakehouse-, Warehouse- und SQL-Datenbanken in Microsoft Fabric unterstützen alle die Möglichkeit, ein Schema für Ihre Daten zu erstellen. Dies bedeutet, dass Sie Ihre Daten auf eine Weise strukturieren können, die das Verwalten und Abfragen erleichtert. Um in diesen Zielen in Schemas schreiben zu können, müssen Sie die Option "Navigieren mit vollständiger Hierarchie " unter erweiterten Optionen aktivieren, wenn Sie die Verbindung einrichten. Wenn Sie diese Option nicht aktivieren, können Sie die Schemas im Ziel nicht auswählen oder anzeigen. Eine Vorschaueinschränkung zum Aktivieren der Navigation mithilfe der vollständigen Hierarchie besteht darin, dass schnelle Kopie möglicherweise nicht ordnungsgemäß funktioniert. Um dieses Feature in Kombination mit einem Gateway zu verwenden, benötigen wir mindestens 3000.310 Version des Gateways.
Automatische SQL Analytics-Endpunktmetadatensynchronisierung für Lakehouse-Ziele
Wenn ein Dataflow Gen2 Daten in ein Lakehouse-Tabellenziel schreibt, werden die SQL-Analytics-Endpunktmetadaten automatisch als Teil der Aktualisierung synchronisiert. Dies bedeutet, dass Ihre Daten sofort über den SQL-Analyseendpunkt nach einer erfolgreichen Aktualisierung abgefragt werden können, ohne dass zusätzliche Aktion oder separater API-Aufruf erforderlich ist.
Dieses Verhalten wird durch die Option "SQL Analytics-Endpunkt-Metadaten synchronisieren " gesteuert, die sich unter erweiterten Optionen in den Lakehouse-Verbindungseinstellungen befindet (sichtbar, wenn Sie eine Lakehouse-Datenzielverbindung erstellen oder bearbeiten). Die Option ist standardmäßig auf "True" festgelegt.
In den meisten Szenarien sollten Sie diese Option aktiviert lassen, sodass nachgeschaltete Consumer (Power BI semantischen Modelle, Notizbücher, SQL-Abfragen) nach einer Datenflussaktualisierung immer die neuesten Daten sehen.
Sie können diese Option in Randfällen auf False festlegen, in denen:
- Sie fragen das Lakehouse nicht über den SQL-Analyseendpunkt ab und benötigen keine Metadatensynchronisierung.
- Sie sehen deutlich längere Aktualisierungszeiten, die durch einen großen Delta-Log-Rückstand auf dem Ziel-Lakehouse verursacht werden, und Sie möchten den Synchronisierungsschritt überspringen, bis dieser Rückstand behoben wurde (z. B. durch Tabellenwartung und Vakuumierung).
Wenn die Option auf False gesetzt ist, werden die Metadaten des SQL-Analytics-Endpunkts nicht vom Datenfluss aktualisiert, und nachgelagerte SQL-Analytics-Endpunkte können veraltete Daten sehen, bis die nächste Synchronisation (manuell oder geplant) stattfindet.
Aktivieren Sie die V-Order-Komprimierung auf einem Lakehouse-Ziel
Wenn bei einer Dataflow Gen2-Aktualisierung Daten in ein Fabric Lakehouse-Tabellenziel geschrieben werden, können Sie steuern, ob die Daten unter Verwendung der V-Order-Komprimierung geschrieben werden. V-Order ist eine Schreibzeitoptimierung für das Parkettdateiformat, die die Leseleistung für nachgeschaltete Fabric Engines wie den SQL-Analyseendpunkt, Direct Lake-Semantikmodelle und Spark zu Kosten zusätzlicher CPU während des Schreibvorgangs verbessert. Hintergrund- und modulübergreifende Anleitungen finden Sie unter Delta Lake-Tabellenoptimierung und V-Order - und Cross-Workload-Tabellenwartung und -optimierung.
Dieses Verhalten wird durch die Option "V-Order-Komprimierung aktivieren" gesteuert, die sich unter erweiterten Optionen in den Lakehouse-Verbindungseinstellungen befindet (sichtbar, wenn Sie eine Lakehouse-Datenzielverbindung erstellen oder bearbeiten). Die Option ist standardmäßig auf "True" festgelegt.
Wann V-Order für das Ziel aktiviert oder deaktiviert wird
Wählen Sie die Einstellung danach aus, wie die Lakehouse-Zieltabelle verwendet wird:
- Deaktivieren Sie V-Order (verbesserte Schreibleistung), wenn die Tabelle nur wenige Male gelesen wird. Dies ist typisch für Zwischentabellen in einer Medaillenarchitektur (z. B. eine Bronzetabelle, die einmal in eine Silbertabelle umgewandelt wird) oder für Tabellen, die hauptsächlich über Spark verbraucht werden, was nicht von V-Order profitiert. Durch das Überspringen von V-Order wird die Cpu-Schreibzeit reduziert und die Aktualisierungsdauer verkürzt, insbesondere bei großen Schreibvorgängen.
- Aktivieren Sie V-Order (verbesserte Leseleistung), wenn die Tabelle mehrfach gelesen wird oder wenn sie von Fabric-Engines verwendet wird, die von V-Order profitieren, beispielsweise Power BI Direct Lake semantische Modelle oder Fabric Warehouse. V-Order verbessert die Leseleistung um ca. 10% für den SQL-Analyseendpunkt und Warehouse und ist das empfohlene Schreibformat für den Direct Lake-Verbrauch.
Wenn Sie sich nicht sicher sind, gilt folgende Faustregel: Daten, die nur einmal gelesen werden, profitieren stärker davon, wenn V-Order deaktiviert ist, und Daten, die mehrfach gelesen werden, profitieren stärker davon, wenn V-Order aktiviert ist. Eine detaillierte Matrix zu Schreibmethoden und Lese-Engines finden Sie unter Workloadübergreifende Tabellenwartung und -optimierung.
Hinweis
Die Option Verwendung der V-Order-Komprimierung auf Zielebene aktivieren steuert Schreibvorgänge in das Ziel-Lakehouse. Um die V-Order-Komprimierung für das Staging-Lakehouse zu steuern, das während der Ausführung des Dataflows verwendet wird, verwenden Sie auf der Registerkarte „Skalierung“ die Option V-Order-Komprimierung aktivieren auf Ebene des Dataflows. Weitere Informationen finden Sie unter Optionen für Stagingdaten für Dataflow Gen2.
Bereinigen Ihres Lakehouse-Datenziels
Wenn Sie Lakehouse als Ziel für Dataflow Gen2 in Microsoft Fabric verwenden, ist es wichtig, regelmäßige Wartungen durchzuführen, um optimale Leistung und effiziente Speicherverwaltung aufrechtzuerhalten. Eine wesentliche Wartungsaufgabe ist das Säubern Ihres Datenendpunkts. Dieser Vorgang hilft, alte Dateien zu entfernen, auf die nicht mehr im Delta-Tabellenprotokoll verwiesen wird, wodurch die Speicherkosten optimiert und die Integrität Ihrer Daten beibehalten wird.
Warum Bereinigen wichtig ist
- Speicheroptimierung: Im Laufe der Zeit sammeln Delta-Tabellen alte Dateien an, die nicht mehr benötigt werden. Das Absaugen hilft, diese Dateien zu bereinigen, Speicherplatz freizugeben und Kosten zu senken.
- Leistungsverbesserung: Das Entfernen unnötiger Dateien kann die Abfrageleistung steigern, indem die Anzahl der Dateien reduziert wird, die während Lesevorgänge gescannt werden müssen.
- Datenintegrität: Die Sicherstellung, dass nur relevante Dateien aufbewahrt werden, hilft dabei, die Integrität Ihrer Daten zu erhalten und potenzielle Probleme mit nicht committierten Dateien zu vermeiden, die zu Lesefehlern oder Tabellenbeschädigungen führen könnten.
So bereinigen Sie Ihr Datenziel
Führen Sie die folgenden Schritte aus, um Ihre Delta-Tabellen in Lakehouse zu bereinigen:
- Navigieren Sie zu Ihrem Lakehouse: Gehen Sie von Ihrem Microsoft Fabric-Konto aus zum gewünschten Lakehouse.
- Zugriff auf die Tabellenwartung: Klicken Sie im Lakehouse-Explorer mit der rechten Maustaste auf die Tabelle, die Sie warten möchten, oder verwenden Sie die Ellipse, um auf das Kontextmenü zuzugreifen.
- Wartungsoptionen auswählen: Wählen Sie den Menüeintrag Maintenance aus und wählen Sie die Vacuum-Option aus.
- Führen Sie den Vakuumbefehl aus: Legen Sie die Aufbewahrungsschwelle fest (Standard sind sieben Tage) und führen Sie den Vakuumbefehl aus, indem Sie Jetzt ausführen auswählen.
Bewährte Methoden
- Aufbewahrungszeitraum: Legen Sie ein Aufbewahrungsintervall von mindestens sieben Tagen fest, um sicherzustellen, dass alte Snapshots und nicht committierte Dateien nicht vorzeitig entfernt werden, was gleichzeitig Tabellenleser und Schreiber stören könnte.
- Regelmäßige Wartung: Planen Sie regelmäßiges Staubsaugen als Teil Ihrer Datenpflegeroutine, um Ihre Delta-Tabellen optimiert und bereit für Analysen zu halten.
- Inkrementelle Aktualisierungen: Wenn Sie inkrementelle Aktualisierungen verwenden, stellen Sie sicher, dass das Staubsaugen ausgeschaltet ist, da es den inkrementellen Aktualisierungsprozess beeinträchtigen kann.
Durch die Integration von Vakuum in Ihre Datenwartungsstrategie können Sie sicherstellen, dass Ihr Lakehouse-Ziel effizient, kostengünstig und zuverlässig für Ihre Datenflussvorgänge bleibt.
Ausführlichere Informationen zur Tabellenwartung in Lakehouse finden Sie in der Dokumentation zur Wartung der Delta-Tabelle.
Nullfähig
In einigen Fällen, wenn Sie eine nullable Spalte haben, wird sie von Power Query als nicht nullable erkannt, und beim Schreiben in das Datenziel ist der Spaltentyp nicht nullable. Während der Aktualisierung tritt der folgende Fehler auf:
E104100 Couldn't refresh entity because of an issue with the mashup document MashupException.Error: DataFormat.Error: Error in replacing table's content with new data in a version: #{0}., InnerException: We can't insert null data into a non-nullable column., Underlying error: We can't insert null data into a non-nullable column. Details: Reason = DataFormat.Error;Message = We can't insert null data into a non-nullable column.; Message.Format = we can't insert null data into a non-nullable column.
Um Nullwerte zulassende Spalten zu erzwingen, können Sie die folgenden Schritte ausführen:
Löschen Sie die Tabelle aus dem Datenziel.
Entfernen Sie das Datenziel aus dem Datenfluss.
Wechseln Sie zum Datenfluss, und aktualisieren Sie die Datentypen mithilfe des folgenden Power Query-Codes:
Table.TransformColumnTypes( #"PREVIOUS STEP", { {"COLLUMNNAME1", type nullable text}, {"COLLUMNNAME2", type nullable Int64.Type} } )Fügen Sie den Zielort für die Daten hinzu.
Datentypkonvertierung und Hochskalierung
In einigen Fällen unterscheidet sich der Datentyp innerhalb des Datenflusses von dem durch das Datenziel unterstützten. Im Folgenden finden Sie einige Standardkonvertierungen, die wir eingerichtet haben, um sicherzustellen, dass Sie Ihre Daten weiterhin im Datenziel abrufen können:
| Bestimmungsort | Datentyp „Dataflow“ | Zieldatentyp |
|---|---|---|
| Stofflagerhaus | Int8.Type | Int16.Type |