Was sind materialisierte Seeblicke in Microsoft Fabric?

In Microsoft Fabric wird eine materialisierte Seeansicht automatisch beibehalten und aktualisiert. Sie definieren es in Spark SQL oder PySpark. Es vereinfacht mehrstufige Seehaus-Transformationen – typischerweise die Bronze-zu-Silber-zu-Gold-Medaillon-Architektur – indem sie als deklarative Aussagen statt als maßgeschneiderte Spark-Arbeiten dargestellt werden. Nachdem du ein MLV materialisiert hast, funktioniert es wie ein Standard-Seehaus-Tisch in Bezug auf Lagerung, Zugriffsmuster und Sicherheit. Sie können es über jedes beliebige Fabric-Modul mit demselben Berechtigungs- und Governancemodell abfragen. Fabric verfolgt Abhängigkeiten zwischen MLVs, koordiniert Aktualisierungen in der richtigen Reihenfolge und erzwingt Datenqualitätseinschränkungen in jeder Phase. Mit dieser Funktion können Dateningenieure zuverlässige, wartbare Pipelines mit weniger Code und geringerem Betriebsaufwand erstellen.

Verwendung materialisierter Seeblicke

Materialisierte Seeansichten sind gut geeignet, wenn Sie:

  • Häufig verwendete Aggregationen (tägliche Verkaufssummen, monatliche Metriken), bei denen vorkompilierte Ergebnisse die Leistung bei der wiederholten Ausführung teurer Abfragen verbessern
  • Komplexe Verknüpfungen über mehrere große Tabellen hinweg, die Sie häufig abfragen und konsistente Ergebnisse für alle Verbraucher benötigen
  • Datenqualitätstransformationen , die Sie einheitlich anwenden müssen, wobei Regeln deklarativ und nicht im benutzerdefinierten Code definiert sind
  • Berichtsdatensets , die Daten aus mehreren Quellen kombinieren und von der automatischen Aktualisierung profitieren, wenn sich Quelldaten ändern
  • Medallion-Architektur , bei der Sie Bronze → Silber → Goldtransformationen benötigen, die in SQL definiert sind

Materialisierte Seeansichten sind nicht die richtige Wahl für jedes Szenario. Erwägen Sie Alternativen, wenn Sie folgendes haben:

  • Einmalige oder selten aufgerufene Abfragen , die nicht von vorkompilierten Ergebnissen profitieren
  • Nicht-SQL-Logik wie ML-Ableitung, API-Aufrufe oder komplexe Python Verarbeitung – verwenden Sie stattdessen Spark-Notizbücher.
  • Streamingdaten mit hoher Frequenz, die Aktualisierungen im Subsekundenbereich erfordern – sollten Sie stattdessen Real-Time Intelligence in Betracht ziehen

Erste Schritte mit materialisierten Seeblicken

Um eine materialisierte Seeansicht in Fabric zu schaffen, siehe Starten Sie mit materialisierten Seeansichten. Eine vollständige exemplarische Vorgehensweise, die eine Medallion-Architektur erstellt, finden Sie im Lernprogramm: Erstellen einer Medallion-Architektur mit materialisierten Seeansichten.

Wie funktionieren materialisierte Seeansichten?

Materialisierte Seeansichten verwenden einen deklarativen Ansatz: Sie schreiben eine SQL-Abfrage, um die Transformation zu definieren, und Fabric die Ausführung, Speicherung und Aktualisierung behandelt. Das Ergebnis bleibt als Delta-Tabelle in Ihrem Seehaus erhalten, sodass nachgeschaltete Verbraucher sie direkt abfragen können, ohne die Transformation erneut auszuführen.

Der Lebenszyklus eines materialisierten Seeblicks folgt vier Stufen:

  • Create: Schreiben Sie eine SQL-Abfrage, die Ihre Transformation definiert. Fabric speichert die Definition und materialisiert die Ergebnisse als Delta-Tabelle.
  • Aktualisierung: Wenn sich Quelldaten ändern, bestimmt Fabric die optimale Aktualisierungsstrategie – inkrementell (nur neue oder geänderte Daten verarbeiten), vollständig (vollständig neu erstellen) oder überspringen (keine Änderungen erkannt).
  • Abfrage: Anwendungen und Berichte fragen die materialisierte Seeansicht wie jede andere Delta-Tabelle ab, ohne die zugrunde liegende Transformationslogik zu erkennen.
  • Monitor: Nachverfolgen des Aktualisierungsverlaufs, Ausführungsstatus, Datenqualitätsmetriken und Abhängigkeitslinien über integrierte Fabric-Tools.

Autorenoptionen

Materialisierte Seeansichten unterstützen zwei Erstellungsansätze:

  • SQL-Erstellung: Definieren Sie Ansichten mithilfe von SQL-Standardanweisungen CREATE MATERIALIZED LAKE VIEW direkt im Fabric Lakehouse-Editor.

  • PySpark-Erstellung (Vorschau): Erstellen, aktualisieren und ersetzen Sie Ansichten aus Fabric-Notebooks mithilfe von DataFrameWriter. Unterstützung für PySpark-erstellte Ansichten:

    • Einschränkung der Datenqualität
    • Tabelleneigenschaften
    • Geplante Aktualisierungen

    Hinweis

    PySpark-erstellte Ansichten führen derzeit nur vollständige Aktualisierungen durch.

Wichtige Funktionen

Materialisierte Seeansichten umfassen integrierte Features, die die betriebstechnische Komplexität verarbeiten, die Sie sonst in Notizbüchern und Pipelines verwalten.

Automatische Aktualisierungsoptimierung

Fabric bestimmt automatisch, wann und wie Ihre materialisierten Seeansichten aktualisiert werden. Eine Entscheidungs-Engine wählt die effizienteste Aktualisierungsstrategie aus und erkennt standardmäßig Änderungen an den Quelldaten über Change Data Feed:

  • Inkrementelle Aktualisierung: Verarbeitet nur neue oder geänderte Daten.
  • Vollständige Aktualisierung: Erstellt bei Bedarf den gesamten materialisierten Seeblick neu.
  • Aktualisierung überspringen: Fabric überspringt die Aktualisierung, wenn Quelldaten keine Änderungen enthalten.

Um die inkrementelle Aktualisierung zu entsperren, müssen Sie den Delta-Änderungsdatenfeed (CDF) in den Quelltabellen aktivieren, auf die durch die materialisierte Seeansicht verwiesen wird. Ohne CDF aktiviert, wählt das Entscheidungsmodul nur zwischen "Aktualisierung überspringen" und "Vollständige Aktualisierung" aus. Weitere Informationen finden Sie unter Optimale Aktualisierung für materialisierte Seeansichten in einem Seehaus.

Die optimale Aktualisierung unterstützt einen Bereich allgemeiner Abfragemuster, einschließlich:

  • Aggregationen mit GROUP BY
  • Linke äußere und semi-Verknüpfungen
  • Allgemeine Tabellenausdrücke (CTEs)

Integrierte Datenqualität

Materialisierte Seeansichten unterstützen deklarative Datenqualitätsregeln. Definieren Sie Einschränkungen direkt in Sql, und geben Sie an, wie Verstöße behandelt werden.

CONSTRAINT valid_sales CHECK (sales_amount > 0) ON MISMATCH DROP

Abhängigkeitsverwaltung

Wenn materialisierte Seeansichten auf andere materialisierte Seeansichten oder Tabellen verweisen, erkennt Fabric diese Beziehungen automatisch und verwaltet die Ausführungsreihenfolge für Sie.

  • Visualisieren Sie, wie Ihre materialisierten Seeansichten voneinander abhängen, über Seehäuser hinweg.
  • Die Reihenfolge wird basierend auf Abhängigkeiten automatisch aktualisiert.
  • Die Verarbeitung folgt der Abhängigkeitskette, um die Datenkonsistenz sicherzustellen.

Überwachung und Erkenntnisse

Fabric bietet integrierte Tools zum Nachverfolgen der Integrität und Leistung Ihrer materialisierten Seeansichten:

  • Verfolgen Sie die Aktualisierungsleistung und den Ausführungsstatus für jede materialisierte Seeansicht.
  • Zeigen Sie Datenqualitätsmetriken und Die Anzahl der Verletzungen in Linien an.
  • Überwachen Sie Jobinstanzen und den Aktualisierungsverlauf in der Ansicht Letzte Ausführungen.

Über den Monitor hub für jeden einzelnen Ausführungslauf hinaus zeigt Fabric jetzt den Betriebsstatus pro Lakehouse direkt auf der Seite Letzte Ausführung(en) an – über parallele Unterregisterkarten für Analysen und Erkenntnisse:

Unterregister Antwort auf die Frage Seite "Lernen"
Zuletzt verwendete Ausführung(en) Welche einzelnen Ausführungen haben stattgefunden, und kann ich sie abbrechen oder Details dazu anzeigen? Jüngste Läufe materialisierter Seeblicke
Analyse Wie entwickeln sich Erfolgsrate, Dauer, häufigste Fehler und der Mix der Aktualisierungsrichtlinien – als Diagramme über dieselben Läufe? Anzeigen von Analysen für materialisierte Seesichtläufe
Erkenntnisse Was schlägt fehl oder macht Rückschritte – mit Deep-Links per Klick direkt zur fehlerhaften Ansicht? Einblicke für materialisierte Seeansichtsläufe anzeigen

Für den programmatischen Zugriff auf dieselben Daten schreibt Fabric Systemtabellen unter dem Schema _mlv_system – sys_run_metrics, sys_node_metrics und sys_error_metrics – in das Lakehouse.

Important

Ändern Sie das _mlv_system Schema nicht. Änderungen wirken sich auf Aktualisierungen der Registerkarten "Analyse" und "Insights " aus.

Sicherheit

Fabric materialisierte Seeansichten folgen den Sicherheits- und Governancemaßnahmen für Lakehouse-Tische. Sie können MLVs auch in für Private Link aktivierten Lakehouses verwenden. Weitere Informationen zu Private Link in Fabric finden Sie unter "Sicherheit".

Verwandte Inhalte

  • Last updated on