Materialisierung von Datensätzen in KI/BI-Dashboards

KI/BI-Dashboards basieren auf Datensätzen auf Dashboard-Ebene. Standardmäßig wird jeder Datensatz live ausgewertet, sodass jedes Mal, wenn ein Dashboard geladen wird oder ein Viewer damit interagiert, die zugrundeliegenden Abfragen, Joins und Quellcodescans erneut in Ihrem SQL-Warehouse ausgeführt werden. Bei Dashboards, die auf teuren Quellanfragen oder vielen Joins basieren, ist das erneute Ausführen dieser Abfragen bei jeder Interaktion langsam und kostspielig.

Die Materialisierung von Datensätzen berechnet die einem Datensatz zugrunde liegenden Ergebnisse vorab und speichert sie, sodass die rechenintensive Verarbeitung planmäßig einmalig erfolgt, anstatt bei jedem Laden des Dashboards oder bei jeder Interaktion. Die Interaktionen werden dann aus den gespeicherten Ergebnissen gerendert, was veröffentlichte Dashboards schneller macht.

Die Materialisierung verwendet die Unity Catalog Metric View-Materialisierungstechnologie. Siehe Materialisierung für Metrikansichten.

Was materialisiert wird

Materialisierung berechnet Datensätze vorab und speichert sie. Was gespeichert wird, unterscheidet sich zwischen den beiden Datensatztypen:

• Bei SQL-Datensätzen wird das vollständige Abfrageergebnis vorab berechnet und gespeichert.
• Für lokale Metrikansichten wird das Zeilen-Datenmodell (Quelldaten, Joins und Filterfelder) gespeichert, während die Maße zur Abfragezeit weiterhin gegen die vorab berechnete Basis berechnet werden.

Benefits

Die Materialisierung von Datensätzen bietet folgende Vorteile:

• Schnellere Dashboards ohne Neumodellierung. Aufwendige Joins und Quellenscans werden nach einem Zeitplan einmalig ausgeführt statt bei jedem Ladevorgang, wodurch die Wartezeit für Betrachter entfällt, wenn ein Dashboard große Tabellen erneut abfragt.
• Niedrigere Warehouse-Kosten beim Lesen. Die Vorberechnung des Basisdatenmodells vermeidet die wiederholte Wiederholung derselben schweren Abfrage für jeden Betrachter und jede Seitenladung, was die redundante Warehouse-Nutzung reduziert.
• Keine Betriebskosten. Azure Databricks erstellt, speichert und aktualisiert die materialisierten Daten für Sie. Es gibt keine Pipeline, kein Schema oder keinen Speicher zu verwalten.

Costs

Die Materialisierung von Datensätzen verursacht Speicher- und Rechenkosten:

• Speicher. Du bezahlst für die Speicherung der materialisierten Daten. Die Gebühren hängen vom zugrunde liegenden Speicher ab. Für einen Überblick über den Speicher im Unity-Katalog siehe Verbinden mit Cloud-Objektspeicher über Unity Catalog.
• Berechnen. Die Ersterstellung und Aktualisierung erfolgen auf serverlosen Lakeflow-Pipelines und verursachen Rechenkosten. Siehe Lakeflow-Pipeline-Preise.

Wägen Sie diese Kosten gegen die Einsparungen durch das Vermeiden wiederholter Quellscans und Joins ab. Wählen Sie einen Aktualisierungsplan, der die Frische der Daten mit den Rechenkosten ausbalanciert.

Wann Materialisierung verwendet werden sollte

Materialisierung ist nicht immer der richtige Hebel für die Leistung. Der Vorteil liegt darin, wiederholte, vollständige Neuberechnung eines Datensatzes (Scannen und Verknüpfung) durch Lesungen gegen eine vorberechnete Tabelle zu ersetzen. Einen Datensatz materialisieren, wenn einer oder mehrere der folgenden Kriterien gelten:

• Stark interaktive Dashboards. Das Dashboard verfügt über viele Filter, Querfilterungen oder Drilldowns. Ohne Materialisierung führt jede Interaktion die Datensatzanfrage erneut aus, sodass sich das Vorberechnen dieser Datensätze in einer Sitzung wiederholt auszahlt.
• Teure Datensätze. Der Datensatz basiert auf Mehrtabellen-Joins, schweren Ansichten oder gemeinsamen Tabellenausdrücken (CTEs), Fensterfunktionen oder Unions über viele Tabellen hinweg.
• Selektive Filter bei großen Tabellen. Der Datensatz wählt eine kleine Teilmenge aus, zum Beispiel eine Region oder die letzten 7 Tage aus Milliarden von Zeilen. Materialisierung speichert nur die kleine Teilmenge.
• Toleranz für geplante Aktualität. Die Daten müssen nur so frisch sein wie der Aktualisierungsplan des Dashboards, etwa stündlich oder täglich, und nicht in Echtzeit.

Bei kleinen Datensätzen oder Dashboards, die selten geladen werden, ist die Live-Abfrage oft schnell genug, und die Materialisierung lohnt sich möglicherweise nicht. Da die Materialisierung für jede Veröffentlichung und jeden Datensatz optional ist, können Sie sie nur dort einsetzen, wo es sich lohnt.

Anforderungen

• Zugriff auf ein AI/BI-Dashboard.
• Das Dashboard wird mit der Option Datenfreigabeberechtigungen veröffentlicht. Materialisierung wird nicht für Dashboards unterstützt, die mit individuellen Datenberechtigungen veröffentlicht werden. Siehe Freigegebene Datenberechtigungen.
• Serverlose Rechenleistung im Arbeitsbereich aktiviert. Erste Erstellung und Aktualisierungen laufen auf serverlosen Lakeflow-Pipelines. Siehe Einrichten serverloser SQL-Lagerhäuser.
• „CAN USE“-Berechtigung für ein SQL-Warehouse mit Databricks Runtime 17.3 oder höher.

Materialisierung von Datensätzen aktivieren

Datensätze sind standardmäßig für Materialisierung ausgewählt, aber die Materialisierung ist für das Dashboard ausgeschaltet, bis man beim Veröffentlichen die Option "Materialisieren von Datensätzen " aktiviert.

Wähle aus, welche Datensätze du materialisieren möchtest

Klicken Sie im Data-Tab auf das Materialisierungssymbol neben einem Datensatz, um ihn einzubeziehen oder auszuschließen.

Wenn Sie einen Datensatz von der Materialisierung ausschließen, liefern Abfragen gegen diesen Datensatz Live-Ergebnisse, während Abfragen gegen materialisierte Datensätze den neuesten Materialisierungslauf widerspiegeln. Wenn alle Datensätze denselben Materialisierungsplan verwenden, haben Widgets eine konstante Datenfrëschheit.

Veröffentlichen mit Materialisierung

1. Klicken Sie im Entwurfs-Dashboard auf Veröffentlichen .
2. Wählen Sie im Veröffentlichungsdialog die Berechtigungen zum Weitergeben von Daten.
3. Aktivieren Sie die Option Materialisieren von Datensätzen , um die auf dem Reiter Daten ausgewählten Datensätze zu materialisieren.
4. Klicken Sie auf Veröffentlichen.

Aktivieren Sie bei jeder Veröffentlichung die Option Materialize Datasets .

Setzen Sie einen Aktualisierungsplan ein

Materialisierte Daten werden gemäß dem Aktualisierungszeitplan des Dashboards aktualisiert. Verwenden Sie den Dashboard-Plan, um die Aktualisierungsfrequenz anzupassen.

Wenn das Dashboard keinen Zeitplan hat, fügt das Veröffentlichen mit aktivierter Materialisierung einen täglichen Aktualisierungsplan hinzu. Bestehende Zeitpläne werden erhalten. Ohne einen aktiven Zeitplan werden materialisierte Daten nach der Erstellung nicht automatisch aktualisiert.

Materialisierungsstatus anzeigen

Öffnen Sie im veröffentlichten Dashboard das Menü und wählen Sie Info aus. Die Seitenleiste zeigt den Status und die Aktualisierungsinformationen jedes materialisierten Datensatzes.

Wiederverwendung und Beseitigung

Azure Databricks verwaltet den Lebenszyklus Ihrer materialisierten Daten:

• Über Revisionen hinweg wiederverwenden. Wenn ein Dashboard vom selben Benutzer neu veröffentlicht wird und ein Datensatz unverändert bleibt, wird die bestehende Materialisierung wiederverwendet, wodurch Rechenverlust vermieden wird.
• Automatische Reinigung. Azure Databricks entfernt Materialisierungen, auf die sich ein veröffentlichtes Dashboard nicht mehr bezieht, etwa nach einer Definitionsänderung oder der Aufhebung der Veröffentlichung.

Eine Neuveröffentlichung aktualisiert nicht unbedingt materialisierte Daten.

Limitations

Die Materialisierung von Datensätzen hat folgende Einschränkungen:

• Nur veröffentlichte Dashboards. Materialisierung gilt für veröffentlichte Dashboards. Entwürfe fragen weiterhin Echtzeitdaten ab.
• Keine parametrisierten Datensätze. Datensätze, die Parameter definieren, können nicht materialisiert werden. Wenn Sie einen parametrisierten Datensatz für die Materialisierung aktivieren, meldet Azure Databricks ihn als fehlgeschlagen, anstatt ihn zu materialisieren.
• Das Aktualisieren folgt nur dem Dashboard-Zeitplan. Es gibt keinen separaten Aktualisierungsplan pro Datensatz. Die Materialisierung wird gemäß dem geplanten Aktualisierungsintervall Ihres Dashboards aktualisiert.
• Serverless erforderlich. Die Ersterstellung und Aktualisierungen laufen auf serverlosen Lakeflow-Pipelines, daher muss der Arbeitsbereich serverlose Rechenleistung aktiviert haben.
• Geschützte Daten werden nicht aus Materialisierungen bereitgestellt. Materialisierung kann nicht für Quelldaten erstellt werden, die durch Zeilensicherheit, Spaltenmasken oder attributbasierte Zugriffskontrollrichtlinien (ABAC) geschützt sind. Wenn einer Quelltabelle Sicherheit auf Zeilenebene hinzugefügt wird, nachdem die Materialisierung erstellt wurde, umgehen nachfolgende Abfragen für die Metrikansicht die Materialisierung und werden auf die Quelldaten angewendet.
• Berechtigungen zum Weitergeben von Daten erforderlich. Du kannst die Materialisierung nur aktivieren, wenn du mit gemeinsamen Datenberechtigungen publizierst. Sie können sie nicht aktivieren, wenn Sie mit individuellen Datenberechtigungen veröffentlichen.

Häufig gestellte Fragen

Die folgenden Fragen behandeln das Materialisierungsverhalten von Datensätzen, Aktualisierungen und Berechtigungen.

Verändert Materialisierung meine Kennzahlen oder Ergebnisse?

Die Materialisierung erhält die Abfragelogik des Datensatzes, aber seine Daten spiegeln die letzte erfolgreiche Aktualisierung wider. Für lokale Metrikansichten werden die Maße zur Abfragezeit anhand der materialisierten Daten berechnet. Schau , was materialisiert wird.

Was passiert, wenn eine Materialisierung nicht bereit oder nicht verfügbar ist?

Wenn eine Materialisierung zum Zeitpunkt der Abfrage nicht bereit oder nicht verfügbar ist, liefert die Abfrage einen Fehler statt der Abfrage von Live-Daten zurück. Warte, bis die Materialisierung fertig ist, und führe dann die Abfrage erneut aus.

Wo werden die materialisierten Daten gespeichert?

Azure Databricks speichert die materialisierten Daten in verwaltetem, internem Speicher, der auf Ihr veröffentlichtes Dashboard beschränkt ist. Du musst nichts in Unity Catalog veröffentlichen und kein Schema oder keinen Speicherort verwalten. Access folgt weiterhin Ihrem Dashboard und den zugrundeliegenden Datenberechtigungen.

Wie oft werden die materialisierten Daten aktualisiert?

Materialisierte Daten werden gemäß dem Aktualisierungszeitplan des Dashboards aktualisiert. Siehe Legen Sie einen Aktualisierungszeitplan fest.

Welche Rechenressourcen nutzt die Materialisierung?

Initiale Erstellung und Aktualisierungen laufen beide auf serverlosen Lakeflow-Pipelines, die von Azure Databricks verwaltet werden. Deshalb muss serverloses Rechnen im Arbeitsbereich aktiviert sein.

Beeinflusst Materialisierung die Berechtigungen?

Nein. Materialisierung gewährt keinen zusätzlichen Zugriff auf Daten. Access folgt weiterhin der Freigabekonfiguration des Dashboards und den Berechtigungen, die zur Veröffentlichung verwendet werden.

Was passiert, wenn ich neu veröffentliche?

Bestehende Materialisierungen können wiederverwendet werden, wenn derselbe Benutzer einen unveränderten Datensatz erneut veröffentlicht. Siehe Wiederverwendung und Aufräumen. Aktivieren Sie bei jeder Veröffentlichung die Option Materialize Datasets .

Weitere Ressourcen

• Materialisierung für Metrikansichten
• Datensatzoptimierung und Caching
• Datenmodellierung in AI/BI-Dashboards