Funktionen von Zerobus Ingest

Diese Seite bietet einen Überblick darüber, was Zerobus Ingest in Lakeflow Connect anbietet. Jede Funktion verlinkt auf die vollständige Dokumentation.

• Immer aktiver Endpunkt: serverlos, standardmäßig aktiviert, skaliert automatisch.
• Blockierung von Nachrichten: Aufnahmemethoden und wie die Dauerhaftigkeit bestätigt werden kann.
• Bestätigungsrückrufe: Reagieren Sie asynchron auf Bestätigungen und Fehler.
• Funktionen der Delta-Tabelle: Partitionierung, Flüssigkeitsclustering und VARIANT Daten.
• Rettungsspalte: Erfassen Sie Felder, die nicht ins Tabellenschema passen, anstatt sie abzulehnen.
• Dauerhafter Rückfall-Standort: Wo Daten landen, wenn sie nicht veröffentlicht werden können.
• Überwachung Ihrer Nutzung: Systemtabellen für Nutzung und Ausgaben.

Ständig aktiver Endpunkt

Zerobus Ingest ist ein serverloser Endpunkt, der standardmäßig für Arbeitsbereiche in unterstützten Regionen aktiviert ist. Sie müssen nichts starten, bereitstellen oder skalieren. Sobald Sie eine Zieltabelle und einen Service-Principal mit Zugriff darauf haben, können Sie anfangen, Daten zu pushen, und die Kapazität skaliert automatisch, wenn Sie weitere Streams öffnen. Um zu starten, siehe Use Zerobus Ingest.

Funktionen der Delta-Tabelle

Zerobus Ingest schreibt in standardmäßige, von Unity Catalog verwaltete Delta-Tabellen, sodass Ihre erfassten Daten die Funktionen von Delta-Tabellen nutzen können. Für die Anforderungen, die eine Zieltabelle erfüllen muss, siehe Tabellenanforderungen.

• Partitionierte Tabellen: unterstützt, unterliegen einer Partition-Fan-Out-Begrenzung. Azure Databricks empfiehlt Liquid Clustering für Schlüssel mit hoher Kardinalität. Siehe Partitionierte Tabellen.
• Liquid Clustered Tables (Beta): das empfohlene Layout, das Daten für Abfrageleistung ohne Partition-Fan-Out-Limit organisiert. Siehe Verwenden von Flüssigclustering für Tabellen.
• Variantendaten: halbstrukturierte Daten in VARIANT-Spalten importieren. Weitere Informationen finden Sie unter Unterstützte Datentypen.

Dauerhafte Rückzugsposition

Wenn ein Breaking Change der Tabelle erfolgt, nachdem Ihre Daten durch Zerobus Ingest dauerhaft gemacht wurden, aber bevor die Daten in der Tabelle veröffentlicht werden können, schreibt Zerobus Ingest diese Daten als Parquet-Dateien in ein Fallback-Verzeichnis innerhalb des Speicherorts Ihrer Tabelle, anstatt sie zu verwerfen. Um diese Daten nach der Behebung des Schemas zu finden und neu zu verarbeiten, siehe Wiederherstellung von Daten vom dauerhaften Rückfallort.

Überwachen der Nutzung

Überwachen Sie Ihren Zerobus Ingest-Verbrauch und Ihre Ausgaben über Systemtabellen. Siehe Referenz zur Zerobus-Ingest-Systemtabelle und für Ausgaben die Systemtabelle für die Abrechnung unter Kosten.