Häufig gestellte Fragen zu Dateiereignissen

Hier finden Sie Antworten auf häufig gestellte Fragen zu Dateiereignissen für externe Speicherorte.

Was sind Dateiereignisse?

Dateiereignisse ermöglichen Azure Databricks, neue oder geänderte Dateien über Cloudbenachrichtigungen zu erkennen, anstatt den Speicher wiederholt zu scannen. Dateiereignisse reduzieren die Latenz bei der Datenerfassung sowie die Kosten für Cloud-Speicherlisten und sind an neuen externen Standorten standardmäßig aktiviert.

Diagramm, das den Prozess für Dateiereignisse zeigt: Eine Dateiquelle überträgt Dateien in den Cloudspeicher des Kunden, der Benachrichtigungen an ein Ereignisabonnement und eine Warteschlange sendet. Unity Catalog autorisiert den Cloudzugriff des Dienstes für verwaltete Dateiereignisse. Der Dienst richtet die Verbindung ein, ruft Dateiereignisse aus der Warteschlange ab, speichert Dateimetadaten in einer Datenbank und stellt Objektlisten für Auto Loader und Trigger-Consumer bereit.

Wie funktionieren Dateiereignisse?

Wenn Sie Dateiereignisse im Modus Automatic aktivieren, konfiguriert Azure Databricks Ihr Speicherkonto so, dass Dateiänderungsbenachrichtigungen mithilfe von Azure Event Grid und Azure Storage Warteschlangen gesendet werden. Der Azure Databricks Dateiereignisdienst liest Dateipfadmetadaten aus der Warteschlange, um neue und geänderte Dateien zu ermitteln. Als Sicherheitsnetz führt der Dienst auch regelmäßige vollständige Verzeichnisauflistungen durch, um sicherzustellen, dass keine Dateien verpasst werden.

Die Benachrichtigungsinfrastruktur überträgt niemals Dateiinhalte.

Welche Azure Databricks-Funktionen nutzen Dateiereignisse?

Die folgenden Features verwenden Dateiereignisse, wenn Sie sie an einem externen Speicherort aktivieren:

  • Automatisches Laden: Erkennt neue Dateien für die inkrementelle Erfassung ohne teure Verzeichnisauflistungen. Ab Databricks Runtime 18.1 nutzt der Auto Loader automatisch Dateiereignisse, sofern diese verfügbar sind (useManagedFileEvents = if_available).
  • Dateiankunftstrigger: Starten Sie Ihren Auftrag automatisch, wenn neue Dateien eintreffen, und bieten eine bessere Ressourcenauslastung und Kosteneffizienz, da Ihr Cluster nur ausgeführt wird, wenn neue Dateien verarbeitet werden sollen. Dateiankunftstrigger sind wesentlich skalierbarer, da Dateiereignisse aktiviert sind. Weitere Informationen finden Sie unter Auslösen von Aufträgen beim Eintreffen neuer Dateien.
  • Tabellenaktualisierungstrigger: Starten Sie Ihren Auftrag automatisch basierend auf Aktualisierungen in einer Tabelle. Trigger für Tabellenaktualisierungen sind bei aktivierten Dateiereignissen deutlich skalierbarer. Siehe Triggeraufträge, wenn Quelltabellen aktualisiert werden.

Wie kann ich Datei-Ereignisse in meinen Pipelines und Jobs aktivieren?

Aktivieren Sie zunächst Dateiereignisse für Ihren externen Speicherort. Siehe Einrichten von Dateiereignissen für einen externen Speicherort.

Wenn Sie Dateiereignisse mit Triggern für Dateieingang oder Tabellenaktualisierung verwenden, müssen Sie keine zusätzlichen Maßnahmen ergreifen. Der Einzelvorgang nutzt Dateiereignisse automatisch.

Außerdem müssen Sie, wenn Sie Auto Loader mit Databricks Runtime 18.1 oder höher verwenden, keine weiteren Maßnahmen ergreifen. Die Pipeline profitiert automatisch von Dateiereignissen. Wenn Sie eine ältere Laufzeitversion verwenden, aktivieren Sie die Dateiereignisse in der Pipeline:

spark.readStream.option("cloudFiles.useManagedFileEvents", "true")...

Was ist, wenn ich heute weder Auto Loader noch Trigger verwende?

Sie können Dateiereignisse jederzeit deaktivieren, und Azure Databricks räumt die Benachrichtigungsressourcen für Sie auf. Databricks empfiehlt, Dateiereignisse aktiviert zu halten.

Kann ich Dateiereignisse abbestellen?

Azure Databricks aktiviert Datei-Ereignisse standardmäßig für neue externe Speicherorte, weil sie die Kosten senken und die Leistung von Ingestionsworkloads verbessern.

So erstellen Sie einen externen Speicherort ohne Dateiereignisse:

Katalog-Explorer

  1. Beginnen Sie im Katalog-Explorer mit dem Erstellen eines neuen externen Speicherorts.
  2. Wenn die Speicheranmeldeinformationen keine Dateiereignisberechtigungen besitzen, wird Ihnen eine Validierungswarnung angezeigt. Klicken Sie auf Erstellung erzwingen, um fortzufahren.
  3. Überprüfen Sie nach der Erstellung, ob Dateiereignisse deaktiviert sind, indem Sie den Speicherort auswählen und die Einstellung für Dateiereignisse deaktivieren.

API

Legen Sie enable_file_events in der Anforderung zum Erstellen eines externen Speicherorts auf false fest.

Informationen zum Deaktivieren von Dateiereignissen an einem vorhandenen externen Speicherort finden Sie unter Einrichten von Dateiereignissen für einen externen Speicherort.

Weitere Ressourcen

  • Last updated on