Arbeiten mit unstrukturierten Daten

Speichern, verwalten und verarbeiten unstrukturierte Dateien wie Dokumente, Bilder, Audio und Video zusammen mit strukturierten Daten in Unity Catalog.

Get started

Versuche ein Ende-zu-Ende-Beispiel, um zu sehen, wie die Teile zusammenpassen.

Guide Beschreibung
Schnellstart für FILE-Funktionen Erstelle eine Tabelle mit einer Spalte FILE und arbeite mit Dateien mit Funktionen FILE .
Tutorial zu unstrukturierten Daten Speichern, Abfragen, Verarbeiten und Teilen unstrukturierter Dateien mit Unity-Catalog-Volumes.

Speicher- und Referenzdateien

Wählen Sie, wie Sie Dateien speichern und referenzieren, basierend darauf, ob Sie sie per Pfad oder als Werte in einer Tabelle aufrufen.

Approach Beschreibung
Unity Catalog-Volumes Verwalten Sie den Speicher für nicht-tabellarische Dateien. Laden Sie Dateien in einem Volumen per Pfad hoch, organisieren Sie sie und greifen Sie darauf zu.
FILE-Typ Referenzdateien und deren Metadaten als First-Class-Werte in einer Tabelle, die durch den Zugriff auf die Zeilen geregelt wird, die sie referenzieren. Für die Typdefinition siehe die FILE-Typreferenz.
Binäre Datenquelle Speichere die Rohbytes einer Datei in einer Spalte BINARY .
Bilddatenquelle Lesen Sie Bilddateien in einen DataFrame.

Prozessdateien

Nachdem du deine Dateien im Unity-Katalog gespeichert hast, extrahiere Inhalte, führe benutzerdefinierten Code aus und baue Pipelines.

Aufgabe Beschreibung
Dokumente parsen Extrahiere strukturierte Inhalte aus Dokumenten mit ai_parse_document und anderen KI-Funktionen.
Dateien mit UDFs bearbeiten Lies Dateimetadaten und Bytes und generiere neue Dateien, wobei du deinen eigenen Code in UDFs nutzt.
Dateien als FILE-Referenzen eintragen Laden Sie Dateien als FILE-Verweise in Tabellen.
Erstellen Sie eine Dateipipeline Dateien in einer Pipeline durchgängig verarbeiten.
Durchsuche Dateien in einem Band Indexiere die Dateien in einem Volumen, damit Nutzer und Agenten sie durchsuchen können.

Dateien verwalten

Kontrollieren Sie, wer auf Dateien zugreifen und deren Lebenszyklus mit Unity Catalog verwalten kann.

Fähigkeit Beschreibung
Lautstärkezugriffskontrolle Gewähre Rechte auf Volumes, um zu kontrollieren, wer Dateien per Pfad lesen und schreiben darf.
Dateiverwalteter Lebenszyklus Lassen Sie Azure Databricks den Speicher und Lebenszyklus der Dateien verwalten, auf die eine Tabelle referenziert.
Zeilenfilter auf FILE-Spalten Beschränken Sie den Zugriff auf Dateien, indem Sie Zeilenfilter auf die Zeilen anwenden, die auf sie verweisen.
  • Last updated on