Werken met ongestructureerde gegevens

Sla ongestructureerde bestanden op, beheer en verwerk ze naast gestructureerde data in Unity Catalog.

Get started

Probeer een end-to-end voorbeeld om te zien hoe de stukjes in elkaar passen.

Guide Beschrijving
Snelstartgids voor FILE-functies Maak een tabel met een FILE kolom en werk met bestanden met behulp van FILE functies.
Tutorial voor ongestructureerde data Opslaan, query, verwerken en delen ongestructureerde bestanden met behulp van Unity Catalog-volumes.

Bestanden opslaan en raadplegen

Kies hoe je bestanden opslaat en ernaar verwijst, afhankelijk van of je ze via een pad of als waarden in een tabel benadert.

Approach Beschrijving
volumes van de Unity Catalog Beheer opslag voor niet-tabulaire bestanden. Upload, organiseer en raadpleeg bestanden in een volume per pad.
BESTANDSTYPE Referentiebestanden en hun metadata als eersteklaswaarden in een tabel, beheerd door toegang tot de rijen die ernaar verwijzen. Voor de typedefinitie, zie de FILE-typereferentie.
Binaire databron Sla de ruwe bytes van een bestand op in een BINARY kolom.
Beeldgegevensbron Lees afbeeldingsbestanden in een DataFrame.

Procesbestanden

Nadat je je bestanden hebt opgeslagen in Unity Catalog, haal je content uit, voer je aangepaste code uit en bouw je pijplijnen.

Task Beschrijving
Documenten parseren Haal gestructureerde inhoud uit documenten ai_parse_document en andere AI-functies.
Bestanden verwerken met UDF's Lees bestandsmetadata en bytes, en genereer nieuwe bestanden, met je eigen code in UDF's.
Bestanden opnemen als FILE-verwijzingen Laad bestanden in tabellen als FILE referenties.
Bouw een bestandspijplijn Verwerk bestanden van begin tot eind in een pipeline.
Zoek naar bestanden in een volume Indexeer de bestanden in een volume zodat gebruikers en agenten ze kunnen doorzoeken.

Govern-bestanden

Beheer wie toegang heeft tot bestanden en beheer hun levenscyclus met Unity Catalog.

Vermogen Beschrijving
Volume-toegangscontrole Verleen machtigingen voor volumes om te bepalen wie bestanden via een pad kan lezen en schrijven.
levenscyclus met bestandsbeheer Laat Azure Databricks de opslag en levenscyclus beheren van de bestanden waarnaar een tabel verwijst.
Rijfilters voor FILE-kolommen Beperk de toegang tot bestanden door rijfilters toe te passen op de rijen die ernaar verwijzen.