Dokumentparsning

Dokumentparsning använder toppmoderna forskningstekniker för att extrahera och visualisera strukturerade data från en mängd olika dokumenttyper, inklusive men inte begränsat till PDF-filer, bilder, Word-dokument (DOC/DOCX) och PowerPoint-filer (PPT/PPTX). Den är utformad för att hantera komplexa layouter som tabeller, diagram och blandat textbildinnehåll.

Dokumentparsning är tillgänglig via Agent Bricks UI, i SQL och med REST API.

Skapa en dokumentparseringsagent i användargränssnittet

Kravspecifikation

• En arbetsyta som innehåller följande:
  • Serverlös beräkning aktiverad. Se Krav för serverlös beräkning.
  • Unity Catalog aktiverat. Se Aktivera en arbetsyta för Unity Catalog.
  • Åtkomst till en serverlös användningsprincip med en icke-nollbudget.
• Den här funktionen är endast tillgänglig i vissa regioner, se TILLGÄNGLIGHET för AI-funktioner.
  • Funktionen ai_parse_document är också tillgänglig för arbetsytor med tillägget Förbättrad säkerhet och efterlevnad.

Använd Dokumentparsning för att parsa dina dokument och visualisera deras struktur.

1. Gå till Agenter i det vänstra navigeringsfönstret på arbetsytan.
2. Klicka på Skapa agent>Dokumentparsing.
3. Välj källdokumentet. Du kan välja att ladda upp en fil eller välja en från en befintlig Unity-katalogkatalog. Format som stöds är: PDF, bilder, DOC/DOCX och PPT/PPTX.
4. Klicka på Parsa dokument.

Det kan ta några minuter att parsa dokumentet. När dokumentparsers har slutförts visas källdokumentet till vänster och det tolkade dokumentet till höger. Du kan välja att visa det tolkade dokumentet som Formaterad text eller Rå JSON.

Bearbeta och fråga efter resultat

Om du vill visa ai_parse_document frågan och köra den i fler dokument klickar du på Använd agent och väljer antingen att köra frågan från SQL-redigeraren eller notebook-filen. Du kan redigera frågan så att den pekar på volymen eller tabellen som dokumenten finns i.

Om du vill förbereda de parsade utdata för hämtning (RAG) använder du ai_prep_search (Beta) nedströms.

Tolka dokument i SQL

Anropa ai_parse_document SQL för att tolka dokument i stor skala:

SELECT
  ai_parse_document(
    content,
    map('version', '2.0')
  ) AS parsed
FROM READ_FILES('/Volumes/my_catalog/my_schema/my_documents', format => 'binaryFile');

Se ai_parse_documentSQL-referensen.

Parsa dokument med REST API:et

Använd REST API för att tolka dokument från applikationer, tjänster och automatiseringsflöden. Se REST API-dokumenten som referens.

ai_parse_document REST API-förfrågningar är begränsade till 100 sidor per dokument.

Standardhastighetsgränsen för ai_parse_document REST API-förfrågningar är 250 förfrågningar per minut per arbetsyta. Kontakta ditt Databricks-kontoteam för att begära en högre gräns.

ai_parse_document läser indata från en Unity Catalog-volym. Följande exempel laddar upp en lokal PDF till en volym med Files API och tolkar den sedan.

Ladda först upp dokumentet till en volym:

curl -X PUT "$DATABRICKS_HOST/api/2.0/fs/files/Volumes/my_catalog/my_schema/my_volume/invoice.pdf?overwrite=true" \
     -H "Authorization: Bearer $DATABRICKS_TOKEN" \
     -H "Content-Type: application/octet-stream" \
     --data-binary @invoice.pdf

Tolka sedan det uppladdade dokumentet genom att ange dokumentets volymsökväg som content:

curl -X POST "$DATABRICKS_HOST/api/2.0/ai-functions/ai-parse-document" \
     -H "Authorization: Bearer $DATABRICKS_TOKEN" \
     -H "Content-Type: application/json" \
     -d '{
  "content": "/Volumes/my_catalog/my_schema/my_volume/invoice.pdf"
}'

Limitations

Se ai_parse_document begränsningar.