Document parsering

Documentparsering maakt gebruik van geavanceerde onderzoekstechnieken voor het extraheren en visualiseren van gestructureerde gegevens uit een breed scala aan documenttypen, waaronder pdf-bestanden, afbeeldingen, Word-documenten (DOC/DOCX) en PowerPoint-bestanden (PPT/PPTX). Het is ontworpen voor het verwerken van complexe indelingen, zoals tabellen, grafieken en gemengde inhoud van tekstafbeeldingen.

Documentparsing is beschikbaar via de Agent Bricks UI, in SQL en met de REST API.

Maak een document parsing agent aan in de UI

Requirements

• Een werkruimte met het volgende:
  • Serverloze rekenkracht ingeschakeld. Zie serverloze rekenvereisten.
  • Unity Catalog ingeschakeld. Zie Een werkruimte inschakelen voor Unity Catalog.
  • Toegang tot een serverloos gebruiksbeleid met een niet-nulbudget.
• Deze functie is alleen beschikbaar in sommige regio's, zie beschikbaarheid van AI-functies.
  • De ai_parse_document functie is ook beschikbaar voor werkruimten met de invoegtoepassing Verbeterde beveiliging en naleving.

Gebruik documentparsering om uw documenten te parseren en hun structuur te visualiseren.

1. Ga naar Agents in het linkernavigatiedeelvenster van uw werkruimte.
2. Klik op Agent maken>Documentparsering.
3. Selecteer het brondocument. U kunt ervoor kiezen om een bestand te uploaden of een bestand te selecteren in een bestaande Unity Catalog-catalogus. Ondersteunde indelingen zijn: PDF, afbeeldingen, DOC/DOCX en PPT/PPTX.
4. Klik op Document parseren.

Het parseren van uw document kan enkele minuten duren. Wanneer u klaar bent, wordt in documentparsering het brondocument aan de linkerkant en het geparseerde document aan de rechterkant weergegeven. U kunt ervoor kiezen om het geparseerde document weer te geven als opgemaakte tekst of onbewerkte JSON.

Proces- en queryresultaten

Als u de ai_parse_document query wilt weergeven en op meer documenten wilt uitvoeren, klikt u op Agent gebruiken en kiest u ervoor om de query uit te voeren vanuit de SQL Editor of Notebook. U kunt de query bewerken zodat deze verwijst naar het volume of de tabel waarin uw documenten zich bevinden.

Gebruik ai_prep_search (Beta) verderop in de pijplijn om de geparseerde uitvoer voor retrieval (RAG) voor te bereiden.

Documenten parseren in SQL

Roep ai_parse_document SQL aan om documenten op schaal te parsen:

SELECT
  ai_parse_document(
    content,
    map('version', '2.0')
  ) AS parsed
FROM READ_FILES('/Volumes/my_catalog/my_schema/my_documents', format => 'binaryFile');

Zie de ai_parse_document SQL-referentie.

Documenten parseren met de REST API

Gebruik de REST API om documenten uit applicaties, services en automatiseringsworkflows te parsen. Zie de REST API-documentatie als referentie.

ai_parse_document REST API-verzoeken zijn beperkt tot 100 pagina's per document.

De standaardlimiet voor ai_parse_document REST API-verzoeken is 250 verzoeken per minuut per werkruimte. Neem contact op met je Databricks-accountteam om een hogere limiet aan te vragen.

ai_parse_document leest zijn invoer uit een Unity Catalog-volume. Het volgende voorbeeld uploadt een lokale PDF naar een volume met de Files API en parseert deze vervolgens.

Upload eerst het document naar een volume:

curl -X PUT "$DATABRICKS_HOST/api/2.0/fs/files/Volumes/my_catalog/my_schema/my_volume/invoice.pdf?overwrite=true" \
     -H "Authorization: Bearer $DATABRICKS_TOKEN" \
     -H "Content-Type: application/octet-stream" \
     --data-binary @invoice.pdf

Parse vervolgens het geüploade document door het volumepad door te geven als content:

curl -X POST "$DATABRICKS_HOST/api/2.0/ai-functions/ai-parse-document" \
     -H "Authorization: Bearer $DATABRICKS_TOKEN" \
     -H "Content-Type: application/json" \
     -d '{
  "content": "/Volumes/my_catalog/my_schema/my_volume/invoice.pdf"
}'

Limitations

Zie ai_parse_document beperkingen.