Dokumentanalyse

Die Dokumentanalyse verwendet modernste Forschungstechniken, um strukturierte Daten aus einer Vielzahl von Dokumenttypen zu extrahieren und zu visualisieren, einschließlich, aber nicht beschränkt auf PDFs, Bilder, Word-Dokumente (DOC/DOCX) und PowerPoint-Dateien (PPT/PPTX). Es wurde entwickelt, um komplexe Layouts wie Tabellen, Diagramme und gemischten Textbildinhalt zu behandeln.

Dokumentparsing ist über die Agent Bricks UI, in SQL und mit der REST API verfügbar.

Erstellen Sie einen Dokument-Parsing-Agent in der Benutzeroberfläche

Anforderungen

• Ein Arbeitsbereich, der Folgendes umfasst:
  • Serverloses Rechnen aktiviert Siehe Serverlose Computeanforderungen.
  • Unity-Katalog aktiviert. Weitere Informationen finden Sie unter Aktivieren eines Arbeitsbereichs für Unity Catalog.
  • Zugriff auf eine serverlose Nutzungsrichtlinie mit einem Budget größer als null.
• Diese Funktion ist nur in einigen Regionen verfügbar, siehe Verfügbarkeit der KI-Funktion.
  • Die ai_parse_document Funktion ist auch für Arbeitsbereiche mit dem Add-On "Erweiterte Sicherheit und Compliance" verfügbar.

Verwenden Sie die Dokumentanalyse, um Ihre Dokumente zu analysieren und ihre Struktur zu visualisieren.

1. Wechseln Sie zum Agents im linken Navigationsbereich Ihres Arbeitsbereichs.
2. Klicken Sie auf Create Agent>Document Parsing.
3. Wählen Sie Ihr Quelldokument aus. Sie können eine Datei hochladen oder eine datei aus einem vorhandenen Unity-Katalog auswählen. Unterstützte Formate sind: PDF, Bilder, DOC/DOCX und PPT/PPTX.
4. Klicken Sie auf "Dokument analysieren".

Das Analysieren ihres Dokuments kann einige Minuten dauern. Nach Abschluss der Dokumentanalyse wird das Quelldokument auf der linken Seite und das analysierte Dokument auf der rechten Seite angezeigt. Sie können das analysierte Dokument als formatierten Text oder JSON-Rohformat anzeigen.

Prozess- und Abfrageergebnisse

Wenn Sie die ai_parse_document Abfrage anzeigen und auf weiteren Dokumenten ausführen möchten, klicken Sie auf "Agent verwenden ", und wählen Sie entweder die Abfrage aus dem SQL-Editor oder -Notizbuch aus. Sie können die Abfrage bearbeiten, um auf das Volume oder die Tabelle zu verweisen, in denen Ihre Dokumente aufbewahrt werden.

Um die analysierte Ausgabe für den Abruf (RAG) vorzubereiten, verwenden Sie ai_prep_search (Beta) downstream.

Dokumente in SQL analysieren

Rufen Sie ai_parse_document in SQL auf, um Dokumente in großem Maßstab zu parsen:

SELECT
  ai_parse_document(
    content,
    map('version', '2.0')
  ) AS parsed
FROM READ_FILES('/Volumes/my_catalog/my_schema/my_documents', format => 'binaryFile');

Siehe die ai_parse_document SQL-Referenz.

Dokumente mit der REST-API analysieren

Nutzen Sie die REST-API, um Dokumente aus Anwendungen, Diensten und Automatisierungsworkflows zu analysieren. Siehe die REST API-Dokumentation als Referenz.

ai_parse_document REST-API-Anfragen sind auf 100 Seiten pro Dokument begrenzt.

Das Standard-Rate-Limit für ai_parse_document REST-API-Anfragen beträgt 250 Anfragen pro Minute pro Arbeitsbereich. Kontaktieren Sie Ihr Databricks-Kontoteam, um ein höheres Limit zu beantragen.

ai_parse_document liest seine Eingabe aus einem Unity-Katalog-Volume. Das folgende Beispiel lädt ein lokales PDF mit der Datei-API auf ein Volume hoch und parst es dann.

Laden Sie zuerst das Dokument in ein Volume hoch:

curl -X PUT "$DATABRICKS_HOST/api/2.0/fs/files/Volumes/my_catalog/my_schema/my_volume/invoice.pdf?overwrite=true" \
     -H "Authorization: Bearer $DATABRICKS_TOKEN" \
     -H "Content-Type: application/octet-stream" \
     --data-binary @invoice.pdf

Dann parsiere das hochgeladene Dokument, indem du seinen Volumenpfad als contentübergibst:

curl -X POST "$DATABRICKS_HOST/api/2.0/ai-functions/ai-parse-document" \
     -H "Authorization: Bearer $DATABRICKS_TOKEN" \
     -H "Content-Type: application/json" \
     -d '{
  "content": "/Volumes/my_catalog/my_schema/my_volume/invoice.pdf"
}'

Einschränkungen

Siehe ai_parse_document Einschränkungen.