Analyse de document

L’analyse de documents utilise des techniques de recherche de pointe pour extraire et visualiser des données structurées à partir d’un large éventail de types de documents, notamment les fichiers PDF, images, documents Word (DOC/DOCX) et les fichiers PowerPoint (PPT/PPTX). Il est conçu pour gérer des dispositions complexes telles que des tableaux, des graphiques et du contenu d’image de texte mixte.

L’analyse des documents est disponible via l’interface Agent Bricks, en SQL et avec l’API REST.

Créez un agent d’analyse de documents dans l’interface utilisateur

Requirements

• Espace de travail qui inclut les éléments suivants :
  • Le calcul serverless est activé. Consultez les exigences relatives au calcul serverless.
  • Catalogue Unity activé. Consultez Activer un espace de travail pour le Catalogue Unity.
  • Accès à une stratégie d’utilisation serverless avec un budget non nul.
• Cette fonction est disponible uniquement dans certaines régions, consultez la disponibilité des fonctions IA.
  • La ai_parse_document fonction est également disponible pour les espaces de travail avec le module complémentaire Sécurité et conformité améliorés.

Utilisez l’analyse de document pour analyser vos documents et visualiser leur structure.

1. Accédez à Agents dans le volet de navigation gauche de votre espace de travail.
2. Cliquez sur Créer l’agent>Analyse de Document.
3. Sélectionnez votre document source. Vous pouvez choisir de charger un fichier ou de en sélectionner un dans un catalogue de catalogue Unity existant. Les formats pris en charge sont les suivants : PDF, images, DOC/DOCX et PPT/PPTX.
4. Cliquez sur Analyser le document.

L’analyse de votre document peut prendre quelques minutes. Une fois terminé, l’analyse de document affiche le document source à gauche et le document analysé à droite. Vous pouvez choisir d’afficher le document analysé en tant que texte mis en forme ou JSON brut.

Traiter et interroger les résultats

Pour afficher la ai_parse_document requête et l’exécuter sur d’autres documents, cliquez sur Utiliser l’agent et choisissez d’exécuter la requête à partir de l’éditeur SQL ou du bloc-notes. Vous pouvez modifier la requête pour qu’elle pointe vers le volume ou la table dans laquelle vos documents se trouvent.

Pour préparer la sortie parsée pour la récupération (RAG), utilisez ai_prep_search (Beta) dans les étapes suivantes.

Analyser les documents en SQL

Appelez ai_parse_document SQL pour analyser les documents à grande échelle :

SELECT
  ai_parse_document(
    content,
    map('version', '2.0')
  ) AS parsed
FROM READ_FILES('/Volumes/my_catalog/my_schema/my_documents', format => 'binaryFile');

Voir la ai_parse_document référence SQL.

Analyser les documents avec l’API REST

Utilisez l’API REST pour analyser les documents issus d’applications, de services et de flux de travail d’automatisation. Voir la documentation de l’API REST pour référence.

ai_parse_document Les requêtes API REST sont limitées à 100 pages par document.

La limite de débit par défaut pour les ai_parse_document requêtes API REST est de 250 requêtes par minute par espace de travail. Contactez votre équipe de compte Databricks pour demander une limite plus élevée.

ai_parse_document lit ses entrées depuis un volume du catalogue Unity. L’exemple suivant télécharge un PDF local dans un volume avec l’API des fichiers, puis l’analyse.

Commencez par télécharger le document dans un volume :

curl -X PUT "$DATABRICKS_HOST/api/2.0/fs/files/Volumes/my_catalog/my_schema/my_volume/invoice.pdf?overwrite=true" \
     -H "Authorization: Bearer $DATABRICKS_TOKEN" \
     -H "Content-Type: application/octet-stream" \
     --data-binary @invoice.pdf

Ensuite, analysez le document téléchargé en passant son chemin de volume comme content:

curl -X POST "$DATABRICKS_HOST/api/2.0/ai-functions/ai-parse-document" \
     -H "Authorization: Bearer $DATABRICKS_TOKEN" \
     -H "Content-Type: application/json" \
     -d '{
  "content": "/Volumes/my_catalog/my_schema/my_volume/invoice.pdf"
}'

Limitations

Consultez ai_parse_document les limitations.