ドキュメントの解析

ドキュメント解析では、最先端の研究手法を使用して、PDF、画像、Word 文書 (DOC/DOCX)、PowerPoint ファイル (PPT/PPTX) など、さまざまな種類のドキュメントから構造化データを抽出して視覚化します。 テーブル、グラフ、混合テキスト画像コンテンツなどの複雑なレイアウトを処理するように設計されています。

ドキュメント解析は Agent Bricks UI、 SQL、 REST APIを通じて利用可能です。

UIでドキュメント解析エージェントを作成します

Requirements

ドキュメント解析を使用して、ドキュメントを解析し、その構造を視覚化します。

  1. [エージェント] アイコンに移動します。 ワークスペースの左側のナビゲーション ウィンドウにあるエージェント。
  2. [ エージェントの作成>ドキュメント解析 ] をクリックします。
  3. ソース ドキュメントを選択します。 ファイルをアップロードするか、既存の Unity カタログ カタログからファイルを選択することができます。 サポートされている形式は、PDF、画像、DOC/DOCX、PPT/PPTX です。
  4. [ ドキュメントの解析] をクリックします。

ドキュメントの解析には数分かかることがあります。 完了すると、ドキュメント解析の左側にソース ドキュメントが表示され、解析されたドキュメントが右側に表示されます。 解析されたドキュメントを 書式設定された テキストまたは 未加工の JSON として表示することを選択できます。

ソースと解析されたドキュメントを並べて表示するドキュメント解析 UI

クエリ結果の処理

ai_parse_documentクエリを表示し、その他のドキュメントで実行するには、[エージェントの使用] をクリックし、SQL エディターまたはノートブックからクエリを実行することを選択します。 ドキュメントが格納されているボリュームまたはテーブルを指すようにクエリを編集できます。

解析された出力を取得 (RAG) 用に準備するには、ダウンストリーム ai_prep_search (ベータ) を使用します。

SQL でドキュメントを解析する

SQLで ai_parse_document を呼び出して、大規模に文書を解析する方法:

SELECT
  ai_parse_document(
    content,
    map('version', '2.0')
  ) AS parsed
FROM READ_FILES('/Volumes/my_catalog/my_schema/my_documents', format => 'binaryFile');

ai_parse_document SQLの参考文献を参照してください。

REST APIで文書を解析する

REST APIを使ってアプリケーション、サービス、自動化ワークフローから文書を解析できます。 参照のために REST APIのドキュメント を参照してください。

ai_parse_document REST APIリクエストは1ドキュメントあたり100ページまでに制限されています。

REST APIリクエスト ai_parse_document デフォルトのレート制限は、ワークスペースあたり1分間に250リクエストです。 Databricksのアカウントチームに連絡して、より高い限度額を申請してください。

ai_parse_document Unityカタログのボリュームから入力を読み込みます。 以下の例では、ローカルPDFをファイル APIでボリュームにアップロードし、それを解析します。

まず、ドキュメントをボリュームにアップロードします:

curl -X PUT "$DATABRICKS_HOST/api/2.0/fs/files/Volumes/my_catalog/my_schema/my_volume/invoice.pdf?overwrite=true" \
     -H "Authorization: Bearer $DATABRICKS_TOKEN" \
     -H "Content-Type: application/octet-stream" \
     --data-binary @invoice.pdf

次に、アップロードしたドキュメントのボリューム パスを content として渡して解析します。

curl -X POST "$DATABRICKS_HOST/api/2.0/ai-functions/ai-parse-document" \
     -H "Authorization: Bearer $DATABRICKS_TOKEN" \
     -H "Content-Type: application/json" \
     -d '{
  "content": "/Volumes/my_catalog/my_schema/my_volume/invoice.pdf"
}'

Limitations

ai_parse_document制限事項を参照してください。

  • 最終更新: