インテリジェント ドキュメント処理 (IDP) ワークフローや取得拡張生成 (RAG) シナリオでは、非構造化ドキュメント (契約や作業明細書など) または構造化ドキュメント (請求書や保険フォームなど) の処理が不可欠です。 大規模なデータを確実に抽出するには、テキスト抽出以上のものが必要です。
高品質の自動化のためには、抽出された内容、どこから来たのか、意図と一致するかどうか、抽出の信頼性を知る必要があることがよくあります。
ほとんどの企業は、さまざまなドキュメントを大規模に処理する際に、次の課題に直面します。
- ワークフローを 自動化する必要がありますが、抽出がビジネス アプリケーションに必要な精度のしきい値を満たしている場合にのみ必要です。 アナライザーの結果の信頼性と精度を把握する必要があります。
- 抽出されたデータのソースが信頼できる参照元であるかを検証する必要があります。 予想よりも低い信頼度スコアが表示される場合は、ドキュメント内の特定の場所を確認して、結果をすばやく検証します。
- 問題が発生した場合や、予想よりも低い信頼度スコアを持つ新しい形式に遭遇した場合に、 アナライザーの結果の品質を向上させる 方法 (ラベル付きの例をいくつか提供) が必要になるのが理想的です。
Foundry Tools の Azure Content Understanding には、抽出された出力を後処理するための重要な機能が用意されています。
| 特徴 | 目的 | 価値 |
|---|---|---|
| 信頼度スコアリング | 信頼度スコアを使用して、各予測におけるアナライザーの確実性を定量化します。 | STP を有効にする (ストレートスルー処理) |
| 根拠づけ | 元のドキュメント コンテンツに抽出されたすべての出力に対する参照元/引用元を提供します | 追跡可能性、コンプライアンス、およびユーザーの信頼を確保する |
| ラベル付きサンプル | アナライザーの関連する値、レイアウト、用語、およびドメイン規則を示す修正されたサンプル ドキュメントを提供します。 ラベル付きトレーニングは、GA およびプレビュー API で利用できます。最適化されたトレーニングと、実行時にラベル付けされたデータはプレビュー機能がありません。 | 新しいフォーマットやエッジ ケースに迅速に適応する |
注
2025-11-01 GA および2026-06-01-preview API では、すべてのドキュメント フィールドの種類 (extract、classify、およびgenerateメソッド) に対して信頼度スコアと接地を使用できます。
これらの機能の詳細については、以下を参照してください。
信頼度スコアリング: コントロールを使用して自動化する
すべてのフィールドには、結果に関するアナライザーの確度を示す 0 ~ 1 の信頼度スコアを含めることができます。 この値を使用して、信頼度の高い結果を自動化し、人間のレビューのために信頼度の低い結果をルーティングします。
estimateFieldSourceAndConfidence プロパティを使用して、すべてのフィールド (または特定のフィールド) の信頼度スコアを有効にします。
アナライザーの信頼度スコアの構成の詳細について説明します。
信頼度スコアが重要な理由
信頼度スコアを使用すると、次のようなワークフローを設計できます。
- ドキュメント処理タスクをインテリジェントに自動化するために、信頼度が定義されたしきい値を超えたときの抽出の自動承認。
- 運用コストを削減し、重要な側面に対するヒューマン イン ザ ループ レビューを使用してリソース割り当てを最適化します。
- 特定のしきい値未満の抽出を拒否するか、フラグを立てて、手動介入を促進することで、意思決定の精度を強化します。
Example
スキャンされたユーティリティの請求書を処理して、請求先住所と支払額を抽出します。 ドキュメントの場合:
- 請求先住所: "1234 Market St., San Francisco, CA" → Confidence: 0.96
- 支払額: "$128.74" → Confidence: 0.52
この場合、自動化パイプラインは、下流アプリケーションに直接請求先住所を送信し、検証に向けて人間に支払額をルーティングします。 信頼度スコアを使用すると、精度を維持しながら手動作業を減らすことができます。
根拠づけ: 各結果を情報源までトレースする
Grounding を使用すると、すべてのフィールド、回答、または分類に、ドキュメント内の元の場所への参照が確実に含まれます。 これには、ソース情報 (ページ番号と空間座標) とスパン (オフセットと長さ) が含まれます。
根拠づけが重要な理由
エンタープライズ ワークフローでは、精度だけでは不十分です。また、追跡可能性も必要です。 モデルが顧客名または契約解約条項を抽出する場合、その情報源を検証できる必要があります。 グラウンディングは、次の点で重要です。
- 抽出された句、財務番号、テーブル、保険 ID の明確な追跡可能性とローカライズを維持する。
- 内部コンプライアンス チェックを使用して透明性を確保する。
- フィールド値を提供したページ、セクション、コンテンツを識別することで、効率的な人間のループ内検証をサポートします。
Example
契約書から契約解約条項を抽出します。 モデルが返す項目:
- 抽出されたテキスト: "両当事者は、60 日前に通知することで本契約を解除できます。"
"spans": [
{
"offset": 343,
"length": 102
}
]
-
ソース: ページ 3、座標
({x1},{y1},{x2},{y2},{x3},{y3},{x4},{y4})
スパンは、文字オフセットと長さを使用して要素の論理位置を示します。 ソースは、ページ番号と境界ボックス座標を用いて位置情報を視覚的に提供します。
このような根拠づけデータを使用すると、法務チームは、PDF の情報元項に直接アクセスして抽出を検証できます。 これにより、当て推量がなくなり、アプリケーション出力の信頼性が向上します。
ラベル付きの例を使用してアナライザートレーニングを改善する
2025-11-01 GA API と 2026-06-01-preview API の両方で、ラベル付けされたサンプル ドキュメントを使用したカスタム ドキュメント アナライザーのトレーニングがサポートされます。 どちらのバージョンでも、Content Understanding Studio で同じラベル付けワークフローが使用されます。
Important
トレーニングではドキュメント アナライザーのみがサポートされており、現在、 generate メソッドを使用するフィールドはサポートされていません。
すべてのフィールドのコンテキストがテスト ドキュメントに明確に存在する場合は、ゼロショット抽出呼び出しで十分な場合があります。 まず、 スキーマ定義のベスト プラクティスに従います。 正しくないフィールド値または信頼度スコアがストレートスルー処理のしきい値を下回っている場合は、ラベル付けされたサンプルを使用してアナライザーを改善します。
ラベル付けされたサンプル ドキュメントは、ドメイン コンテキストを提供します。 代表的なドキュメントのフィールド値を修正することで、シナリオに関連するレイアウト、用語、値パターン、および規則をアナライザーに表示します。
ラベル付きサンプルは、抽出品質を向上させるために機能します。
- テンプレートのバリエーションが最小限のデータセットの場合は、ラベル付けされた 1 つのサンプルを追加します。
- より複雑なバリエーションの場合は、各テンプレートまたは形式の代表的なサンプルを追加します。
- 低信頼度スコア、不完全抽出、または正しくない値を生成するドキュメントの場合。
- トレーニングの前後で抽出品質を評価し、サンプルによって結果が改善されることを確認します。
ラベル付きサンプルを追加するには、Foundry ポータルのドキュメント抽出結果ページに移動し、[ ラベル データ ] タブを選択します。サンプルをアップロードし、[ 自動ラベル] を選択します。 自動ラベルは、既存のアナライザーを実行し、編集できる結果を事前に設定します。
フィールドの値が正しくないか、見つからない場合は編集します。 サンプルを保存すると、修正されたフィールドに 修正された タグが表示されます。
注
Content Understanding Studio でラベル付きサンプルを追加します。 サンプルを追加した後、アナライザーでサンプルを使用できるようにアナライザーを再構築します。
たとえば、新しい仕入先からの請求書が低信頼度スコアまたは不適切な 金額を 生成する場合は、代表的な請求書を追加し、ラベル付けされた値を修正します。 ドキュメント自体は、そのベンダーのレイアウトと請求書の規則に関するコンテキストを提供します。
その後、アナライザーはパターンを一般化して、同様のドキュメント テンプレートから値を抽出します。
プレビュー API の機能強化
Important
API バージョン 2026-06-01-preview はパブリック プレビュー段階です。 プレビューはサービス レベル アグリーメントなしで提供され、運用環境のワークロードには推奨されません。 詳細については、Microsoft Azureプレビュー補足利用規約およびMicrosoft製品およびサービスデータ保護付録(「DPA」)をご参照ください。
2026-06-01-preview API は同じラベル付きサンプル ワークフローを使用しますが、トレーニングでドキュメントを使用する方法が向上します。 アナライザーを再構築すると、トレーニングによって、ラベル付けされたサンプルからビルドされたアナライザーに関連するパターンとドメイン コンテキストが蒸留されます。
プレビュートレーニングアプローチ:
- GA トレーニング アプローチと比較して、アナライザーの実行時のトークン消費量を削減します。
- ビルドされたアナライザーにラベル付けされたサンプル ドキュメントを含めたり保持したりしません。
- 分析時にラベル付けされたサンプル ドキュメントにアクセスするために、ビルドされたアナライザーは必要ありません。
ラベル付きのサンプル ドキュメントは、デザイン目的でのみ、Content Understanding Studio プロジェクトに関連付けられているストレージ アカウントに残ります。 詳細については、 Content Understanding のデータ、プライバシー、セキュリティに関するページを参照してください。
制限事項
ラベル付きサンプルでは、テキスト認識の問題は修正されません。 たとえば、文字 l が数字の 1として認識されている場合、文字 l として値をラベル付けしても、抽出品質は向上しません。
完全なワークフロー
インテリジェントなドキュメント自動化パイプラインを構築する場合、これらの機能は、大規模なデータを確実に抽出するのに役立ちます。 たとえば、調達契約を処理する場合、次の内容を抽出できます。
- ベンダー名
- 開始日と終了日。
- キャンセル条項
エンタープライズ規模のドキュメントを理解するための品質と信頼を確保するには:
- 根拠づけにより、チームはすべてのフィールドを完全に追跡できます。
- 信頼度スコアは 、信頼度が低い場合にのみ人間によるレビューが必要になるため、自動化に役立ちます。
- ラベル付きサンプル は、アナライザーがドメイン コンテキスト、新しいコントラクト テンプレート、またはエッジ ケースに適応するのに役立つ例を提供します。