Valide a qualidade do analisador de documentos com confiança, fundamentação e amostras rotuladas

O processamento de documentos não estruturados (como contratos e instruções de trabalho) ou documentos estruturados (como faturas e formulários de seguro) é essencial para fluxos de trabalho de IDP (processamento inteligente de documentos) e cenários de RAG (geração aumentada de recuperação). Extrair dados de forma confiável em escala requer mais do que a extração de texto.

Para automação de alta qualidade, muitas vezes você precisa saber o que foi extraído, de onde veio, se corresponde à sua intenção e quão confiável é a extração.

A maioria das empresas enfrenta os seguintes desafios ao lidar com vários documentos em escala:

• É necessário automatizar fluxos de trabalho, mas somente quando a extração atender a um limite de precisão exigido pelo aplicativo de negócios. Você precisa saber o quão confiante/preciso o analisador está em seus resultados.
• Precisa validar as fontes de dados extraídos para referência verdadeira. Ao ver pontuações de confiança abaixo do esperado, valide os resultados rapidamente examinando o local específico no documento.
• Idealmente, exija maneiras de melhorar a qualidade dos resultados do analisador (fornecendo alguns exemplos rotulados) quando ele obtém algo errado ou encontra um novo formato com pontuações de confiança menores do que o esperado.

O Azure Content Understanding in Foundry Tools fornece recursos críticos para pós-processamento da saída extraída.

Saiba mais sobre esses recursos abaixo.

Avaliação de confiança: Automatização com controle

Cada campo pode incluir uma pontuação de confiança entre 0 e 1 que indica quão certo o analisador está sobre o resultado. Use esse valor para automatizar resultados de alta confiança e encaminhar resultados de baixa confiança para revisão humana.

Habilite pontuações de confiança para todos os campos (ou campos específicos) usando a estimateFieldSourceAndConfidence propriedade. Saiba mais sobre como configurar pontuações de confiança para analisadores.

Por que as pontuações de confiança importam

As pontuações de confiança permitem que você projete fluxos de trabalho como:

• A aprovação automática de extrações quando a confiança está acima de um limite definido para automatizar de forma inteligente as tarefas de processamento de documentos.
• Otimizar a alocação de recursos reduzindo os custos operacionais e usando a revisão com participação humana para aspectos críticos.
• Rejeitar ou sinalizar extrações abaixo de um determinado limite para intervenção manual, aumentando a precisão da tomada de decisões.

Example

Você está processando faturas de serviços públicos digitalizadas para extrair o endereço de cobrança e o valor a pagar. Para um documento:

• Endereço de cobrança: "1234 Market St., São Francisco, CA" → Confiança: 0,96
• Valor devido: "$128,74" → Confiança: 0,52

Nesse caso, seu pipeline de automação pode postar o endereço para cobrança diretamente no aplicativo downstream enquanto roteia o valor devido para um humano para verificação. Usando pontuações de confiança, você reduz o esforço manual mantendo a precisão.

Ancoragem: rastrear cada resultado até sua origem

A fundamentação garante que cada campo, resposta ou classificação inclua uma referência à sua localização original no documento. Isso inclui informações de origem (número de página e coordenadas espaciais) e intervalos (deslocamento e comprimento).

Por que o aterramento importa

Nos fluxos de trabalho corporativos, a precisão não é suficiente; você também precisa de rastreabilidade. Quando um modelo extrai um nome de cliente ou uma cláusula de terminação, você deve ser capaz de validar de onde essas informações vieram. O aterramento é fundamental para:

• Manter a rastreabilidade e a localização claras para cláusulas extraídas, números financeiros, tabelas e IDs de seguro.
• Garantindo transparência com verificações de conformidade internas.
• Suporte à validação human-in-the-loop eficiente identificando a página, a seção e o conteúdo que forneceram o valor do campo.

Example

Você deseja extrair a cláusula de rescisão de um contrato. O modelo retorna:

• Texto extraído: "Qualquer uma das partes pode encerrar este contrato com aviso prévio de 60 dias.".

"spans": [
  {
    "offset": 343,
    "length": 102
  }
]

• Origem: Página 3, coordenadas ({x1},{y1},{x2},{y2},{x3},{y3},{x4},{y4})

Os intervalos indicam a posição lógica do elemento usando o deslocamento e o comprimento do caractere. A fonte indica sua posição visual com o número da página e as coordenadas da caixa delimitadora.

Com esses dados básicos, sua equipe jurídica pode verificar a extração saltando diretamente para o parágrafo de origem no PDF. Isso elimina a adivinhação e cria confiança na saída do aplicativo.

Melhorar o treinamento do analisador com exemplos rotulados

2025-11-01 A API ga e a API dão suporte ao 2026-06-01-preview treinamento de analisadores de documentos personalizados com documentos de exemplo rotulados. Ambas as versões usam o mesmo fluxo de trabalho de rotulagem no Content Understanding Studio.

Se o contexto de todos os campos estiver claramente presente no documento de teste, uma chamada de extração sem nenhuma instrução prévia pode ser suficiente. Comece seguindo as práticas recomendadas para definições de esquema. Se você ainda vir valores de campo incorretos ou pontuações de confiança abaixo do limite de processamento direto, use exemplos rotulados para melhorar o analisador.

Os documentos de exemplo rotulados fornecem o contexto de domínio. Ao corrigir valores de campo em documentos representativos, você mostra ao analisador os layouts, terminologia, padrões de valor e convenções relevantes para seu cenário.

Os exemplos rotulados funcionam para melhorar a qualidade da extração:

• Para conjuntos de dados com variações mínimas de modelo, adicione um único exemplo rotulado.
• Para variações mais complexas, adicione um exemplo representativo para cada modelo ou formato.
• Para documentos que geram pontuações de baixa confiança, extração incompleta ou valores incorretos.
• Avalie a qualidade da extração antes e depois do treinamento para confirmar se os exemplos melhoram os resultados.

Para adicionar um exemplo rotulado, vá para uma página de resultados de extração de documento no portal da Foundry e selecione a guia Dados de rótulo . Carregue um exemplo e selecione Rótulo automático. A função de rotulagem automática executa o analisador existente e preenche previamente os resultados que você pode editar.

Edite quaisquer valores de campo incorretos ou ausentes. Depois de salvar o exemplo, os campos corrigidos exibem a marca corrigida .

Por exemplo, se as faturas de um novo fornecedor produzirem uma pontuação de confiança baixa ou um valor devido incorreto, adicione uma fatura representativa e corrija seus valores rotulados. O documento em si fornece o contexto sobre as convenções de layout e fatura desse fornecedor.

Em seguida, o analisador generaliza o padrão para extrair o valor de modelos de documento semelhantes.

Melhorias na API de visualização

A 2026-06-01-preview API usa o mesmo fluxo de trabalho de exemplo rotulado, mas melhora a forma como o treinamento usa os documentos. Quando você recompila o analisador, o treinamento destila os padrões relevantes e o contexto de domínio dos exemplos rotulados no analisador interno.

A abordagem de treinamento de visualização:

• Reduz o consumo de token quando o analisador é executado em comparação com a abordagem de treinamento de GA.
• Não inclui nem retém os documentos de exemplo rotulados no analisador interno.
• Não requer que o analisador compilado acesse os documentos de exemplo rotulados no tempo de análise.

Os documentos de exemplo rotulados permanecem na conta de armazenamento associada ao projeto do Content Understanding Studio somente para fins de design. Para obter mais informações, consulte Dados, privacidade e segurança para o Reconhecimento de Conteúdo.

Limitações

Exemplos rotulados não corrige problemas de reconhecimento de texto. Por exemplo, se a letra l for reconhecida como o dígito 1, rotular o valor como a letra l não melhorará a qualidade da extração.

Um fluxo de trabalho completo

Quando você cria um pipeline de automação de documentos inteligente, esses recursos ajudam você a extrair dados de forma confiável em escala. Por exemplo, se você processar contratos de aquisição, poderá extrair:

• Nome do fornecedor
• Datas de início e término
• Cláusula de cancelamento

Para garantir a qualidade e a confiança para a compreensão de documentos em escala empresarial:

• Grounding oferece à sua equipe total rastreabilidade a todos os campos.
• As pontuações de confiança ajudam você a automatizar, porque a revisão humana é necessária apenas quando a confiança é baixa.
• Exemplos rotulados fornecem exemplos que ajudam o analisador a se adaptar ao contexto de domínio, a novos modelos de contrato ou a casos de borda.

Próximas etapas

• Examinar as práticas recomendadas do analisador
• Criar um analisador personalizado no Studio