Use o Código Genie para processamento inteligente de documentos

O Genie Code constrói pipelines de processamento de documentos de ponta a ponta, orquestrando análise sintática, classificação, extração e validação. Aplique-o a PDFs não estruturados, contratos ou faturas, e avalia a qualidade com base em dados anotados, fazendo iterações para a melhorar, para que possa determinar quando um pipeline está apto para produção.

Requisitos

Para usar o Código Genie para processamento de documentos:

Constrói um pipeline de processamento de documentos com o Genie Code

  1. Abre o código do Genie na página de Jobs & Pipelines ou no editor SQL.

  2. Indique o seu objetivo e aponte as suas fontes. Consulte os seus volumes, tabelas e ficheiros.

    Um prompt para o Genie Code a indicar a classificação e o objetivo de extração, os campos a extrair por tipo de contrato e o volume fonte, com um pedido para um trabalho noturno.

  3. Deixa crescer. Depois de o Código Genie ter material suficiente, constrói o trabalho do Lakeflow usando as melhores práticas.

  4. Revise e executa. Analisa o SQL gerado e as tarefas, edita o que quiseres e executa o trabalho quando estiveres pronto.

    Um grafo de jobs Lakeflow em execução para processamento de contratos, ao lado do painel de chat Código Genie que resume as tarefas, funções e tabelas de saída geradas.

  5. Comece pequeno e depois escale. Execute numa amostra, reveja o resultado, avalie a qualidade e itere antes de processar o conjunto de dados completo.

Em que pode o Genie Code ajudar?

Criar uma tarefa completa de processamento de documentos

Descreva o resultado e o Genie Code constrói um trabalho completo de Lakeflow, usando apenas as fases que o seu objetivo precisa:

  • Descubra ficheiros fonte num volume e acompanhe a sua identidade e alterações.
  • Analise documentos em conteúdo estruturado com ai_parse_document (texto, tabelas, figuras e layout de página).
  • Classifica cada documento com os teus próprios selos ( ai_classify por exemplo, contratos de afiliados, marketing ou consultoria).
  • Extrair campos estruturados contra um esquema com ai_extract, incluindo citações e pontuações de confiança.
  • Publique uma saída limpa e estruturada numa tabela do Unity Catalog.

Cada função de IA é uma tarefa própria, por isso o trabalho mantém-se modular e podes reexecutá-lo, preencher ou editar mais tarde.

Melhorar a qualidade da extração com avaliação e subida de colinas

O Código Génio trata a qualidade como algo que se mede, não como se deve adivinhar. Dada uma tabela rotulada de saídas esperadas, executa uma avaliação ao nível de campo e fecha o ciclo:

  • Medir. Avalia o campo de extração atual, campo a campo, para ver exatamente quais são os campos com pior desempenho.
  • Melhore. O Código Genie propõe uma correção, geralmente uma descrição de campo mais nítida, mostrada como um diferencial revisível que aprova antes de se aplicar.
  • Reavaliar. Cada alteração aceite repete o conjunto de avaliação e mostra resultados antes e depois, pelo que melhorias e regressões são visíveis.

O ciclo repete-se até a qualidade atingir o teu nível, por isso julgas a prontidão pelas pontuações e confiança, não por resultados que parecem plausíveis.

Validar resultados e encaminhar exceções

O Genie Code integra portas de qualidade no pipeline. Combina verificações determinísticas (esquemas, campos obrigatórios, totais), confiança do modelo e regras de negócio para decidir o que passa, e mantém as linhas falhadas visíveis.

Depure os seus documentos visualmente

O Genie Code abre a interface de análise de documentos para mostrar as páginas renderizadas ao lado do conteúdo analisado e dos campos extraídos. Use-o para localizar um resultado mau: se o texto estiver em falta ou distorcido na saída analisada, o problema é a análise ou o ficheiro fonte. Se o texto for analisado mas um campo estiver errado, o problema é a extração. De qualquer forma, confirme em documentos reais antes de escalar.

Inspecionar e resolver problemas em pipelines existentes

O Genie Code funciona em pipelines que já tens, não apenas em novos. Pode explicar uma tarefa, rever a sua conceção e custo sem alterar nada, encontrar a causa principal de uma etapa que falhou ou está lenta e fazer a correção mínima necessária, mantendo inalteradas as partes que estão a funcionar.

Exemplos de sugestões

Construir um pipeline de ponta a ponta

  • Os contratos chegam a @my_catalog.raw.contracts. Criar uma tarefa diária que classifique cada contrato em afiliado, marketing, consultoria, alojamento e depósito em garantia; extraia os campos relevantes para cada tipo de contrato; e gere tabelas gold.
  • Tenho um volume de faturas digitalizadas em @my_catalog.raw.invoices. Crie um trabalho que os analise, extraia o fornecedor, o número da fatura, as linhas e o total, e escreva os resultados numa tabela."

Melhorar a qualidade com avaliação e subida de colinas

  • "Como é que sei que isto é bom o suficiente para correr em milhões de filas? Avalia a extração em relação à minha tabela @my_catalog.default.eval_table rotulada e diz-me quais os campos mais fracos."
  • "A precisão no invoice_total campo pode ser maior. Melhorar iterativamente o esquema e as instruções, repetir a avaliação e mostrar-me o antes e o depois."
  • "Defina limiares de confiança por campo a partir dos resultados da avaliação e encaminhe as linhas de baixa confiança para revisão."

Validar resultados e encaminhar exceções

  • "Adicione validação que verifique os campos obrigatórios e que os itens de linha somam o total da fatura, e mantenha as linhas que falham."
  • Coloque em quarentena, numa tabela separada para revisão humana, os documentos que não cumpram uma regra de negócio (por exemplo, imposto pago superior ao salário).

Depure os seus documentos visualmente

  • "Mostra-me os resultados analisados destes PDFs ao lado das páginas originais para eu poder verificar os resultados analisados."
  • "A data de entrada em vigor está errada em alguns contratos de consultoria. Abre a vista analisada para eu perceber se é um problema de análise ou de extração."

Inspecionar e resolver problemas em pipelines existentes

  • "Explique o que cada tarefa neste trabalho de processamento de documentos faz e onde os resultados estão escritos."
  • "Esta tarefa de análise começou a falhar. Encontre a causa a partir do resultado da execução recente e recomende a correção mínima.
  • Analisa esta conceção do pipeline de processamento de documentos face às melhores práticas e diz-me se está pronta para ser executada sobre o conjunto de dados completo.

Recursos adicionais

  • Última atualização a