Extrair texto de objetos usando Power Automate e AI Builder

AI Builder
Inteligência de Documentos do Azure em Foundry Tools
Power Automate
Azure Functions

Este artigo apresenta uma solução para extrair texto de imagens para que ele possa ser indexado e recuperado em Microsoft 365. Usando o AI Builder e o Azure Document Intelligence no Foundry Tools, você pode configurar um fluxo de trabalho do Power Automate que usa um modelo treinado para extrair texto de imagens. Depois de configurar o fluxo de trabalho, você pode pesquisar rapidamente documentos em busca de texto significativo inserido em formas e objetos. Por exemplo, você pode pesquisar esquemas de engenharia para o número de parte dentro de um componente específico ou encontrar cada válvula rotulada em um conjunto de diagramas de planta, sem abrir e verificar cada arquivo manualmente.

Arquitetura

Diagrama de arquitetura para usar AI Builder para extrair texto de objetos usando IA.

Baixe um arquivo Visio dessa arquitetura.

Workflow

As seguintes etapas de fluxo de trabalho correspondem aos números no diagrama anterior:

  1. Um fabricante treina um modelo de detecção de objetos em AI Builder para reconhecer objetos específicos.
  2. Um usuário carrega um documento que contém texto em objetos em uma biblioteca de documentos SharePoint ou OneDrive, diretamente ou por meio de Microsoft Teams.
  3. O evento de carregamento aciona um fluxo do Power Automate.
  4. O fluxo executa o modelo de AI Builder no documento carregado para detectar objetos. AI Builder retorna um arquivo JSON que contém as coordenadas de pixel de todos os objetos detectados.
  5. Power Automate também envia o documento para o Azure Document Intelligence no Foundry Tools para uma varredura completa de reconhecimento óptico de caracteres (OCR). O Document Intelligence retorna um arquivo JSON que contém o texto extraído e suas coordenadas de pixel.
  6. O fluxo chama uma função no Azure Functions que compara as coordenadas de pixel das saídas do AI Builder e da Inteligência de Documentos. Quando objetos detectados se cruzam com o texto extraído, a função retorna as informações de texto e objeto correspondentes como uma carga JSON.
  7. O fluxo grava o texto correspondente e os metadados no documento original em Microsoft 365.
  8. Pesquisa da Microsoft indexa os novos metadados do documento para que ele seja detectável em Microsoft 365.
  9. Os usuários podem pesquisar metadados no SharePoint usando as web parts do PnP Modern Search.

Componentes

Essa solução usa os seguintes componentes de Microsoft Power Platform, Azure e Microsoft 365.

Microsoft Power Platform

  • AI Builder é um recurso Microsoft Power Platform que permite aos fabricantes adicionar IA a aplicativos e fluxos. Esse cenário usa AI Builder para treinar e executar um modelo personalizado de detecção de objetos que identifica objetos de interesse em imagens.
  • Power Automate é um serviço de fluxo de trabalho de baixo código que automatiza ações entre aplicativos e serviços. Nesse cenário, o Power Automate orquestra o fluxo, começando pelo gatilho de upload do documento e indo até a gravação dos metadados extraídos de volta nas bibliotecas do SharePoint.

Azure

  • Document Intelligence é um serviço Foundry Tools baseado na nuvem que usa aprendizado de máquina para realizar OCR e processamento inteligente de documentos. Nesse cenário, ele faz uma verificação OCR de página inteira em cada documento carregado e retorna texto extraído com coordenadas de pixel.
  • Azure Functions é um serviço de computação sem servidor controlado por eventos. Esse cenário usa uma função acionada por HTTP para hospedar a lógica geométrica que compara as coordenadas de pixel retornadas pelo AI Builder e pelo Document Intelligence e retorna o texto na interseção. Power Automate chama a função por HTTP e usa a resposta, portanto, um gatilho HTTP é apropriado.

Microsoft 365

  • SharePoint, OneDrive e Teams no Microsoft 365 são as fontes de upload que disparam o fluxo de Power Automate e também são os destinos de armazenamento em que o fluxo grava os metadados extraídos.
  • Pesquisa da Microsoft indexa os metadados de texto extraído para que ele se torne detectável em Microsoft 365.
  • O PnP Modern Search é um conjunto de web parts de software livre SharePoint que você pode usar para criar experiências de pesquisa flexíveis e personalizadas usando o índice Pesquisa da Microsoft.

Alternativas

  • Use o Azure Content Understanding para entradas não estruturadas ou multimodais. O Document Intelligence faz parte do Azure Content Understanding nas Ferramentas do Foundry, que adiciona analisadores baseados em LLM para conteúdo não estruturado e multimodal. Se suas entradas incluirem conteúdo não estruturado, como imagens de forma livre, áudio ou vídeo, além de documentos estruturados, ou você precisar raciocinar sobre o conteúdo em vez de apenas transcrevê-lo, considere usar as ferramentas de Compreensão de Conteúdo. Por exemplo, talvez seja necessário resumir as notas de revisão em um desenho de engenharia, classificar um diagrama por tipo de equipamento ou responder a perguntas que exijam interpretar o conteúdo, não apenas ler o texto. Para obter mais informações, consulte Escolha as ferramentas Foundry certas para o processamento de documentos.
  • Use o Document Intelligence sozinho. Se você não precisar definir o escopo dos resultados do OCR para objetos específicos em uma imagem, poderá ignorar AI Builder e o aplicativo de funções de comparação de geometria e usar Azure Document Intelligence para executar o OCR em todo o documento. Em seguida, Power Automate armazene o texto resultante como metadados em Microsoft 365.
  • Use o OCR integrado do SharePoint. SharePoint em Microsoft 365 pode fazer OCR em imagens e PDFs e adicionar o texto extraído ao índice de pesquisa. Essa opção não requer um fluxo personalizado, mas também não expõe o objeto estruturado e o mapeamento de coordenadas fornecidos pela solução atual.
  • Use Aplicativos Lógicos do Azure para processamento de alto volume. Se você quiser processar documentos em alta taxa ou evitar a limitação por fluxo do Power Automate, substitua o Power Automate por Logic Apps, que oferecem camadas dedicadas de fluxo de trabalho e limites mais altos de ações. Para obter mais informações, consulte os limites e a configuração dos Aplicativos Lógicos.

Detalhes do cenário

Diagramas de esquema e industriais geralmente contêm objetos que incluem texto. Por exemplo, um plano de construção pode rotular salas individuais, circuitos elétricos e equipamentos HVAC ou um esquema de engenharia pode mostrar um número de parte dentro de cada componente. A verificação manual desses documentos em busca de texto relevante é trabalhosa e demorada. Essa solução combina um modelo personalizado de detecção de objetos com o OCR para que você possa pesquisar texto inserido pelo objeto em que ele aparece, não apenas pelo documento em que está.

Possíveis casos de uso

  • Esquemas de engenharia. Esquemas complexos contêm muitos tipos de objeto, como componentes, textos explicativos e blocos de revisão. Use essa solução para localizar rapidamente componentes específicos em um esquema. O texto incorporado pesquisável é útil para realizar investigações, identificar a falta de peças e localizar avisos de recall e falha.
  • Diagramas industriais. Diagramas que descrevem um conjunto de montagem de fabricação geralmente identificam bombas, válvulas, chaves automáticas e outros componentes. A indexação do texto dentro desses objetos dá suporte à manutenção preventiva, ao isolamento de componentes perigosos e à visibilidade do gerenciamento de riscos.
  • Desenhos de arquitetura e instalação. Planos de piso, planos elétricos e desenhos HVAC rotulam salas, circuitos e equipamentos. A indexação desses rótulos facilita a localização de ativos específicos em um conjunto de desenho grande.

Considerations

Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios orientadores que você pode usar para melhorar a qualidade de uma carga de trabalho. Para obter mais informações, consulte Well-Architected Framework.

Reliability

A confiabilidade ajuda a garantir que seu aplicativo possa cumprir os compromissos que você faz aos seus clientes. Para obter mais informações, consulte Lista de verificação da revisão de projeto para Confiabilidade.

  • Planeje falhas transitórias. O Document Intelligence retorna erros HTTP 429 quando os limites de solicitação simultânea são excedidos. O fluxo do Power Automate chama diretamente a Inteligência de Documentos; portanto, configure tentativas com retirada exponencial nessa ação no fluxo.
  • Torne o fluxo idempotente. Gatilhos do SharePoint e do OneDrive podem reproduzir eventos. Projete o fluxo do Power Automate e as gravações subsequentes de metadados de modo que sejam seguros caso um documento seja processado mais de uma vez. Por exemplo, metadados upsert que são inseridos na ID do documento.
  • Gerencie digitalizações de OCR demoradas. O OCR de documentos grandes e de várias páginas pode levar muito tempo e o Document Intelligence processa as operações como assíncronas. Crie o fluxo de Power Automate que chama o Document Intelligence para enviar o documento e sondar o resultado, em vez de esperar uma resposta imediata. Implemente o tratamento de timeout para que uma varredura lenta não faça uma execução falhar.
  • Entenda o SLA (contrato de nível de serviço) para cada serviço. Examine os SLAs e as características de recuperação do Document Intelligence, do Functions e do Power Automate para garantir que seus destinos de confiabilidade sejam alcançáveis.

Segurança

A segurança fornece garantias contra ataques deliberados e o abuso de seus valiosos dados e sistemas. Para obter mais informações, consulte Lista de verificação para revisão de design de segurança.

  • Use a identidade gerenciada, não as chaves. Configure a função Azure para autenticar no AI Builder e no Document Intelligence usando Microsoft Entra ID com uma identidade gerenciada atribuída pelo sistema ou atribuída pelo usuário. Essa abordagem remove a necessidade de armazenar chaves de serviço.
  • Armazene os segredos restantes no Azure Key Vault. Se você precisar usar chaves, por exemplo, em um conector Power Automate, armazene as chaves no Key Vault e recupere-as em runtime usando o conector Azure Key Vault. Configurar o conector exige a criação de uma conexão com um tipo de autenticação do Microsoft Entra compatível. Para ver as opções de conexão, confira a referência de conector do Azure Key Vault e a ação Obter segredo. A saída de Obter segredo deve aparecer no histórico de execuções do fluxo; portanto, proteja o acesso ao histórico de execuções.
  • Respeite as permissões de documento. Ao gravar de volta o texto extraído como metadados do SharePoint, verifique se os metadados indexados herdam as permissões do documento de origem para que os resultados da pesquisa continuem sendo filtrados corretamente de acordo com essas permissões.
  • Planeje para conteúdo sensível. A saída do OCR pode conter dados pessoais, segredos ou outro conteúdo confidencial. Aplique Microsoft Purview rótulos de confidencialidade e políticas de prevenção contra perda de dados a documentos e seus metadados, conforme necessário.
  • Isole a rede. Para cargas de trabalho regulamentadas que exigem isolamento de rede, integre o aplicativo Functions à sua rede virtual e use pontos de extremidade privados para AI Builder e Document Intelligence.
  • Aplique privilégios mínimos aos conectores. No Power Automate, conceda às conexões apenas o escopo mínimo necessário, por exemplo, um único site do SharePoint em vez do locatário inteiro.

Otimização de custos

A Otimização de Custos concentra-se em maneiras de reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, consulte a Lista de verificação para revisão de design para Otimização de Custos.

  • Escolha a camada correta do Document Intelligence. O Document Intelligence cobra por página e oferece níveis gratuito (F0) e padrão (S0). Estime o volume da página usando a calculadora de preços Azure e selecione a camada apropriada antes de ir para a produção.
  • Filtre antes de ligar. Use uma condição Power Automate para ignorar arquivos sem suporte para que você não consuma capacidade em uploads irrelevantes. Se você aceitar PDFs, renderize cada página em um formato de imagem com suporte e envie a mesma imagem de página para AI Builder e Document Intelligence, portanto, ambas as saídas usam o mesmo espaço de coordenada de pixel. Mantenha o número da página do PDF associado a cada imagem antes de comparar com os resultados.
  • Planeje o consumo de crédito do AI Builder. O AI Builder é licenciado com base nos créditos consumidos por execução do modelo. Examine os créditos de licenciamento e AI Builder e adicione capacidade se precisar.
  • Escolha a licença de Power Automate correta. Escolha uma licença de usuário do Power Automate Premium ou do Power Automate Process com base na necessidade de licenciar usuários individuais ou o próprio fluxo.
  • Estimar custos do Azure. Use a estimativa pré-configurada na calculadora de preços Azure para os custos aproximados do serviço Azure para esse cenário. Ajuste os valores para corresponder aos volumes de documento esperados. Essa estimativa abrange apenas os serviços do Azure neste cenário, incluindo a camada S0 do Azure Document Intelligence para processamento de OCR e o plano Consumption do Azure Functions para a lógica de correspondência de coordenadas de pixels. O Power Platform AI Builder e Power Automate componentes e Microsoft 365 SharePoint, OneDrive e Teams são licenciados separadamente e não estão incluídos nesta estimativa.

Excelência operacional

A Excelência Operacional abrange os processos de operações que implantam um aplicativo e o mantêm em execução em produção. Para obter mais informações, consulte Lista de verificação para revisão de projeto da Excelência Operacional.

  • Use soluções do Power Platform para o ALM (gerenciamento do ciclo de vida do aplicativo). Empacote o fluxo, os conectores personalizados e o modelo do AI Builder em uma solução do Power Platform para que você possa promovê-los entre os ambientes de desenvolvimento, teste e produção.
  • Use o controle do código-fonte na função Azure. Armazene a função em GitHub ou Azure DevOps e implante-a por meio de um pipeline de CI/CD (integração contínua e entrega contínua). Para obter mais informações, consulte Implantação contínua para Azure Functions.
  • Monitore cada camada. Configure a instrumentação da Função do Azure com o Application Insights, acompanhe as execuções do fluxo no centro de administração do Power Platform e monitore o uso e a limitação de taxa de Inteligência de Documentos no Azure Monitor.
  • Treine novamente modelos de acordo com uma agenda. Os modelos de detecção de objetos sofrem deriva à medida que os documentos de origem evoluem. Estabeleça uma cadência de retreinamento para o modelo de AI Builder e acompanhe sua precisão ao longo do tempo.
  • Use o controle de versão para o esquema de metadados. Trate as colunas de metadados SharePoint como um contrato. Planeje como atualizá-los sem interromper a ingestão e as experiências de pesquisa existentes.

Eficiência de desempenho

A Eficiência de Desempenho refere-se à capacidade da carga de trabalho de dimensionar para atender às demandas do usuário com eficiência. Para obter mais informações, consulte a Lista de Verificação de Design para Eficiência de Desempenho.

  • Entenda os limites de serviço. Examine as cotas e os limites do serviço Inteligência de Documentos e os limites do AI Builder antes de planejar a taxa de transferência. Solicite aumentos de cota com antecedência se espera um alto volume.
  • Processe documentos em paralelo. Por padrão, o Power Automate inicia simultaneamente execuções separadas de fluxos acionadas por upload. Se você reprojetar o fluxo para processar lotes de documentos, habilite a simultaneidade e limite o grau de paralelismo para permanecer nos limites do AI Builder e da Inteligência de Documentos.
  • Pré-processar imagens para precisão. A entrada de maior qualidade reduz novas execuções. Considere reduzir imagens superdimensionadas, normalizar a orientação e cortar espaço em branco irrelevante antes de enviar imagens para AI Builder e Document Intelligence.
  • Atenuar inícios de frio. Se a latência for importante, use instâncias sempre disponíveis com o Consumo Flexível e adicione instâncias pré-aquecidas com o plano Premium para reduzir os atrasos de inicialização a frio.
  • Considere usar o Logic Apps para altos volumes. Para cenários de alta taxa de transferência, a camada Standard dos Aplicativos Lógicos oferece limites de ação mais altos e um runtime dedicado que pode ser dimensionado melhor do que Power Automate.

Colaboradores

A Microsoft mantém este artigo. Os colaboradores a seguir escreveram este artigo.

Autor principal:

Outro colaborador:

Para ver perfis de LinkedIn não públicos, entre em LinkedIn.

Próximas etapas