Extraia texto de objetos usando o Power Automate e o AI Builder

AI Builder
Inteligência de Documentos do Azure nas Ferramentas do Foundry
Power Automate
Funções do Azure

Este artigo apresenta uma solução para extrair texto de imagens para que possa ser indexado e recuperado no Microsoft 365. Ao usar o AI Builder e o Azure Document Intelligence no Foundry Tools, pode configurar um fluxo de trabalho do Power Automate que utiliza um modelo treinado para extrair texto de imagens. Depois de configurar o fluxo de trabalho, pode pesquisar rapidamente nos documentos texto significativo incorporado em formas e objetos. Por exemplo, pode pesquisar esquemas de engenharia pelo número de peça dentro de um componente específico, ou encontrar cada válvula rotulada num conjunto de diagramas de plantas, sem abrir e digitalizar cada ficheiro manualmente.

Arquitetura

Diagrama de arquitetura para usar o AI Builder para extrair texto de objetos usando IA.

Transfira um ficheiro Visio desta arquitetura.

Workflow

Os seguintes passos do fluxo de trabalho correspondem aos números do diagrama anterior:

  1. Um maker treina um modelo de deteção de objetos no AI Builder para reconhecer objetos específicos.
  2. Um utilizador carrega um documento que contém texto em objetos para uma biblioteca de documentos do SharePoint ou OneDrive, seja diretamente ou através do Microsoft Teams.
  3. O evento de upload desencadeia um fluxo do Power Automate.
  4. O fluxo executa o modelo AI Builder contra o documento carregado para detetar objetos. O AI Builder devolve um ficheiro JSON que contém as coordenadas de píxeis de todos os objetos detetados.
  5. O Power Automate também envia o documento para o Azure Document Intelligence no Foundry Tools para uma varredura completa de reconhecimento ótico de caracteres (OCR). A Inteligência de Documentos devolve um ficheiro JSON que contém o texto extraído e as suas coordenadas de píxeis.
  6. O fluxo chama uma função no serviço Funções do Azure que compara as coordenadas dos píxeis das saídas do AI Builder e do Document Intelligence. Quando objetos detetados intersectam com texto extraído, a função devolve o texto correspondente e a informação do objeto como uma carga útil JSON.
  7. O fluxo escreve o texto e os metadados correspondentes no documento original no Microsoft 365.
  8. O Microsoft Pesquisa indexa os novos metadados do documento para que possam ser descobertos em todo o Microsoft 365.
  9. Os utilizadores podem pesquisar os metadados no SharePoint utilizando as partes web PnP Modern Search.

Componentes

Esta solução utiliza os seguintes componentes da Microsoft Power Platform, Azure e Microsoft 365.

Microsoft Power Platform

  • O AI Builder é uma funcionalidade da Microsoft Power Platform que permite aos criadores adicionar IA a aplicações e fluxos. Este cenário utiliza o AI Builder para treinar e executar um modelo personalizado de deteção de objetos que identifica objetos de interesse nas imagens.
  • Power Automate é um serviço de fluxo de trabalho low-code que automatiza ações entre aplicações e serviços. Neste cenário, o Power Automate orquestra o fluxo desde o gatilho de upload do documento até à escrita dos metadados extraídos de volta às bibliotecas SharePoint.

Azure

  • A Inteligência de Documentos é um serviço de ferramentas Foundry baseado na cloud que utiliza aprendizagem automática para realizar OCR e processamento inteligente de documentos. Neste cenário, faz uma varredura OCR de página inteira em cada documento carregado e devolve texto extraído com coordenadas de píxeis.
  • Funções do Azure é um serviço de computação serverless orientado a eventos. Este cenário utiliza uma função ativada por HTTP para hospedar a lógica geométrica que compara as coordenadas dos píxeis devolvidas pelo AI Builder e pelo Document Intelligence, e devolve o texto intersectado. O Power Automate chama a função via HTTP e usa a resposta, pelo que um gatilho HTTP é apropriado.

Microsoft 365

  • SharePoint, OneDrive e Teams no Microsoft 365 são as fontes de upload que desencadeiam o fluxo do Power Automate, e também os alvos de armazenamento onde o fluxo escreve os metadados extraídos.
  • O Microsoft Pesquisa indexa os metadados do texto extraído para que se tornem descobríveis em todo o Microsoft 365.
  • O PnP Modern Search é um conjunto de partes web open source do SharePoint que pode usar para construir experiências de pesquisa flexíveis e personalizadas utilizando o índice do Microsoft Pesquisa.

Alternativas

  • Use o Azure Content Understanding para entradas não estruturadas ou multimodais. A Inteligência de Documentos faz parte do Azure Content Understanding na Foundry Tools, que adiciona analisadores baseados em LLM para conteúdos não estruturados e multimodais. Se as suas entradas incluem conteúdo não estruturado como imagens, áudio ou vídeo em formato livre, além de documentos estruturados, ou se quiser raciocinar sobre o conteúdo em vez de apenas transcrever, considere usar ferramentas de Compreensão de Conteúdo. Por exemplo, pode ser necessário resumir as notas de revisão de um desenho de engenharia, classificar um diagrama por tipo de equipamento ou responder a perguntas que exijam interpretar o conteúdo, não apenas ler o texto. Para mais informações, consulte Escolha as Ferramentas Foundry certas para processamento de documentos.
  • Utilize apenas o Document Intelligence. Se não precisares de atribuir resultados OCR a objetos específicos numa imagem, podes saltar o AI Builder e a aplicação de funções de comparação de geometria, e usar o Azure Document Intelligence para executar OCR em todo o documento. Depois, o Power Automate armazena o texto resultante como metadados no Microsoft 365.
  • Utilize o OCR incorporado do SharePoint. O SharePoint no Microsoft 365 pode fazer OCR em imagens e PDFs e adicionar o texto extraído ao índice de pesquisa. Esta opção não requer um fluxo personalizado, mas também não expõe o mapeamento estruturado de objetos e coordenadas que a solução atual fornece.
  • Use o Azure Logic Apps para processamento de alto volume. Se quiser processar documentos a uma taxa elevada ou evitar a limitação por fluxo do Power Automate, substitua o Power Automate pelo Logic Apps, que oferece níveis de workflow dedicados e limites de ação mais elevados. Para mais informações, consulte Limites e configuração de Logic Apps.

Detalhes do cenário

Diagramas esquemáticos e industriais frequentemente contêm objetos que incluem texto. Por exemplo, um plano de edifício pode indicar divisões individuais, circuitos elétricos e equipamentos HVAC, ou um esquema de engenharia pode mostrar um número de peça dentro de cada componente. Digitalizar manualmente estes documentos à procura de texto relevante é trabalhoso e demorado. Esta solução combina um modelo personalizado de deteção de objetos com OCR para que possas procurar texto embutido pelo objeto onde aparece, e não apenas pelo documento em que está.

Potenciais casos de utilização

  • Esquemas de engenharia. Esquemas complexos contêm muitos tipos de objetos, como componentes, callouts e blocos de revisão. Use esta solução para encontrar rapidamente componentes específicos num esquema. O texto incorporado pesquisável é útil para conduzir investigações, identificar faltas de peças e encontrar avisos de recolha e de falha.
  • Diagramas industriais. Diagramas que descrevem uma montagem de fabrico frequentemente identificam bombas, válvulas, interruptores automáticos e outros componentes. Indexar o texto dentro desses objetos apoia a manutenção preventiva, o isolamento de componentes perigosos e a visibilidade da gestão de riscos.
  • Desenhos arquitetónicos e de instalações. Plantas de piso, plantas elétricas e desenhos de AVAC identificam salas, circuitos e equipamentos. Indexar essas etiquetas facilita localizar ativos específicos num grande conjunto de desenhos.

Considerações

Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios orientadores que você pode usar para melhorar a qualidade de uma carga de trabalho. Para obter mais informações, consulte Well-Architected Framework.

Reliability

A confiabilidade ajuda a garantir que seu aplicativo possa cumprir os compromissos que você assume com seus clientes. Para obter mais informações, consulte Lista de verificação de revisão de design para confiabilidade.

  • Planeie para falhas transitórias. O Document Intelligence retorna erros HTTP 429 quando os limites de pedidos simultâneos são excedidos. O fluxo do Power Automate chama diretamente o Document Intelligence, por isso, configure as retentativas com intervalo exponencial entre tentativas nessa ação do fluxo.
  • Faz com que o fluxo seja idempotente. Os gatilhos do SharePoint e do OneDrive podem reproduzir eventos. Conceba o fluxo do Power Automate e as escritas subsequentes de metadados de forma segura para o caso de um documento ser processado mais do que uma vez. Por exemplo, metadados de upsert associados ao ID do documento.
  • Processa digitalizações OCR demoradas. O OCR de documentos grandes e de várias páginas pode demorar muito tempo, e a Inteligência de Documentos processa as operações como assíncronas. Desenhe o fluxo do Power Automate que chame a Inteligência de Documentos para submeter o documento e consultar o resultado, em vez de esperar uma resposta imediata. Incorpore a gestão de timeout para que uma análise lenta não faça falhar uma execução.
  • Compreenda o acordo de nível de serviço (SLA) para cada serviço. Revise os SLAs e as características de recuperação do Document Intelligence, Functions e Power Automate para garantir que os seus objetivos de fiabilidade são alcançáveis.

Segurança

A segurança oferece garantias contra ataques deliberados e o abuso de seus valiosos dados e sistemas. Para obter mais informações, consulte Lista de verificação para revisão de design de segurança.

  • Use identidade gerida, não chaves. Configure a função Azure para autenticar no AI Builder e no Document Intelligence usando o Microsoft Entra ID com uma identidade gerida atribuída pelo sistema ou pelo utilizador. Esta abordagem elimina a necessidade de armazenar chaves de serviço.
  • Guarde quaisquer segredos restantes no Azure Key Vault. Se tiver de usar chaves, por exemplo num conector Power Automate, armazene as chaves no Key Vault e recupere-as em tempo de execução usando o conector Azure Key Vault. Configurar o conector requer criar uma ligação com um tipo de autenticação Microsoft Entra suportado. Para as opções de ligação, consulte a referência do conector do Azure Key Vault e a ação Obter segredo. A saída de `get-secret` pode aparecer no histórico de execuções do fluxo, por isso certifique-se de proteger o acesso a esse histórico.
  • Respeite as permissões dos documentos. Ao escrever novamente o texto extraído como metadados do SharePoint, certifique-se de que os metadados indexados herdam as permissões do documento de origem, para que os resultados da pesquisa permaneçam corretamente filtrados.
  • Planeie conteúdos sensíveis. A saída OCR pode conter dados pessoais, segredos ou outro conteúdo sensível. Aplique os rótulos de sensibilidade da Microsoft Purview e as políticas de prevenção de perda de dados aos documentos e aos seus metadados, conforme necessário.
  • Isolar a rede. Para cargas de trabalho reguladas que requerem isolamento de rede, integre a aplicação do Functions na sua rede virtual e utilize endpoints privados para o AI Builder e o Document Intelligence.
  • Aplicar o privilégio mínimo aos conectores. No Power Automate, conceda às ligações o âmbito mínimo de que necessitam, por exemplo, um único site do SharePoint em vez de todo o tenant.

Otimização de Custos

A Otimização de Custos concentra-se em formas de reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, consulte Lista de verificação de revisão de projeto para Otimização de custos.

  • Escolha o escalão certo do Document Intelligence. A Document Intelligence fatura por página e oferece níveis gratuitos (F0) e padrão (S0). Estime o volume de páginas usando a calculadora de preços do Azure e selecione o nível apropriado antes de passar para produção.
  • Filtra antes de ligar. Use uma condição do Power Automate para saltar ficheiros não suportados e assim não consome capacidade em uploads irrelevantes. Se aceitar PDFs, renderize cada página para um formato de imagem suportado e envie a mesma imagem para o AI Builder e o Document Intelligence, para que ambas as saídas usem o mesmo espaço de coordenadas pixelizadas. Mantenha o número da página do PDF associado a cada imagem antes de fazer a correspondência dos resultados.
  • Planeie o consumo de créditos do AI Builder. O AI Builder é licenciado com base nos créditos que consome por execução do modelo. Revise Licenciamento e créditos do AI Builder e adicione capacidade, se necessário.
  • Escolha a licença Power Automate adequada. Escolha uma licença Power Automate Premium User ou Power Automate Process, consoante se precisa de licenciar utilizadores individuais ou o próprio fluxo.
  • Estima os custos do Azure. Use a estimativa pré-configurada na calculadora de preços do Azure para os custos aproximados dos serviços do Azure neste cenário. Ajusta os valores para corresponder aos volumes de documentos que esperas. Esta estimativa cobre apenas os serviços Azure neste cenário, incluindo o nível S0 do Azure Document Intelligence para processamento OCR e o plano de consumo do Funções do Azure para lógica de correspondência de coordenadas de píxeis. Power Platform AI Builder e Power Automate componentes e Microsoft 365 SharePoint, OneDrive e Teams estão licenciados separadamente e não estão incluídos nesta estimativa.

Excelência Operacional

A Excelência Operacional abrange os processos operacionais que implantam um aplicativo e o mantêm em execução na produção. Para obter mais informações, consulte Lista de verificação de revisão de design para excelência operacional.

  • Utilize soluções Power Platform para a gestão do ciclo de vida da aplicação (ALM). Empacota o fluxo, conectores personalizados e o modelo AI Builder numa solução Power Platform para que possas promovê-los entre ambientes de desenvolvimento, teste e produção.
  • Utilize o controlo de código-fonte na função do Azure. Armazene a função no GitHub ou Azure DevOps e implemente-a através de um pipeline de integração contínua e entrega contínua (CI/CD). Para mais informações, consulte Implementação contínua para Funções do Azure.
  • Monitoriza todas as camadas. Instrumente a função Azure com Application Insights, observe as execuções de fluxo no centro de administração do Power Platform e monitorize o uso e limitação do Document Intelligence no Azure Monitor.
  • Treinar novamente os modelos de forma programada. Os modelos de deteção de objetos sofrem degradação à medida que os documentos de origem evoluem. Estabeleça uma cadência de retreino para o modelo AI Builder e acompanhe a sua precisão ao longo do tempo.
  • Utilize o controlo de versões no esquema de metadados. Trate as colunas de metadados do SharePoint como um contrato. Planeie como os atualizar sem interromper a ingestão e as experiências de pesquisa existentes.

Eficiência de desempenho

A Eficiência de Desempenho refere-se à capacidade da sua carga de trabalho de escalar para atender às demandas dos usuários de forma eficiente. Para obter mais informações, consulte Lista de verificação de revisão de projeto para eficiência de desempenho.

  • Compreenda os limites de serviço. Revise as quotas e limites do serviço de Inteligência Documental e os limites do AI Builder antes de planear o rendimento. Solicite aumentos de quota cedo se esperar um volume elevado.
  • Processar documentos em paralelo. O Power Automate inicia, por predefinição, execuções separadas do fluxo acionadas pelo carregamento em simultâneo. Se redesenhares o fluxo para processar lotes de documentos, ativa a concorrência e limita o grau de paralelismo para te manteres dentro dos limites do AI Builder e do Document Intelligence.
  • Pré-processar imagens para maior precisão. Input de maior qualidade reduz repetições. Considere reduzir a amostragem de imagens em tamanho excessivo, normalizar a orientação e recortar espaços em branco irrelevantes antes de enviar imagens para o AI Builder e o Document Intelligence.
  • Mitigar os arranques a frio. Se a latência for importante, utilize instâncias sempre prontas com Flex Consumption e adicione instâncias pré-aquecidas com o plano Premium para reduzir os atrasos de arranque a frio.
  • Considere Logic Apps para volumes elevados. Para cenários de alto rendimento, o nível Standard do Logic Apps oferece limites de ação mais elevados e um tempo de execução dedicado que pode escalar melhor do que o Power Automate.

Contribuidores

A Microsoft mantém este artigo. Os seguintes colaboradores escreveram este artigo.

Autor principal:

Outros contribuidores:

Para ver perfis não públicos do LinkedIn, faça login no LinkedIn.

Próximos passos