Extracción de texto de objetos mediante Power Automate y AI Builder

AI Builder

Inteligencia de documentos de Azure AI

Power Automate

Funciones de Azure

En este artículo se presenta una solución para extraer texto de imágenes para que se pueda indexar y recuperar en Microsoft 365. Mediante AI Builder y Azure Document Intelligence en Foundry Tools, puede configurar un flujo de trabajo de Power Automate que utiliza un modelo previamente entrenado para extraer texto de imágenes. Después de configurar el flujo de trabajo, puede buscar rápidamente documentos para obtener texto significativo incrustado en formas y objetos. Por ejemplo, puede buscar esquemas de ingeniería para el número de pieza dentro de un componente específico, o encontrar cada válvula etiquetada en un conjunto de diagramas de plantas, sin abrir y examinar cada archivo a mano.

Arquitectura

Descargue un archivo Visio de esta arquitectura.

Flujo de trabajo

Los siguientes pasos de flujo de trabajo corresponden a los números del diagrama anterior:

Un creador entrena un modelo de detección de objetos en AI Builder para reconocer objetos específicos.
Un usuario carga un documento que contiene texto en objetos en un SharePoint o OneDrive biblioteca de documentos, ya sea directamente o a través de Microsoft Teams.
El evento de carga desencadena un flujo de Power Automate.
El flujo ejecuta el modelo de AI Builder en el documento cargado para detectar objetos. AI Builder devuelve un archivo JSON que contiene las coordenadas de píxel de todos los objetos detectados.
Power Automate también envía el documento a Azure Document Intelligence in Foundry Tools para un examen completo de reconocimiento óptico de caracteres (OCR). Document Intelligence devuelve un archivo JSON que contiene el texto extraído y sus coordenadas de píxel.
El flujo llama a una función de Azure Functions que compara las coordenadas de píxeles de las salidas de AI Builder y Document Intelligence. Cuando los objetos detectados se intersecan con texto extraído, la función devuelve la información de texto y objeto coincidente como una carga JSON.
El flujo escribe el texto coincidente y los metadatos en el documento original en Microsoft 365.
Búsqueda de Microsoft indexa los nuevos metadatos del documento para que se pueda detectar en Microsoft 365.
Los usuarios pueden buscar los metadatos en SharePoint mediante elementos web de búsqueda moderna de PnP.

Componentes

Esta solución usa los siguientes componentes de Microsoft Power Platform, Azure y Microsoft 365.

Microsoft Power Platform

AI Builder es una funcionalidad de Microsoft Power Platform que permite a los creadores agregar inteligencia artificial a aplicaciones y flujos. En este escenario se usa AI Builder para entrenar y ejecutar un modelo de detección de objetos personalizado que identifica los objetos de interés en las imágenes.
Power Automate es un servicio de flujo de trabajo de poco código que automatiza las acciones entre aplicaciones y servicios. En este escenario, Power Automate coordina el flujo desde el desencadenador de carga de documentos hasta el almacenamiento de los metadatos extraídos en las bibliotecas de SharePoint.

Azur

Document Intelligence es un servicio foundry Tools basado en la nube que usa el aprendizaje automático para realizar OCR y procesamiento inteligente de documentos. En este escenario, realiza un examen de OCR de página completa en cada documento cargado y devuelve texto extraído con coordenadas de píxel.
Azure Functions es un servicio de proceso sin servidor controlado por eventos. Este escenario utiliza una función desencadenada por HTTP para hospedar la lógica geométrica que compara las coordenadas de píxeles devueltas por AI Builder y Document Intelligence, y devuelve el texto que se cruza. Power Automate llama a la función a través de HTTP y usa la respuesta, por lo que un desencadenador HTTP es adecuado.

Microsoft 365

SharePoint, OneDrive y Teams en Microsoft 365 son los orígenes de carga que desencadenan el flujo de Power Automate y también son los destinos de almacenamiento en los que el flujo escribe los metadatos extraídos.
Búsqueda de Microsoft indexa los metadatos de texto extraído para que se pueda detectar en Microsoft 365.
La búsqueda moderna de PnP es un conjunto de elementos web de código abierto SharePoint que puede usar para crear experiencias de búsqueda flexibles y personalizadas mediante el índice Búsqueda de Microsoft.

Alternativas

Use Azure Content Understanding para entradas no estructuradas o multimodales. La inteligencia de documentos forma parte de Azure Content Understanding in Foundry Tools, que agrega analizadores con tecnología LLM para contenido no estructurado y bidireccional. Si las entradas incluyen contenido no estructurado, como imágenes de forma libre, audio o vídeo además de documentos estructurados, o necesita razonar sobre el contenido en lugar de transcribirlo, considere la posibilidad de usar herramientas de Content Understanding. Por ejemplo, es posible que tenga que resumir las notas de revisión en un dibujo de ingeniería, clasificar un diagrama por tipo de equipo o responder preguntas que requieran interpretar el contenido, no solo leer el texto. Para obtener más información, vea Elegir las herramientas de Foundry adecuadas para el procesamiento de documentos.
Utilice Document Intelligence por sí solo. Si no necesita restringir los resultados de OCR a objetos específicos de una imagen, puede omitir AI Builder y la aplicación de funciones de comparación geométrica, y usar Azure Document Intelligence para ejecutar OCR en todo el documento. A continuación, haga que Power Automate almacene el texto resultante como metadatos en Microsoft 365.
Use el OCR integrado de SharePoint. SharePoint en Microsoft 365 puede realizar OCR en imágenes y ARCHIVOS PDF y agregar el texto extraído al índice de búsqueda. Esta opción no requiere un flujo personalizado, pero tampoco expone el objeto estructurado y la asignación de coordenadas que proporciona la solución actual.
Use Azure Logic Apps para el procesamiento de gran volumen. Si desea procesar documentos a un ritmo elevado o evitar la limitación por flujo de Power Automate, sustituya Power Automate por Logic Apps, que ofrece niveles dedicados de flujo de trabajo y límites de acciones más altos. Para más información, consulte Límites y configuración de Logic Apps.

Detalles del escenario

Los diagramas esquematéticos e industriales suelen contener objetos que incluyen texto. Por ejemplo, un plan de construcción podría etiquetar salas individuales, circuitos eléctricos y equipos HVAC, o un esquema de ingeniería podría mostrar un número de pieza dentro de cada componente. El examen manual de estos documentos para el texto relevante es laborioso y lento. Esta solución combina un modelo de detección de objetos personalizado con OCR para que pueda buscar texto incrustado por el objeto en el que aparece, no solo por el documento en el que se encuentra.

Posibles casos de uso

Esquemas de ingeniería. Los esquemas complejos contienen muchos tipos de objetos, como componentes, llamadas y bloques de revisión. Use esta solución para buscar rápidamente componentes específicos en un esquema. El texto insertado que se puede buscar es útil para realizar investigaciones, identificar la escasez de partes y encontrar avisos de recuperación y error.
Diagramas industriales. Diagramas que describen un ensamblado de fabricación a menudo etiquetan bombas, válvulas, conmutadores automatizados y otros componentes. La indexación del texto dentro de esos objetos admite el mantenimiento preventivo, el aislamiento de los componentes peligrosos y la visibilidad de la administración de riesgos.
Dibujos arquitectónicos e instalaciones. Los planos de planta, los planos eléctricos y los planos de climatización etiquetan estancias, circuitos y equipos. La indexación de esas etiquetas facilita la localización de recursos específicos en un conjunto de dibujos grande.

Considerations

Estas consideraciones implementan los pilares del Azure Well-Architected Framework, que es un conjunto de principios rectores que puede utilizar para mejorar la calidad de una carga de trabajo. Para obtener más información, consulte Well-Architected Framework.

Reliability

La confiabilidad ayuda a garantizar que la aplicación pueda cumplir los compromisos que realice para sus clientes. Para obtener más información, vea Lista de verificación para la revisión del diseño en términos de confiabilidad.

Prevea los fallos transitorios. Document Intelligence devuelve errores HTTP 429 cuando se superan los límites de solicitudes simultáneas. El flujo de Power Automate llama directamente a Document Intelligence, por lo que debe configurar los reintentos con retroceso exponencial en esa acción del flujo.
Haga que el flujo sea idempotente. SharePoint y desencadenadores de OneDrive pueden reproducir eventos. Diseñe el flujo de Power Automate y las escrituras posteriores de metadatos de modo que sean seguras si un documento se procesa más de una vez. Por ejemplo, inserta o actualiza metadatos asociados al ID del documento.
Gestione escaneos OCR de larga duración. El OCR de los documentos grandes y de varias páginas puede tardar mucho tiempo, y Document Intelligence procesa estas operaciones de forma asincrónica. Diseñe el flujo de Power Automate que llama a Document Intelligence para enviar el documento y sondear el resultado, en lugar de esperar una respuesta inmediata. Incorpore la gestión de tiempos de espera para que un análisis lento no haga fallar una ejecución.
Comprenda el acuerdo de nivel de servicio (SLA) para cada servicio. Revise los SLAs y las características de recuperación de Document Intelligence, Functions y Power Automate para garantizar que sus objetivos de confiabilidad puedan alcanzarse.

Seguridad

La seguridad proporciona garantías contra ataques deliberados y el abuso de sus valiosos datos y sistemas. Para obtener más información, vea Lista de comprobación para la revisión de diseño de seguridad.

Use la identidad administrada, no las claves. Configure la función Azure para autenticarse en AI Builder e Inteligencia de documentos mediante Microsoft Entra ID con una identidad administrada asignada por el sistema o asignada por el usuario. Este enfoque elimina la necesidad de almacenar claves de servicio.
Almacene los secretos restantes en Azure Key Vault. Si debe usar claves, por ejemplo, en un conector de Power Automate, almacene las claves en Key Vault y recuperelas en tiempo de ejecución mediante el conector Azure Key Vault. La configuración del conector requiere la creación de una conexión con un tipo de autenticación Microsoft Entra compatible. Para las opciones de conexión, consulte la referencia del conector de Azure Key Vault y la acción Obtener secreto. La salida de Obtener secreto puede aparecer en el historial de ejecuciones del flujo, así que asegúrese de proteger el acceso a dicho historial.
Respete los permisos del documento. Al escribir de nuevo el texto extraído como metadatos de SharePoint, asegúrese de que los metadatos indexados hereden los permisos del documento de origen para que los resultados de búsqueda se sigan limitando correctamente según los permisos.
Plan para contenido sensible. La salida de OCR puede contener datos personales, secretos u otro contenido confidencial. Aplique Microsoft Purview etiquetas de confidencialidad y directivas de prevención de pérdida de datos a los documentos y sus metadatos según sea necesario.
Aísle la red. Para cargas de trabajo reguladas que requieren aislamiento de red, integre la aplicación Functions en la red virtual y use puntos de conexión privados para AI Builder e Inteligencia de documentos.
Aplique privilegios mínimos a los conectores. En Power Automate, conceda a las conexiones el ámbito mínimo que necesiten; por ejemplo, un único sitio de SharePoint en lugar de todo el inquilino.

Optimización de costos

La optimización de costos se centra en formas de reducir los gastos innecesarios y mejorar las eficiencias operativas. Para obtener más información, consulte Lista de comprobación de revisión de diseño para la optimización de costes.

Elija el nivel de Inteligencia de documentos adecuado. Document Intelligence factura por página y ofrece niveles gratis (F0) y estándar (S0). Calcule el volumen de la página mediante la calculadora de precios de Azure y seleccione el nivel adecuado antes de ir a producción.
Filtre antes de llamar. Use una condición de Power Automate para omitir los archivos no admitidos para que no consuma capacidad en cargas irrelevantes. Si acepta archivos PDF, represente cada página en un formato de imagen compatible y envíe la misma imagen de página a AI Builder e Inteligencia de documentos, por lo que ambas salidas usan el mismo espacio de coordenadas de píxeles. Conserve el número de página PDF con cada imagen antes de hacer coincidir los resultados.
Planifique el consumo de créditos de AI Builder. AI Builder se licencia mediante créditos que consume por cada ejecución del modelo. Consulte las licencias y los créditos de AI Builder y agregue más capacidad si la necesita.
Elija la licencia Power Automate adecuada. Elija un usuario premium de Power Automate o una licencia de proceso de Power Automate en función de si necesita conceder licencias a usuarios individuales o al propio flujo.
Calcule los costos Azure. Use la estimación preconfigurada en la calculadora de precios de Azure para consultar los costes aproximados de los servicios de Azure para este escenario. Ajuste los valores para que coincidan con los volúmenes de documentos esperados. Esta estimación solo cubre los servicios de Azure de este escenario, incluido el nivel S0 de Azure Document Intelligence para el procesamiento con OCR y el plan de consumo de Azure Functions para la lógica de coincidencia de coordenadas de píxeles. Power Platform AI Builder y componentes de Power Automate y Microsoft 365 SharePoint, OneDrive y Teams tienen licencia por separado y no se incluyen en esta estimación.

Excelencia operativa

La excelencia operativa abarca los procesos de las operaciones que implementan una aplicación y la mantienen en ejecución en producción. Para obtener más información, consulte la Lista de comprobación de revisión de diseño para la excelencia operativa.

Use soluciones de Power Platform para la administración del ciclo de vida de las aplicaciones (ALM). Empaquete el flujo, los conectores personalizados y el modelo AI Builder en una solución de Power Platform para que pueda promoverlos entre entornos de desarrollo, prueba y producción.
Use el control de código fuente en la función Azure. Almacene la función en GitHub o Azure DevOps e impleméntela a través de una canalización de integración continua y entrega continua (CI/CD). Para obtener más información, consulte implementación continua para Azure Functions.
Supervise cada capa. Instrumente la función de Azure con Application Insights, supervise las ejecuciones del flujo en el Centro de administración de Power Platform y supervise el uso y la limitación de Document Intelligence en Azure Monitor.
Reentrenar modelos de forma programada. Los modelos de detección de objetos se desfasan a medida que evolucionan los documentos de origen. Establezca una cadencia de reentrenamiento para el modelo de AI Builder y realice un seguimiento de su precisión a lo largo del tiempo.
Use el control de versiones para el esquema de metadatos. Trate las columnas de metadatos SharePoint como un contrato. Planee cómo actualizarlos sin interrumpir la ingesta y las experiencias de búsqueda existentes.

Eficiencia en el rendimiento

La eficiencia del rendimiento hace referencia a la capacidad de escalado de la carga de trabajo para satisfacer las demandas de los usuarios de forma eficaz. Para obtener más información, consulte Lista de comprobación de revisión de diseño para la eficiencia del rendimiento.

Comprenda los límites del servicio. Revise las cuotas y límites del servicio Document Intelligence y los límites de AI Builder antes de planear el rendimiento. Solicite aumentos de cuota con antelación si prevé un volumen elevado.
Procesar documentos en paralelo. Power Automate inicia de forma predeterminada, y de forma simultánea, ejecuciones de flujos independientes activadas por una carga. Si rediseña el flujo para procesar lotes de documentos, habilite la simultaneidad y limite el grado de paralelismo para que permanezca dentro de los límites de AI Builder e Inteligencia de documentos.
Preprocesar imágenes para obtener precisión. La entrada de mayor calidad reduce las repeticiones. Considere la posibilidad de reducir el muestreo de imágenes superdimensionadas, normalizar la orientación y recortar espacios en blanco irrelevantes antes de enviar imágenes a AI Builder e Inteligencia de documentos.
Mitiga los arranques en frío. Si la latencia es importante, use instancias siempre preparadas con Flex Consumption y añada instancias preinicializadas con el plan Premium para reducir los retrasos debidos al arranque en frío.
Considere Logic Apps para grandes volúmenes. Para escenarios de alto rendimiento, el nivel Estándar de Logic Apps ofrece límites de acción más altos y un entorno de ejecución dedicado que podría escalar mejor que Power Automate.

Colaboradores

Microsoft mantiene este artículo. Los siguientes colaboradores escribieron este artículo.

Autor principal:

Steve Pucelik | Sr. Product Manager

Otro colaborador:

Lohith G N | Senior CSA, Plataforma de nube e IA

Para ver los perfiles no públicos de LinkedIn, inicie sesión en LinkedIn.

Pasos siguientes

Comentarios

¿Le ha resultado útil esta página?