Extraire du texte d’objets à l’aide de Power Automate et d’AI Builder

AI Builder
Azure Document Intelligence dans Foundry Tools.
Power Automate
Azure Functions

Cet article présente une solution permettant d’extraire du texte à partir d’images afin qu’il puisse être indexé et récupéré dans Microsoft 365. En utilisant AI Builder et Azure Document Intelligence dans Foundry Tools, vous pouvez configurer un flux de travail Power Automate qui utilise un modèle entraîné pour extraire du texte d’images. Après avoir configuré le flux de travail, vous pouvez rapidement rechercher du texte explicite incorporé dans des formes et des objets. Par exemple, vous pouvez rechercher des schémas d’ingénierie pour le numéro de partie à l’intérieur d’un composant spécifique, ou rechercher chaque vanne étiquetée dans un ensemble de diagrammes d’usine, sans ouvrir et analyser chaque fichier manuellement.

Architecture

Diagramme d’architecture pour l’utilisation de AI Builder pour extraire du texte à partir d’objets à l’aide de l’IA.

Téléchargez un fichier Visio de cette architecture.

Flux de travail

Les étapes de flux de travail suivantes correspondent aux nombres du diagramme précédent :

  1. Un créateur effectue l’apprentissage d’un modèle de détection d’objets dans AI Builder pour reconnaître des objets spécifiques.
  2. Un utilisateur charge un document contenant du texte dans des objets dans une bibliothèque de documents SharePoint ou OneDrive, directement ou via Microsoft Teams.
  3. L’événement de téléversement déclenche un flux Power Automate.
  4. Le flux exécute le modèle AI Builder sur le document chargé pour détecter les objets. AI Builder retourne un fichier JSON qui contient les coordonnées de pixels de tous les objets détectés.
  5. Power Automate envoie également le document à Azure Document Intelligence dans Foundry Tools pour une analyse de reconnaissance optique complète des caractères (OCR). Document Intelligence retourne un fichier JSON qui contient le texte extrait et ses coordonnées de pixels.
  6. Le flux appelle une fonction dans Azure Functions qui compare les coordonnées de pixels des sorties AI Builder et Document Intelligence. Lorsque des objets détectés se croisent avec du texte extrait, la fonction retourne le texte et les informations d’objet correspondants sous la forme d’une charge utile JSON.
  7. Le flux écrit le texte et les métadonnées correspondants dans le document d’origine dans Microsoft 365.
  8. Recherche Microsoft indexe les nouvelles métadonnées du document afin qu'elles soient détectables dans Microsoft 365.
  9. Les utilisateurs peuvent rechercher les métadonnées dans SharePoint à l’aide des composants WebPart de recherche moderne PnP.

Composants

Cette solution utilise les composants suivants de Microsoft Power Platform, de Azure et de Microsoft 365.

Plateforme Microsoft Power

  • AI Builder est une fonctionnalité de Microsoft Power Platform qui permet aux créateurs d’ajouter l’IA aux applications et aux flux. Ce scénario utilise AI Builder pour entraîner et exécuter un modèle de détection d’objet personnalisé qui identifie les objets intéressants dans les images.
  • Power Automate est un service de flux de travail à faible code qui automatise les actions entre les applications et les services. Dans ce scénario, Power Automate orchestre le flux, depuis le déclencheur de téléversement du document jusqu’à la réécriture des métadonnées extraites dans les bibliothèques SharePoint.

Azure

  • Document Intelligence est un service Foundry Tools basé sur le cloud qui utilise le Machine Learning pour effectuer un traitement ocr et intelligent des documents. Dans ce scénario, il effectue une analyse OCR de page complète sur chaque document chargé et retourne du texte extrait avec des coordonnées de pixels.
  • Azure Functions est un service de calcul serverless piloté par les événements. Ce scénario utilise une fonction déclenchée par HTTP pour héberger une logique géométrique qui compare les coordonnées de pixel retournées par AI Builder et Document Intelligence, et retourne le texte croisé. Power Automate appelle la fonction sur HTTP et utilise la réponse. Par conséquent, un déclencheur HTTP est approprié.

Microsoft 365

  • SharePoint, OneDrive et Teams dans Microsoft 365 sont les sources de chargement qui déclenchent le flux de Power Automate, et sont également les cibles de stockage où le flux écrit les métadonnées extraites.
  • Recherche Microsoft indexe les métadonnées de texte extraites afin qu’elles deviennent détectables dans Microsoft 365.
  • PnP Modern Search est un ensemble de composants WebPart open source SharePoint que vous pouvez utiliser pour créer des expériences de recherche flexibles et personnalisées à l’aide de l’index Recherche Microsoft.

Autres solutions

  • Utilisez Azure Content Understanding pour les entrées non structurées ou modales. Document Intelligence fait partie de Azure Content Understanding au sein de Foundry Tools, qui ajoute des analyseurs basés sur des LLM pour le contenu non structuré et multimodal. Si vos entrées incluent du contenu non structuré comme des images de forme libre, audio ou vidéo en plus des documents structurés, ou si vous devez raisonner sur le contenu plutôt que de le transcrire, envisagez d’utiliser les outils Content Understanding. Par exemple, vous devrez peut-être résumer les notes de révision sur un dessin d’ingénierie, classifier un diagramme par type d’équipement ou répondre à des questions qui nécessitent l’interprétation du contenu, et non pas seulement lire le texte. Pour plus d’informations, consultez Choisir les bons outils Foundry pour le traitement des documents.
  • Utilisez Document Intelligence seul. Si vous n'avez pas besoin d'étendre les résultats OCR à des objets spécifiques dans une image, vous pouvez ignorer AI Builder et l'application de fonction de comparaison géométrique, et utiliser Azure Document Intelligence pour exécuter OCR sur l'ensemble du document. Ensuite, demandez à Power Automate de stocker le texte obtenu sous forme de métadonnées dans Microsoft 365.
  • Utilisez l’ocr intégré SharePoint. SharePoint dans Microsoft 365 peut effectuer la reconnaissance optique de caractères (OCR) sur des images et des PDF, puis ajouter le texte extrait à l’index de recherche. Cette option ne nécessite pas de flux personnalisé, mais n’expose pas également l’objet structuré et le mappage de coordonnées fourni par la solution actuelle.
  • Utilisez Azure Logic Apps pour le traitement en volume élevé. Si vous souhaitez traiter des documents à un débit élevé ou éviter Power Automate limitation par flux, remplacez Power Automate par Logic Apps, qui offre des niveaux de flux de travail dédiés et des limites d’action plus élevées. Pour plus d’informations, consultez les limites et la configuration de Logic Apps.

Détails du scénario

Les diagrammes schématiques et industriels contiennent souvent des objets qui incluent du texte. Par exemple, un plan de construction peut étiqueter des pièces individuelles, des circuits électriques et des équipements HVAC, ou un schéma d’ingénierie peut afficher un numéro de partie à l’intérieur de chaque composant. L’analyse manuelle de ces documents pour le texte pertinent est laborieux et fastidieux. Cette solution combine un modèle de détection d’objet personnalisé avec OCR afin que vous puissiez rechercher du texte incorporé par l’objet dans lequel il apparaît, pas seulement par le document dans lequel il se trouve.

Cas d’usage potentiels

  • Schémas d’ingénierie. Les schémas complexes contiennent de nombreux types d’objets, tels que les composants, les légendes et les blocs de révision. Utilisez cette solution pour rechercher rapidement des composants spécifiques dans un schéma. Le texte intégré interrogeable est utile pour mener des enquêtes, identifier les pénuries de pièces et trouver des avis de rappel et de défaillance.
  • Diagrammes industriels. Diagrammes qui décrivent un assembly de fabrication étiquetent souvent des pompes, des vannes, des commutateurs automatisés et d’autres composants. L’indexation du texte à l’intérieur de ces objets prend en charge la maintenance préventive, l’isolation des composants dangereux et la visibilité de la gestion des risques.
  • Dessins architecturaux et d’installations. Les plans d’étage, les plans électriques et les dessins HVAC étiquetent les salles, les circuits et l’équipement. L’indexation de ces étiquettes facilite la localisation de ressources spécifiques dans un jeu de dessins volumineux.

Considerations

Ces considérations implémentent les piliers d’Azure Well-Architected Framework, un ensemble de principes directeurs que vous pouvez utiliser pour améliorer la qualité d’une charge de travail. Pour plus d’informations, consultez Well-Architected Framework.

Reliability

La fiabilité permet de s’assurer que votre application peut respecter les engagements que vous prenez à vos clients. Pour plus d'informations, veuillez consulter la liste de vérification de la conception pour la fiabilité.

  • Planifiez les échecs temporaires. Document Intelligence retourne des erreurs HTTP 429 lorsque les limites de requête simultanée sont dépassées. Le flux Power Automate appelle directement Document Intelligence, configurez donc les nouvelles tentatives avec un backoff exponentiel pour cette action dans le flux.
  • Rendez le flux idempotent. Les déclencheurs SharePoint et OneDrive peuvent rejouer des événements. Concevez le flux Power Automate et les écritures de métadonnées en aval pour qu’elles soient sécurisées lorsqu’un document est traité plusieurs fois. Par exemple, effectuez un upsert de métadonnées indexées sur l’ID du document.
  • Gérez les analyses OCR de longue durée. L’OCR de documents volumineux et multipage peut prendre beaucoup de temps et Document Intelligence traite les opérations de façon asynchrone. Concevez le flux Power Automate qui appelle Document Intelligence pour envoyer le document et interroger le résultat, plutôt que d’attendre une réponse immédiate. Intégrez la gestion des délais d’expiration afin qu’une analyse lente n’entraîne pas l’échec d’une exécution.
  • Comprendre le contrat de niveau de service (SLA) pour chaque service. Examinez les accords de niveau de service et les caractéristiques de récupération de Document Intelligence, Functions et Power Automate afin de vous assurer que vos objectifs de fiabilité peuvent être atteints.

Sécurité

La sécurité offre des garanties contre les attaques délibérées et l’abus de vos données et systèmes précieux. Pour plus d’informations, consultez liste de vérification pour la révision de conception concernant la sécurité.

  • Utilisez l’identité managée, et non les clés. Configurez la fonction Azure pour vous authentifier auprès de AI Builder et Document Intelligence à l’aide de Microsoft Entra ID avec une identité managée affectée par le système ou affectée par l’utilisateur. Cette approche supprime la nécessité de stocker les clés de service.
  • Stockez les secrets restants dans Azure Key Vault. Si vous devez utiliser des clés, par exemple dans un connecteur Power Automate, stockez les clés dans Key Vault et récupérez-les au moment de l’exécution à l’aide du connecteur Azure Key Vault. La configuration du connecteur nécessite la création d’une connexion avec un type d’authentification Microsoft Entra pris en charge. Pour connaître les options de connexion, consultez la référence du connecteur Azure Key Vault et l’action obtenir le secret. La sortie get-secret peut apparaître dans l’historique des exécutions du flux. Veillez donc à sécuriser l’accès à l’historique des exécutions.
  • Respectez les permissions du document. Lorsque vous réécrivez le texte extrait comme métadonnées SharePoint, assurez-vous que les métadonnées indexées héritent des autorisations du document source afin que les résultats de recherche soient correctement filtrés en fonction des autorisations.
  • Planifiez le contenu sensible. La sortie OCR peut contenir des données personnelles, des secrets ou d’autres contenus sensibles. Appliquez Microsoft Purview étiquettes de confidentialité et stratégies de protection contre la perte de données aux documents et à leurs métadonnées en fonction des besoins.
  • Isolez le réseau. Pour les charges de travail réglementées qui nécessitent une isolation réseau, intégrez l’application Functions à votre réseau virtuel et utilisez des points de terminaison privés pour AI Builder et Document Intelligence.
  • Appliquez le privilège minimum aux connecteurs. Dans Power Automate, accordez aux connexions l’étendue minimale dont elles ont besoin, par exemple un site SharePoint unique plutôt que l’ensemble du locataire.

Optimisation des coûts

L’optimisation des coûts se concentre sur les moyens de réduire les dépenses inutiles et d’améliorer l’efficacité opérationnelle. Pour plus d’informations, consultez la liste de vérification de conception pour l’optimisation des coûts.

  • Choisissez le niveau tarifaire Document Intelligence approprié. Documents Intelligence facture par page et offre des niveaux gratuits (F0) et standard (S0). Estimer le volume de votre page à l’aide de la calculatrice de prix Azure et sélectionner le niveau approprié avant d’accéder à la production.
  • Filtre avant d’appeler. Utilisez une condition dans Power Automate pour ignorer les fichiers non pris en charge afin de ne pas utiliser de la capacité pour des chargements non pertinents. Si vous acceptez des fichiers PDF, affichez chaque page dans un format d’image pris en charge et envoyez la même image de page à la fois AI Builder et Document Intelligence. Les deux sorties utilisent donc le même espace de coordonnées de pixels. Conservez le numéro de page du PDF pour chaque image avant de faire correspondre les résultats.
  • Planifiez la consommation de crédits d’AI Builder. AI Builder fait l’objet d’une licence basée sur des crédits consommés pour chaque exécution de modèle. Consultez les licences et les crédits AI Builder et ajoutez de la capacité si nécessaire.
  • Choisissez la licence Power Automate appropriée. Choisissez une licence Power Automate Utilisateur Premium ou Power Automate Processus selon que vous devez attribuer une licence à des utilisateurs individuels ou au flux lui-même.
  • Estimer les coûts Azure. Utilisez l’estimation préconfigurée dans la calculatrice de prix Azure pour les coûts approximatifs Azure de service pour ce scénario. Ajustez les valeurs pour qu’elles correspondent à vos volumes de documents attendus. Cette estimation couvre uniquement les services Azure de ce scénario, y compris Azure Document Intelligence au niveau tarifaire S0 pour le traitement OCR et le plan Consommation d’Azure Functions pour la logique de mise en correspondance des coordonnées de pixels. Power Platform AI Builder et Power Automate composants et Microsoft 365 SharePoint, OneDrive et Teams sont concédés sous licence séparément et ne sont pas inclus dans cette estimation.

Excellence opérationnelle

L’excellence opérationnelle couvre les processus opérationnels qui déploient une application et la maintiennent en production. Pour plus d’informations, consultez Liste de vérification de la conception pour l'excellence opérationnelle.

  • Utilisez des solutions Power Platform pour la gestion du cycle de vie des applications (ALM). Regroupez le flux, les connecteurs personnalisés et le modèle AI Builder dans une solution Power Platform afin de pouvoir les promouvoir entre les environnements de développement, de test et de production.
  • Utilisez le contrôle de code source sur la fonction Azure. Stockez la fonction dans GitHub ou Azure DevOps et déployez-la via un pipeline d’intégration continue et de livraison continue (CI/CD). Pour plus d’informations, consultez Déploiement continu pour Azure Functions.
  • Surveillez chaque couche. Instrumentez la fonction Azure avec Application Insights, surveillez les exécutions du flux dans le Centre d’administration Power Platform et surveillez l’utilisation et la limitation du débit de Document Intelligence dans Azure Monitor.
  • Réentraînez les modèles selon une planification. Les modèles de détection d’objets dérivent à mesure que les documents sources évoluent. Établissez une cadence de réentraînement pour le modèle AI Builder et suivez sa précision au fil du temps.
  • Utilisez le contrôle de version pour le schéma de métadonnées. Traitez les colonnes de métadonnées SharePoint comme un contrat. Planifiez leur mise à jour sans interrompre l’ingestion et les expériences de recherche existantes.

Efficacité des performances

L’efficacité des performances fait référence à la capacité de votre charge de travail à mettre à l’échelle pour répondre efficacement aux demandes des utilisateurs. Pour en savoir plus, consultez Liste de vérification de l'examen de la conception pour l'efficacité des performances

  • Comprendre les limites de service. Passez en revue les quotas et limites du service Document Intelligence et les limites de AI Builder avant de planifier le débit. Demander des augmentations de quota tôt si vous attendez un volume élevé.
  • Traitez des documents en parallèle. Power Automate démarre simultanément, par défaut, des exécutions de flux déclenchées par des chargements distincts. Si vous reconcevez le flux pour traiter des lots de documents, activez la concurrence et limitez le degré de parallélisme afin de respecter les limites d’AI Builder et de Document Intelligence.
  • Prétraitez les images pour obtenir une précision. Des données d’entrée de meilleure qualité réduisent les réexécutions. Envisagez de réduire l’échantillonnage des images surdimensionnées, de normaliser l’orientation et de rogner les espaces blancs non pertinents avant d’envoyer des images à AI Builder et Document Intelligence.
  • Réduire les démarrages à froid. Si la latence est importante, utilisez des instances toujours prêtes avec Flex Consumption et ajoutez des instances prédéfinies avec le plan Premium pour réduire les retards de démarrage à froid.
  • Utilisez Logic Apps pour des volumes importants. Pour les scénarios à débit élevé, le niveau Standard de Logic Apps offre des limites d’actions plus élevées et un environnement d’exécution dédié susceptible d’offrir une meilleure montée en charge que Power Automate.

Contributeurs

Microsoft conserve cet article. Les contributeurs suivants ont écrit cet article.

Auteur principal :

Autre contributeur :

Pour afficher les profils LinkedIn non publics, connectez-vous à LinkedIn.

Étapes suivantes