Estrarre testo da oggetti usando Power Automate e AI Builder

AI Builder
Informazioni sui documenti di Azure AI
Power Automate
Funzioni di Azure

Questo articolo presenta una soluzione per estrarre testo dalle immagini in modo che possa essere indicizzato e recuperato in Microsoft 365. Usando AI Builder e Azure Document Intelligence in Foundry Tools, è possibile configurare un flusso di lavoro Power Automate che usa un modello sottoposto a training per estrarre testo dalle immagini. Dopo aver configurato il flusso di lavoro, è possibile cercare rapidamente nei documenti un testo significativo incorporato in forme e oggetti. Ad esempio, è possibile cercare schemi di progettazione per il numero di parte all'interno di un componente specifico o trovare ogni valvola etichettata in un set di diagrammi vegetali, senza aprire e analizzare ogni file a mano.

Architettura

Diagramma dell'architettura per l'uso di AI Builder per estrarre testo da oggetti usando l'intelligenza artificiale.

Scaricare un file di Visio di questa architettura.

Flusso di lavoro

I passaggi del flusso di lavoro seguenti corrispondono ai numeri del diagramma precedente:

  1. Un creatore esegue il training di un modello di rilevamento oggetti in AI Builder per riconoscere oggetti specifici.
  2. Un utente carica un documento contenente testo in oggetti in una raccolta documenti di SharePoint o OneDrive, direttamente o tramite Microsoft Teams.
  3. L'evento di caricamento attiva un flusso di Power Automate.
  4. Il flusso esegue il modello AI Builder sul documento caricato per rilevare gli oggetti. AI Builder restituisce un file JSON che contiene le coordinate pixel di tutti gli oggetti rilevati.
  5. Power Automate invia anche il documento a Azure Document Intelligence in Foundry Tools per un'analisi OCR (Optical Character Recognition). Document Intelligence restituisce un file JSON che contiene il testo estratto e le relative coordinate pixel.
  6. Il flusso chiama una funzione in Funzioni di Azure che confronta le coordinate pixel degli output di AI Builder e Document Intelligence. Quando gli oggetti rilevati si intersecano con il testo estratto, la funzione restituisce il testo e le informazioni sull'oggetto corrispondenti come payload JSON.
  7. Il flusso scrive il testo e i metadati corrispondenti nel documento originale in Microsoft 365.
  8. Microsoft Search indicizza i nuovi metadati del documento in modo che sia individuabile in Microsoft 365.
  9. Gli utenti possono cercare i metadati in SharePoint utilizzando le web part PnP Modern Search.

Componenti

Questa soluzione usa i componenti seguenti di Microsoft Power Platform, Azure e Microsoft 365.

Microsoft Power Platform

  • AI Builder è una funzionalità di Microsoft Power Platform che consente agli autori di aggiungere intelligenza artificiale alle app e ai flussi. Questo scenario usa AI Builder per addestrare ed eseguire un modello personalizzato di rilevamento degli oggetti che identifica gli oggetti di interesse nelle immagini.
  • Power Automate è un servizio flusso di lavoro con poco codice che automatizza le azioni tra app e servizi. In questo scenario, Power Automate coordina il flusso a partire dal trigger di caricamento del documento fino alla scrittura dei metadati estratti nelle raccolte di SharePoint.

Azure

  • Document Intelligence è un servizio Foundry Tools basato sul cloud che usa l'apprendimento automatico per eseguire OCR e l'elaborazione intelligente dei documenti. In questo scenario, esegue un'analisi OCR a pagina intera su ogni documento caricato e restituisce testo estratto con coordinate pixel.
  • Funzioni di Azure è un servizio di calcolo serverless basato su eventi. Questo scenario usa una funzione attivata da HTTP per ospitare la logica geometry che confronta le coordinate pixel restituite da AI Builder e Document Intelligence e restituisce il testo intersecante. Power Automate chiama la funzione su HTTP e usa la risposta, quindi un trigger HTTP è appropriato.

Microsoft 365

  • SharePoint, OneDrive e Teams in Microsoft 365 sono le origini di caricamento che attivano il flusso di Power Automate e sono anche le destinazioni di archiviazione in cui il flusso scrive i metadati estratti.
  • Microsoft Search indicizza i metadati di testo estratti in modo che diventi individuabile in Microsoft 365.
  • PnP Modern Search è un set di web part open source SharePoint che è possibile usare per creare esperienze di ricerca flessibili e personalizzate usando l'indice Microsoft Search.

Alternative

  • Usa Azure Content Understanding per input non strutturati o multimodali. Document Intelligence fa parte di Azure Content Understanding in Foundry Tools, che aggiunge analizzatori basati su LLM per contenuti non strutturati emultidimensionali. Se gli input includono contenuto non strutturato, ad esempio immagini a mano libera, audio o video oltre a documenti strutturati oppure è necessario ragionare sul contenuto anziché trascriverlo, è consigliabile usare gli strumenti di Comprensione del contenuto. Ad esempio, potrebbe essere necessario riepilogare le note di revisione in un disegno tecnico, classificare un diagramma in base al tipo di apparecchiature o rispondere a domande che richiedono l'interpretazione del contenuto, non solo la lettura del testo. Per altre informazioni, vedere Scegliere gli strumenti foundry appropriati per l'elaborazione dei documenti.
  • Usare solo Document Intelligence. Se non è necessario definire l'ambito dei risultati OCR per oggetti specifici in un'immagine, è possibile ignorare AI Builder e l'app per le funzioni di confronto geometry e usare Azure Document Intelligence per eseguire OCR nell'intero documento. Quindi Power Automate archivia il testo risultante come metadati in Microsoft 365.
  • Usare il SharePoint OCR predefinito. SharePoint in Microsoft 365 può eseguire OCR su immagini e PDF e aggiungere il testo estratto all'indice di ricerca. Questa opzione non richiede un flusso personalizzato, ma non espone anche l'oggetto strutturato e il mapping delle coordinate fornito dalla soluzione corrente.
  • Usare App per la logica di Azure per l'elaborazione di volumi elevati. Se si desidera elaborare i documenti a un ritmo elevato o evitare il throttling per flusso di Power Automate, sostituire Power Automate con Logic Apps, che offre livelli dedicati per i flussi di lavoro e limiti più elevati per le azioni. Per ulteriori informazioni, vedere Limiti e configurazione di Logic Apps.

Dettagli dello scenario

I diagrammi schemi e industriali spesso contengono oggetti che includono testo. Ad esempio, un piano predefinito può etichettare singole stanze, circuiti elettrici e apparecchiature HVAC oppure uno schema di ingegneria potrebbe mostrare un numero di parte all'interno di ogni componente. L'analisi manuale di questi documenti per il testo pertinente è laboriosa e richiede molto tempo. Questa soluzione combina un modello di rilevamento oggetti personalizzato con OCR in modo che sia possibile cercare testo incorporato dall'oggetto in cui viene visualizzato, non solo dal documento in cui si trova.

Potenziali casi d'uso

  • Schemi di ingegneria. Gli schemi complessi contengono molti tipi di oggetto, ad esempio componenti, callout e blocchi di revisione. Utilizzare questa soluzione per trovare rapidamente componenti specifici in uno schema. Il testo incorporato ricercabile è utile per effettuare indagini, identificare carenze di componenti e trovare avvisi di richiamo e di guasto.
  • Diagrammi industriali. I diagrammi che descrivono un assieme di produzione spesso indicano pompe, valvole, interruttori automatizzati e altri componenti. L'indicizzazione del testo all'interno di tali oggetti supporta la manutenzione preventiva, l'isolamento dei componenti pericolosi e la visibilità della gestione dei rischi.
  • Disegni architetturali e strutture. Le planimetrie, gli schemi elettrici e i disegni degli impianti HVAC indicano locali, circuiti e apparecchiature. L'indicizzazione di tali etichette semplifica l'individuazione di asset specifici in un set di disegni di grandi dimensioni.

Considerazioni

Queste considerazioni implementano i pilastri di Azure Well-Architected Framework, che è un set di principi guida che possono essere usati per migliorare la qualità di un carico di lavoro. Per altre informazioni, vedere Well-Architected Framework.

Reliability

L'affidabilità garantisce che l'applicazione possa soddisfare gli impegni assunti dai clienti. Per maggiori informazioni, consultare la sezione Elenco di controllo per la revisione della progettazione per l'affidabilità.

  • Prevedere guasti transitori. Document Intelligence restituisce errori HTTP 429 quando vengono superati i limiti delle richieste simultanee. Il flusso di Power Automate chiama direttamente Document Intelligence, quindi configura i tentativi con backoff esponenziale per tale azione nel flusso.
  • Rendere il flusso idempotente. SharePoint e trigger di OneDrive possono riprodurre eventi. Progettare il flusso di Power Automate e le scritture di metadati downstream in modo che siano sicure quando un documento viene elaborato più volte. Ad esempio, eseguire un upsert dei metadati indicizzati in base all'ID del documento.
  • Gestire scansioni OCR di lunga durata. L'OCR di documenti multipagina di grandi dimensioni può richiedere molto tempo e Document Intelligence elabora le operazioni come asincrone. Progettare il flusso di Power Automate che chiama Document Intelligence per inviare il documento ed eseguire il polling del risultato, anziché prevedere una risposta immediata. Integra una gestione del timeout in modo che una scansione lenta non faccia fallire un'esecuzione.
  • Comprendere il contratto di servizio per ogni servizio. Esaminare i contratti di servizio e le caratteristiche di ripristino per Document Intelligence, Funzioni e Power Automate per assicurarsi che gli obiettivi di affidabilità siano raggiungibili.

Sicurezza

La sicurezza offre garanzie contro attacchi intenzionali e l'abuso di dati e sistemi preziosi. Per maggiori informazioni, consultare la sezione Elenco di controllo per la revisione della progettazione per la sicurezza.

  • Usare l'identità gestita, non le chiavi. Configurare la funzione Azure per l'autenticazione per AI Builder e Document Intelligence usando Microsoft Entra ID con un'identità gestita assegnata dal sistema o assegnata dall'utente. Questo approccio elimina la necessità di archiviare le chiavi del servizio.
  • Archiviare eventuali segreti rimanenti in Azure Key Vault. Se è necessario usare chiavi, ad esempio in un connettore Power Automate, archiviare le chiavi in Key Vault e recuperarle in fase di esecuzione usando il connettore Azure Key Vault. La configurazione del connettore richiede la creazione di una connessione con un tipo di autenticazione supportato Microsoft Entra. Per le opzioni di connessione, vedere le informazioni di riferimento sul connettore Azure Key Vault e l'azione get secret. L'output di get-secret potrebbe comparire nella cronologia di esecuzione del flusso, quindi assicurati di proteggere l'accesso alla cronologia di esecuzione.
  • Rispettare le autorizzazioni per i documenti. Quando si riscrive il testo estratto nei metadati di SharePoint, verificare che i metadati indicizzati ereditino le autorizzazioni del documento di origine, in modo che i risultati della ricerca siano filtrati correttamente in base alle autorizzazioni.
  • Pianificare il contenuto sensibile. L'output OCR può contenere dati personali, segreti o altri contenuti sensibili. Applicare Microsoft Purview etichette di riservatezza e criteri di prevenzione della perdita dei dati ai documenti e ai relativi metadati in base alle esigenze.
  • Isolare la rete. Per i carichi di lavoro soggetti a regolamentazione che richiedono l'isolamento di rete, integra l'app Functions nella tua rete virtuale e usa endpoint privati per AI Builder e Document Intelligence.
  • Applicare privilegi minimi ai connettori. In Power Automate concedere alle connessioni l'ambito minimo necessario, ad esempio un singolo sito SharePoint anziché l'intero tenant.

Ottimizzazione dei costi

L'ottimizzazione dei costi è incentrata sui modi per ridurre le spese non necessarie e migliorare l'efficienza operativa. Per altre informazioni, vedere Elenco di controllo per la revisione della progettazione per l'ottimizzazione dei costi.

  • Scegli il livello corretto di Document Intelligence. Document Intelligence addebita per pagina e offre piani gratuito (F0) e standard (S0). Stimare il volume di pagine usando il calcolatore prezzi Azure e selezionare il livello appropriato prima di passare all'ambiente di produzione.
  • Filtrare prima di chiamare. Usare una condizione di Power Automate per ignorare i file non supportati in modo da non utilizzare la capacità per i caricamenti irrilevanti. Se si accettano pdf, eseguire il rendering di ogni pagina in un formato di immagine supportato e inviare la stessa immagine di pagina sia a AI Builder che a Document Intelligence, in modo che entrambi gli output usino lo stesso spazio delle coordinate pixel. Mantieni il numero di pagina del PDF per ogni immagine prima di associare i risultati.
  • Pianificare il consumo di crediti di AI Builder. AI Builder è concesso in licenza tramite crediti che consuma per ogni esecuzione del modello. Esamina Licenze e crediti di AI Builder e aggiungi altra capacità, se necessario.
  • Scegliere la licenza Power Automate corretta. Scegli una licenza utente Power Automate Premium o una licenza per processo Power Automate in base al fatto che sia necessario assegnare licenze a singoli utenti o al flusso stesso.
  • Stimare i costi Azure. Usare la stima preconfigurata nel calcolatore prezzi Azure per i costi approssimativi del servizio Azure per questo scenario. Modificare i valori in modo che corrispondano ai volumi di documenti previsti. Questa stima copre solo i servizi Azure in questo scenario, tra cui Azure Document Intelligence, livello S0, per l'elaborazione OCR e il piano a consumo di Funzioni di Azure per la logica di corrispondenza delle coordinate dei pixel. Power Platform AI Builder e componenti Power Automate e Microsoft 365 SharePoint, OneDrive e Teams vengono concessi in licenza separatamente e non sono inclusi in questa stima.

Eccellenza operativa

L'eccellenza operativa copre i processi operativi che distribuiscono un'applicazione e la mantengono in esecuzione nell'ambiente di produzione. Per ulteriori informazioni, vedere Lista di controllo per la revisione del design per l'Eccellenza Operativa.

  • Usare soluzioni Power Platform per la gestione del ciclo di vita delle applicazioni (ALM). Crea una soluzione di Power Platform che includa il flusso, i connettori personalizzati e il modello di AI Builder, in modo da poterli promuovere tra gli ambienti di sviluppo, test e produzione.
  • Usare il controllo del codice sorgente nella funzione Azure. Archiviare la funzione in GitHub o Azure DevOps e distribuirla tramite una pipeline di integrazione continua e recapito continuo (CI/CD). Per ulteriori informazioni, vedere Distribuzione continua per Funzioni di Azure.
  • Monitorare ogni livello. Configura la funzione di Azure con Application Insights, controlla le esecuzioni dei flussi nel centro di amministrazione di Power Platform e monitora l'utilizzo e la limitazione della frequenza di Document Intelligence in Monitoraggio di Azure.
  • Riaddestrare i modelli secondo una pianificazione. I modelli di rilevamento di oggetti si deteriorano man mano che i documenti di origine si evolvono. Stabilire una cadenza di ripetizione del training per il modello AI Builder e tenere traccia della precisione nel tempo.
  • Usare il controllo delle versioni per lo schema dei metadati. Considerare le colonne di metadati SharePoint come contratto. Pianificare l'aggiornamento senza interrompere l'inserimento e le esperienze di ricerca esistenti.

Efficienza prestazionale

L'efficienza delle prestazioni si riferisce alla capacità del carico di lavoro di ridimensionarsi per soddisfare in modo efficiente le esigenze degli utenti. Per maggiori informazioni, consultare la sezione Elenco di controllo per la revisione della progettazione per l'efficienza delle prestazioni.

  • Informazioni sui limiti del servizio. Esaminare le quote e i limiti del servizio Document Intelligence e i limiti AI Builder prima di pianificare la velocità effettiva. La quota richiesta aumenta presto se si prevede un volume elevato.
  • Elaborare i documenti in parallelo. Power Automate avvia per impostazione predefinita in parallelo esecuzioni separate dei flussi attivati dal caricamento. Se riprogetti il flusso per l’elaborazione di batch di documenti, abilita la concorrenza e limita il grado di parallelismo per restare entro i limiti di AI Builder e Document Intelligence.
  • Pre-elaborare le immagini per l'accuratezza. L'input di qualità superiore riduce le riesecuzioni. Valuta di ridurre la risoluzione delle immagini sovradimensionate, normalizzarne l'orientamento e ritagliare gli spazi vuoti irrilevanti prima di inviare le immagini ad AI Builder e a Document Intelligence.
  • Attenuare gli avvii a freddo. Se la latenza è importante, usare istanze sempre pronte con Flex Consumption e aggiungere istanze preavvise con il piano Premium per ridurre i ritardi di avvio a freddo.
  • Valutare Logic Apps per volumi elevati. Per scenari a throughput elevato, il livello Standard di Logic Apps offre limiti per le azioni più elevati e un runtime dedicato che potrebbe offrire una scalabilità migliore rispetto a Power Automate.

Collaboratori

Microsoft gestisce questo articolo. I seguenti collaboratori hanno scritto questo articolo.

Autore principale:

Altro collaboratore:

Per visualizzare i profili LinkedIn non pubblici, accedere a LinkedIn.

Passaggi successivi