Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
Dit artikel bevat een oplossing voor het extraheren van tekst uit afbeeldingen, zodat deze kan worden geïndexeerd en opgehaald in Microsoft 365. Met behulp van AI Builder en Azure Document Intelligence in Foundry Tools kunt u een Power Automate werkstroom configureren die gebruikmaakt van een getraind model om tekst uit afbeeldingen te extraheren. Nadat u de werkstroom hebt geconfigureerd, kunt u snel documenten zoeken naar zinvolle tekst die is ingesloten in vormen en objecten. U kunt bijvoorbeeld technische schematiek zoeken naar het onderdeelnummer in een specifiek onderdeel of elke klep zoeken die is gelabeld in een set plantdiagrammen, zonder elk bestand handmatig te openen en te scannen.
Architectuur
Een Visio-bestand van deze architectuur downloaden.
Werkproces
De volgende werkstroomstappen komen overeen met de getallen in het voorgaande diagram:
- Een maker traint een objectdetectiemodel in AI Builder om specifieke objecten te herkennen.
- Een gebruiker uploadt een document met tekst in objecten naar een SharePoint of OneDrive documentbibliotheek, rechtstreeks of via Microsoft Teams.
- De uploadgebeurtenis activeert een Power Automate-flow.
- De stroom voert het AI Builder-model uit op het geüploade document om objecten te detecteren. AI Builder retourneert een JSON-bestand dat de pixelcoördinaten van alle gedetecteerde objecten bevat.
- Power Automate verzendt het document ook naar Azure Document Intelligence in Foundry Tools voor een volledige OCR-scan (Optical Character Recognition). Document Intelligence retourneert een JSON-bestand dat de geëxtraheerde tekst en de pixelcoördinaten bevat.
- De stroom roept een functie aan in Azure Functions waarmee de pixelcoördinaten van de AI Builder- en Document Intelligence-uitvoer worden vergeleken. Wanneer gedetecteerde objecten elkaar kruisen met geëxtraheerde tekst, retourneert de functie de overeenkomende tekst- en objectgegevens als een JSON-nettolading.
- De stroom schrijft de overeenkomende tekst en metagegevens naar het oorspronkelijke document in Microsoft 365.
- Microsoft Search indexeert de nieuwe metagegevens van het document, zodat het kan worden gedetecteerd in Microsoft 365.
- Gebruikers kunnen zoeken naar de metagegevens in SharePoint met behulp van PnP Modern Search-webonderdelen.
Onderdelen
Deze oplossing maakt gebruik van de volgende onderdelen uit Microsoft Power Platform, Azure en Microsoft 365.
Microsoft Power Platform
- AI Builder is een Microsoft Power Platform mogelijkheid waarmee makers AI kunnen toevoegen aan apps en stromen. In dit scenario wordt AI Builder gebruikt om een aangepast objectdetectiemodel te trainen en uit te voeren waarmee objecten worden geïdentificeerd die interessant zijn voor afbeeldingen.
- Power Automate is een werkstroomservice met weinig code waarmee acties in apps en services worden geautomatiseerd. In dit scenario organiseert Power Automate de stroom die begint met de uploadtrigger van het document door geëxtraheerde metagegevens terug te schrijven naar SharePoint bibliotheken.
Azuur
- Document Intelligence is een cloudgebaseerde Foundry Tools-service die machine learning gebruikt om OCR en intelligente documentverwerking uit te voeren. In dit scenario wordt een OCR-scan op volledige pagina uitgevoerd op elk geüpload document en wordt geëxtraheerde tekst geretourneerd met pixelcoördinaten.
- Azure Functions is een serverloze rekenservice op basis van gebeurtenissen. In dit scenario wordt een via HTTP geactiveerde functie gebruikt om logica voor geometrieberekeningen onder te brengen die de pixelcoördinaten vergelijkt die door AI Builder en Document Intelligence worden geretourneerd, en de overlappende tekst retourneert. Power Automate roept de functie aan via HTTP en gebruikt het antwoord, zodat een HTTP-trigger geschikt is.
Microsoft 365
- SharePoint, OneDrive en Teams in Microsoft 365 zijn de uploadbronnen die de Power Automate stroom activeren en ook de opslagdoelen zijn waar de stroom de geëxtraheerde metagegevens schrijft.
- Microsoft Search indexeert de metagegevens van geëxtraheerde tekst zodat deze kan worden gedetecteerd in Microsoft 365.
- PnP Modern Search is een set opensource-SharePoint webonderdelen die u kunt gebruiken om flexibele, gepersonaliseerde zoekervaringen te bouwen met behulp van de Microsoft Search-index.
Alternatieven
- Gebruik Azure Inhoudsinzicht voor ongestructureerde of multimodale invoer. Document Intelligence maakt deel uit van Azure Content Understanding in Foundry Tools, waarmee LLM-powered analyzers worden toegevoegd voor ongestructureerde en multimodale inhoud. Als uw invoer niet-gestructureerde inhoud bevat, zoals vrije-vormafbeeldingen, audio of video naast gestructureerde documenten, of als u reden moet hebben voor de inhoud in plaats van deze alleen te transcriberen, kunt u overwegen om Hulpprogramma's voor Inhoudbegrip te gebruiken. U moet bijvoorbeeld de revisienotities op een technische tekening samenvatten, een diagram classificeren op type apparatuur of vragen beantwoorden waarvoor de inhoud moet worden geïnterpreteerd, niet alleen de tekst lezen. Zie De juiste Foundry Tools kiezen voor documentverwerking voor meer informatie.
- Gebruik alleen Document Intelligence. Als u OCR-resultaten niet hoeft te beperken tot specifieke objecten in een afbeelding, kunt u AI Builder en de functie-app voor geometrievergelijking overslaan en Azure Document Intelligence gebruiken om OCR uit te voeren op het hele document. Laat Power Automate vervolgens de resulterende tekst als metagegevens opslaan in Microsoft 365.
- Ingebouwde SharePoint OCR gebruiken. SharePoint in Microsoft 365 kan OCR uitvoeren op afbeeldingen en PDF's en de geëxtraheerde tekst toevoegen aan de zoekindex. Deze optie vereist geen aangepaste flow, maar stelt ook het gestructureerde object en de coördinatenmapping die de huidige oplossing biedt niet beschikbaar.
- Gebruik Azure Logic Apps voor het verwerken van grote volumes. Als u documenten in hoog tempo wilt verwerken of snelheidsbeperking per stroom in Power Automate wilt voorkomen, vervang Power Automate dan door Logic Apps, dat speciale workflowlagen en hogere actielimieten biedt. Zie Logic Apps-limieten en -configuratie voor meer informatie.
Scenario-details
Schematische en industriële diagrammen bevatten vaak objecten die tekst bevatten. Een bouwplan kan bijvoorbeeld afzonderlijke ruimten, elektrische circuits en HVAC-apparatuur labelen, of een technisch schematisch kan een onderdeelnummer binnen elk onderdeel weergeven. Het handmatig scannen van deze documenten op relevante tekst is arbeidsintensief en tijdrovend. Deze oplossing combineert een aangepast objectdetectiemodel met OCR, zodat u kunt zoeken naar ingesloten tekst door het object waarin het wordt weergegeven, niet alleen door het document waarin het zich bevindt.
Potentiële gebruikscases
- Technische schema's. Complexe schema's bevatten veel objecttypen, zoals onderdelen, bijschriften en revisieblokken. Gebruik deze oplossing om snel specifieke onderdelen in een schema te vinden. Doorzoekbare ingebedde tekst is nuttig voor het doen van onderzoek, het identificeren van tekorten aan onderdelen en het vinden van terugroepmeldingen en storingsmeldingen.
- Industriële diagrammen. Diagrammen die een productieassemblage beschrijven, labelen vaak pompen, kleppen, geautomatiseerde schakelaars en andere onderdelen. Het indexeren van de tekst in deze objecten ondersteunt preventief onderhoud, isolatie van gevaarlijke onderdelen en zichtbaarheid van risicobeheer.
- Bouwkundige en faciliteittekeningen. Plattegronden, elektrische schema's en HVAC-tekeningen geven ruimten, circuits en apparatuur aan. Als u deze labels indexeert, kunt u gemakkelijker specifieke assets vinden in een grote tekenset.
Overwegingen
Met deze overwegingen worden de pijlers van het Azure Well-Architected Framework geïmplementeerd. Dit is een set richtlijnen die u kunt gebruiken om de kwaliteit van een workload te verbeteren. Zie Well-Architected Framework voor meer informatie.
Reliability
Betrouwbaarheid zorgt ervoor dat uw toepassing kan voldoen aan de toezeggingen die u aan uw klanten hebt gedaan. Zie Ontwerp controlelijst voor betrouwbaarheid voor meer informatie.
- Houd rekening met tijdelijke storingen. Document Intelligence retourneert HTTP 429-fouten wanneer limieten voor gelijktijdige aanvragen worden overschreden. De Power Automate-flow roept Document Intelligence rechtstreeks aan, dus stel opnieuw proberen met exponentiële back-off in voor die actie in de flow.
- Maak de stroom idempotent. SharePoint en OneDrive triggers kunnen gebeurtenissen opnieuw afspelen. Ontwerp de Power Automate-flow en het wegschrijven van downstream-metadata zo dat dit veilig verloopt als een document meer dan één keer wordt verwerkt. Bijvoorbeeld metagegevens invoegen of bijwerken op basis van de document-id.
- Langdurende OCR-scans verwerken. OCR van grote documenten met meerdere pagina's kan lang duren en Document Intelligence verwerkt de bewerkingen als asynchroon. Ontwerp de Power Automate stroom die Document intelligence aanroept om het document in te dienen en het resultaat te peilen, in plaats van een onmiddellijke reactie te verwachten. Timeoutafhandeling inbouwen, zodat een trage scan er niet voor zorgt dat een uitvoering mislukt.
- Begrijp de service level agreement (SLA) voor elke dienst. Controleer de SLA's en herstelkenmerken voor Document Intelligence, Functies en Power Automate om ervoor te zorgen dat uw betrouwbaarheidsdoelen haalbaar zijn.
Security
Beveiliging biedt garanties tegen opzettelijke aanvallen en misbruik van uw waardevolle gegevens en systemen. Zie Ontwerpcontrolelijst voor beveiliging voor meer informatie.
- Gebruik beheerde identiteit, niet sleutels. Configureer de Azure functie om te verifiëren bij AI Builder en Document Intelligence met behulp van Microsoft Entra ID met een door het systeem toegewezen of door de gebruiker toegewezen beheerde identiteit. Met deze methode hoeft u geen servicesleutels op te slaan.
- Sla eventuele resterende geheimen op in Azure Key Vault. Als u sleutels moet gebruiken, bijvoorbeeld in een Power Automate-connector, slaat u de sleutels op in Key Vault en haalt u deze tijdens runtime op met behulp van de Azure Key Vault-connector. Voor het instellen van de connector moet een verbinding worden gemaakt met een ondersteund Microsoft Entra verificatietype. Zie de referentie voor de Azure Key Vault-connector en de actie voor het ophalen van een geheim voor de verbindingsopties. De uitvoer van get-secret kan in de uitvoeringsgeschiedenis van de flow verschijnen, dus zorg ervoor dat u de toegang tot de uitvoeringsgeschiedenis goed beveiligt.
- Documentmachtigingen respecteren. Wanneer u geëxtraheerde tekst terugschrijft als SharePoint metagegevens, moet u ervoor zorgen dat de geïndexeerde metagegevens de machtigingen van het brondocument overnemen, zodat zoekresultaten correct worden ingekort.
- Plannen voor gevoelige inhoud. OCR-uitvoer kan persoonlijke gegevens, geheimen of andere gevoelige inhoud bevatten. Pas zo nodig Microsoft Purview vertrouwelijkheidslabels en beleid ter preventie van gegevensverlies toe op documenten en hun metagegevens.
- Het netwerk isoleren. Voor gereguleerde workloads waarvoor netwerkisolatie is vereist, integreert u de Functions-app in uw virtuele netwerk en gebruikt u privé-eindpunten voor AI Builder en documentinformatie.
- Pas het principe van minimale bevoegdheden toe op connectors. In Power Automate verleent u verbindingen het minimale bereik dat ze nodig hebben, bijvoorbeeld één SharePoint site in plaats van de hele tenant.
Kostenoptimalisatie
Kostenoptimalisatie richt zich op manieren om onnodige uitgaven te verminderen en operationele efficiëntie te verbeteren. Zie controlelijst ontwerpbeoordeling voor kostenoptimalisatievoor meer informatie.
- Kies de juiste Document Intelligence-laag. Document Intelligence rekent per pagina en biedt gratis (F0)- en standaardniveaus (S0). Maak een schatting van het paginavolume met behulp van de Azure prijscalculator en selecteer de juiste laag voordat u naar productie gaat.
- Filter voordat u belt. Gebruik een Power Automate voorwaarde om niet-ondersteunde bestanden over te slaan, zodat u geen capaciteit verbruikt voor irrelevante uploads. Als u PDF-bestanden accepteert, zet u elke pagina om in een ondersteund afbeeldingsformaat en stuurt u dezelfde pagina-afbeelding naar zowel AI Builder als Document Intelligence, zodat beide uitvoerresultaten dezelfde pixelcoördinatenruimte gebruiken. Behoud het PDF-paginanummer met elke afbeelding voordat u de resultaten kunt vergelijken.
- Plan het verbruik van AI Builder-tegoeden. AI Builder wordt gelicentieerd op basis van credits die per modeluitvoering worden verbruikt. Bekijk Licenties en AI Builder-credits en voeg capaciteit toe als u die nodig hebt.
- Kies de juiste Power Automate licentie. Kies een Power Automate Premium-gebruiker of Power Automate Proceslicentie op basis van of u afzonderlijke gebruikers of de stroom zelf moet licentie geven.
- Schat de Azure-kosten. Gebruik de vooraf geconfigureerde schatting in de Azure prijscalculator voor de geschatte Azure servicekosten voor dit scenario. Pas de waarden aan zodat deze overeenkomen met de verwachte documentvolumes. Deze schatting omvat alleen de Azure-services in dit scenario, waaronder Azure laag Document Intelligence S0 voor OCR-verwerking en Azure Functions Verbruiksplan voor pixelcoördinaatkoppelingslogica. Power Platform AI Builder en Power Automate onderdelen en Microsoft 365 SharePoint, OneDrive en Teams zijn afzonderlijk gelicentieerd en worden niet opgenomen in deze schatting.
Operationele uitmuntendheid
Operational Excellence behandelt de operationele processen die een toepassing implementeren en deze in productie houden. Voor meer informatie, zie Controlelijst voor ontwerpevaluatie voor Operational Excellence.
- Power Platform-oplossingen gebruiken voor toepassingslevenscyclusbeheer (ALM). Verpak de flow, aangepaste connectors en het AI Builder-model in een Power Platform-oplossing, zodat u die kunt promoten tussen ontwikkel-, test- en productieomgevingen.
- Gebruik broncodebeheer op de functie Azure. Sla de functie op in GitHub of Azure DevOps en implementeer deze via een CI/CD-pijplijn (continuous integration and continuous delivery). Zie Continue implementatie voor Azure Functions voor meer informatie.
- Elke laag bewaken. Instrumenteer de Azure-functie met Application Insights, bekijk de flowuitvoeringen in het Power Platform-beheercentrum en bewaak het gebruik van Document Intelligence en throttling in Azure Monitor.
- Modellen opnieuw trainen volgens een schema. Objectdetectiemodellen zweven naarmate brondocumenten zich ontwikkelen. Stel een hertrainingsfrequentie in voor het AI Builder model en volg de nauwkeurigheid ervan in de loop van de tijd.
- Versiebeheer gebruiken voor metagegevensschema. De SharePoint metagegevenskolommen behandelen als een contract. Bepaal hoe u deze kunt bijwerken zonder de gegevensopname en bestaande zoekervaringen te verstoren.
Prestatie-efficiëntie
Prestatie-efficiëntie verwijst naar de mogelijkheid van uw workload om efficiënt te voldoen aan de behoeften van de gebruiker. Zie controlelijst ontwerpbeoordeling voor prestatie-efficiëntievoor meer informatie.
- Begrijp de servicebeperkingen. Bekijk de quota en limieten van de Document Intelligence-service en de AI Builder limieten voordat u doorvoer plant. Vraag tijdig een verhoging van het quotum aan als u een hoog volume verwacht.
- Documenten parallel verwerken. Power Automate start standaard afzonderlijke, door uploads geactiveerde flowuitvoeringen gelijktijdig. Als u de stroom opnieuw ontwerpt om documentbatches te verwerken, schakelt u gelijktijdigheid in en beperkt u de mate van parallelle uitvoering om binnen AI Builder en Document Intelligence-limieten te blijven.
- Hiermee worden afbeeldingen vooraf verwerkt voor nauwkeurigheid. Invoer van betere kwaliteit vermindert herhalingen. Overweeg om overgesampelde afbeeldingen te verkleinen, de afdrukstand te normaliseren en irrelevante witruimte bij te snijpen voordat u afbeeldingen naar AI Builder en Document Intelligence verzendt.
- Verperk koude start. Als latentie van belang is, gebruikt u altijd gereede instanties met Flex Consumption en voegt u voorafwarmde exemplaren toe met het Premium-abonnement om vertragingen met koude start te verminderen.
- Overweeg Logic Apps voor een groot volume. Voor scenario's met hoge doorvoer biedt de Logic Apps Standard-laag hogere actielimieten en een toegewezen runtime die beter kan worden geschaald dan Power Automate.
Bijdragers
Microsoft onderhoudt dit artikel. De volgende inzenders hebben dit artikel geschreven.
Hoofdauteur:
- Steve Pucelik | Sr. Product Manager
Andere bijdrager:
- Lohith G N | Sr. CSA, Cloud & AI Platform
Als u niet-openbare LinkedIn-profielen wilt zien, meldt u zich aan bij LinkedIn.
Volgende stappen
- Wat is Azure Document Intelligence in Foundry Tools?
- Aangepaste modellen voor Document Intelligence
- Overzicht van AI Builder in Power Automate
- Tekst extraheren uit objecten (Blogbericht van de Power Platform-community)