Transparantienotitie: Azure AI Zoeken

AI-verrijking is de toepassing van machine learning-modellen van Foundry Tools over inhoud die niet eenvoudig doorzoekbaar is in de onbewerkte vorm. Door verrijking worden analyse en inferentie gebruikt om doorzoekbare inhoud en structuur te creëren waar deze eerder niet bestonden.

AI-verrijking is een optionele uitbreiding van de Azure AI Zoeken indexeerpijplijn die verbinding maakt met Foundry Tools in dezelfde regio als de zoekservice van een klant. Een verrijkingspijplijn heeft dezelfde kernonderdelen als een typische indexeerfunctie (indexeerfunctie, gegevensbron, index), plus een vaardighedenset die de atomische verrijkingsstappen aangeeft. Een vaardighedenset kan worden samengesteld met behulp van ingebouwde vaardigheden op basis van de Foundry Tools-API's, zoals Vision en Language, of aangepaste vaardigheden die externe code uitvoeren die u opgeeft.

Vector zoeken is een methode voor het ophalen van informatie waarbij documenten en query's in een index als vectoren worden weergegeven in plaats van platte tekst. In vectorzoekopdrachten genereren machine learning-modellen, extern gehost vanuit Azure AI Zoeken, de vectorweergaven van broninvoer, die tekst, afbeeldingen, audio of video-inhoud kunnen zijn. Deze wiskundige en genormaliseerde weergave van inhoud, vector-insluitingen genoemd, biedt een algemene basis voor zoekscenario's.

Wanneer alles een vector is, kan een query een overeenkomst vinden in vectorruimte, zelfs als de bijbehorende oorspronkelijke inhoud zich in een ander mediatype bevindt, zoals afbeeldingen versus tekst of taal dan de query. De zoekmachine scant de index op zoek naar vectorinhoud die het meest lijkt op, oftewel het dichtst bij, de vector in de zoekopdracht. Door te vergelijken met een wiskundige vectorweergave in plaats van trefwoorden, is het veel waarschijnlijker om overeenkomsten te vinden die semantische betekenis delen, maar die tekstmatig uniek zijn, zoals 'auto' en 'auto', bijvoorbeeld. Dit geeft een gedetailleerdere inleiding tot vector-insluitingen en hoe het gelijkenis-algoritme werkt.

Belangrijkste termen

Semantische rangschikking maakt gebruik van de context of semantische betekenis van een query om een nieuwe relevantiescore te berekenen die resultaten bevordert die semantisch het dichtst bij de intentie van de oorspronkelijke query aan de bovenkant liggen. De eerste resultatenset kan afkomstig zijn van een trefwoordzoekopdracht met BM25-classificatie, vectorzoekopdrachten of een hybride zoekopdracht die beide bevat. Het maakt en retourneert 'bijschriften' door exacte inhoud te extraheren die in het resultaat wordt gevonden en 'markeringen' om aandacht te vestigen op belangrijke inhoud in het resultaat. Het kan ook een 'antwoord' retourneren als de query de kenmerken van een vraag heeft ('wat is het vriespunt van water') en het resultaat tekst bevat met de kenmerken van een antwoord ('water bevriezen bij 0°C of 32°F').

Belangrijkste termen

Bij query herschrijven worden synthetische query's kunstmatig gecreëerd of gegenereerd op basis van feitelijke klantinvoer om de recall te verbeteren (het deel van relevante documenten dat is opgehaald van het totale aantal beschikbare documenten) bij BM25-classificatie, vectorzoekmethodes of een hybride zoekopdracht. De oorspronkelijke query wordt gecombineerd met de synthetische queries om een optimaal bereik van de zoekmachine te bieden.

De GenAI Prompt-vaardigheid maakt deel uit van Azure AI Zoeken catalogus met vaardigheden, zodat klanten hun zoekindexen kunnen verbeteren met door AI gegenereerde inhoud op basis van hun gegevens. Door de eigen gegevens en voorkeuren van de organisatie van de klant te gebruiken, helpt deze vaardigheid bij het produceren van op maat gemaakte samenvattingen, antwoorden of inzichten die aansluiten op hun specifieke behoeften.

Dit betekent dat wanneer de eindgebruiker de inhoud van de klant doorzoekt via AI Search, de door AI gegenereerde inhoud meer informatieve en contextbewuste resultaten kan bieden, waardoor gebruikers gemakkelijker de informatie kunnen vinden die ze zoeken.

Belangrijkste termen

Agentisch ophalen is een parallelle architectuur voor queryverwerking die gebruikmaakt van een conversational large language model (LLM) als een 'queryplanner'. Met de LLM wordt de gespreksgeschiedenis van een gebruiker naar behoefte omgezet in een of meer gerichte subquery's. Deze subquery's worden tegelijkertijd uitgevoerd op uw Azure AI Zoeken-index en de service voegt de belangrijkste resultaten samen en retourneert:

• Eén inhoudsreeks die de meest relevante passages (aardingsgegevens) bevat.
• Een verwijzingsmatrix (optioneel) waarmee de volledige brondocumenten of segmenten worden weergegeven.
• Een activiteitenmatrix die elke bewerking, het aantal tokens en de latentie vermeldt om kosten bij te houden en fouten op te sporen.

Belangrijkste termen

Systeemgedrag

Verschillende ingebouwde vaardigheden voor AI-verrijking in Azure AI Zoeken profiteren van Foundry Tools. Zie de transparantienotities voor elke ingebouwde vaardigheid die hieronder is gekoppeld voor overwegingen bij het gebruik van een vaardigheid:

• Vaardigheid voor sleutelzinnenextractie: taal - Sleutelzinnenextractie
• Taaldetectievaardigheid: Taal - Taaldetectie
• Entiteit Koppelvaardigheid: Language - Entity Linking
• Vaardigheid voor entiteitsherkenning: taal - NER (Named Entity Recognition)
• PII-detectievaardigheid: Taal - PII-detectie
• Gevoelsvaardigheid: Taal - Sentimentanalyse
• Vaardigheid afbeeldingsanalyse: Vision - Afbeeldingsanalyse
• OCR-vaardigheid: Vision - OCR
• Vaardigheid documentindeling: Documentinformatie

Raadpleeg de documentatie voor elke vaardigheid voor meer informatie over hun respectieve mogelijkheden, beperkingen, prestaties, evaluaties en methoden voor integratie en verantwoordelijk gebruik. Houd er rekening mee dat het gebruik van deze vaardigheden in combinatie kan leiden tot samengestelde effecten (bijvoorbeeld fouten die worden geïntroduceerd bij het gebruik van OCR zullen ook doorwerken bij het gebruik van sleutelzinextractie).

Gebruiksscenario's

Voorbeelden van gebruikssituaties

Omdat Azure AI Zoeken een zoekoplossing voor volledige tekst is, is het doel van AI-verrijking het zoekhulpprogramma van ongestructureerde inhoud te verbeteren. Hier volgen enkele voorbeelden van scenario's voor inhoudsverrijking die worden ondersteund door de ingebouwde vaardigheden:

• Vertaal - en taaldetectie maken meertalige zoekopdrachten mogelijk.
• Met entiteitsherkenning worden personen , plaatsen en andere entiteiten geëxtraheerd uit grote stukken tekst.
• Sleuteltermextractie identificeert en voert vervolgens belangrijke termen uit.
• OCR herkent gedrukte en handgeschreven tekst in binaire bestanden.
• Afbeeldingsanalyse beschrijft afbeeldingsinhoud en voert de beschrijvingen uit als doorzoekbare tekstvelden.
• Integrated vectorization is een preview-functie waarmee het Azure OpenAI-insluitingsmodel wordt aangeroepen om gegevens te vectoriseren en insluitingen op te slaan in Azure AI Zoeken voor overeenkomsten zoeken.

Systeemgedrag

In vectorzoekopdrachten zoekt de zoekmachine naar vectoren in de insluitingsruimte in de index om deze dicht bij de queryvector te vinden. Deze techniek wordt het zoeken van dichtstbijzijnde buren genoemd. Dit helpt ook bij het kwantificeren van de mate van gelijkenis of afstand tussen items. Een hoge mate van vector vergelijkbaarheid geeft aan dat de oorspronkelijke gegevens ook vergelijkbaar waren. De twee vectorzoekalgoritmen die door Azure AI Zoeken worden ondersteund, hebben verschillende benaderingen voor dit probleem en wisselen verschillende kenmerken zoals latentie, doorvoer, ophalen en geheugen af.

Voor het vinden van de werkelijke set 'k' dichtstbijzijnde buren moet de invoervector volledig worden vergeleken met alle vectoren in de gegevensset. Hoewel elke vector vergelijkbaarheidsberekening relatief snel is, is het uitvoeren van deze uitgebreide vergelijkingen in grote gegevenssets rekenkracht duur en traag vanwege het enorme aantal vergelijkingen dat vereist is. Hoe hoger de dimensionaliteit van elke vector, hoe complexer en langzamer de berekeningen op elke vector zijn.

Om deze uitdaging aan te pakken, worden bij benadering van de dichtstbijzijnde buur (ANN) zoekmethoden gebruikt om de recall in te ruilen voor snelheid. Deze methoden kunnen efficiënt een kleine set kandidaatvectoren vinden die waarschijnlijk vergelijkbaar zijn met de queryvector, waardoor het totale aantal vectorvergelijkingen wordt verminderd. Azure AI Zoeken gebruikt het HNSW-algoritme (Hierarchical Navigable Small World) om high-dimensionale gegevenspunten te organiseren in een probabilistische hiërarchische grafstructuur, waarmee snelle gelijkeniszoeken mogelijk zijn, terwijl een afstembare balans mogelijk is tussen de nauwkeurigheid van de zoekfunctie en de rekenkosten.

Azure AI Zoeken biedt ondersteuning voor meerdere similariteitsmetingen om de dichtstbijzijnde buur en de score van elk vectorresultaat te bepalen. Dit zijn cosinus, 'Euclidean' (ook wel bekend als 'l2-norm') en 'inproduct'. Cosinus berekent de hoek tussen twee vectoren. Euclidean berekent de Euclidische afstand tussen twee vectoren, de l2-norm van het verschil van de twee vectoren. Puntproduct wordt beïnvloed door de grootten van beide vectoren en de hoek ertussen. Voor genormaliseerde insluitingsruimten is dot-product gelijk aan de cosinus-gelijkenis, maar is het efficiënter.

Gebruiksscenario's

Voorbeelden van gebruikssituaties

Er zijn veel scenario's waarin vectorzoekopdrachten nuttig zijn en ze zijn alleen beperkt door de mogelijkheden van het model dat wordt gebruikt voor het genereren van vector-insluitingen. Hier volgen enkele algemene gebruiksvoorbeelden waarbij vectorzoekopdrachten kunnen worden gebruikt:

• Semantische zoekopdracht: semantisch begrip extraheren uit tekst met behulp van een model, zoals het gebruik van modellen zoals de Azure OpenAI Service insluitmodellen.
• Zoeken in verschillende gegevenstypen (multimodale): codeer inhoud die afkomstig is van afbeeldingen, tekst, audio en video, of een combinatie, en voer één zoekopdracht uit voor alle typen.
• Meertalige zoekopdracht: gebruik een meertalige insluitingsmodel om uw document in meerdere talen weer te geven om resultaten in ondersteunde talen te vinden.
• Hybride zoekopdrachten: Vectorzoekopdrachten worden geïmplementeerd op veldniveau, wat betekent dat u query's kunt maken die vectorvelden en doorzoekbare tekstvelden bevatten. De query's worden parallel uitgevoerd en de resultaten worden samengevoegd in één antwoord. Hybride zoekresultaten met semantische rangschikking zijn getoond om de beste kwalitatieve resultaten te bieden.
• Gefilterde vectorzoekopdrachten: Een query kan een vectorquery en filterexpressie bevatten. Filters die worden toegepast op andere gegevenstypen zijn handig voor het opnemen of uitsluiten van documenten op basis van andere criteria.
• Vectordatabase: Dit pure vectorarchief is bedoeld voor langetermijngeheugen of een externe knowledge base voor LLM's (Large Language Models). Gebruik bijvoorbeeld Azure AI Zoeken als vectorindex in Azure Machine Learning promptstroom voor RAG-toepassingen (Retrieval Augmented Generation).

Overwegingen bij het kiezen van een use-case

Er kunnen overwegingen en problemen zijn met betrekking tot het specifieke model dat u kiest om vector-insluitingen te genereren. Elk model kan een eigen probleem hebben met vooroordelen en redelijkheid en moet worden geëvalueerd voordat het in uw toepassing wordt gebruikt. Azure AI Zoeken biedt geen modellen voor het vectoriseren van inhoud als onderdeel van de service. Zie de Azure OpenAI Service Transparency Note voor voorbeelden van deze overwegingen. Andere modellen van derden of OSS-modellen hebben eigen overwegingen om te beoordelen.

Systeemgedrag

Het classificeren van de resultaten van de eerste stap voor het ophalen van lagen is een zeer resource-intensief proces. Als u de verwerking van de ranker binnen de verwachte latentie van een querybewerking wilt voltooien, worden alleen de bovenste 50 resultaten van de ophaalengine als invoer naar de semantische ranker verzonden. Als het te lang is, worden de 50 resultaten eerst verzonden naar een samenvattingsstap waarmee de meest relevante inhoud uit elk resultaat wordt geëxtraheerd voordat de semantische ranker wordt uitgevoerd.

In de samenvattingsstap wordt het opgehaalde document eerst door een voorbereidingsproces geleid dat de verschillende documentinvoeren in één lange tekenreeks samenvoegt. Als de tekenreeks te lang is, vindt er een afsnijproces plaats, met speciale nadruk op het behoud van inhoud in velden die zijn toegevoegd aan de semantische configuratie. Nadat tekenreeksen zijn voorbereid, worden ze doorgegeven via computerlezingsbegrip en taalweergavemodellen om te bepalen welke zinnen en woordgroepen de beste samenvatting bieden ten opzichte van de query. In deze fase wordt inhoud geëxtraheerd uit de tekenreeks die wordt doorgegeven aan de semantische rangschikkingsfase en wordt eventueel een semantisch bijschrift of semantisch antwoord gegenereerd.

De laatste stap, semantische rangschikking, bepaalt de relevantie van de inhoud die in de vorige stap is geëxtraheerd aan de query van de gebruiker en voert een semantische classificatiescore uit, variërend van 4 (zeer relevant) tot 0 (irrelevant). Deze stap is gebaseerd op de querytekst en op de samengevatte tekst en omvat complexere berekeningen dan die van de ophaallaag.

Gebruiksscenario's

Voorbeelden van gebruikssituaties

Semantische rangschikking kan in meerdere scenario's worden gebruikt. De beoogde gebruiksvoorbeelden van het systeem zijn onder andere:

• Retrieval Augmented Generation (RAG): Een semantische rangschikking stelt u in staat om de antwoorden van uw generatieve AI-toepassingen te baseren op relevante zoekresultaten die voldoen aan de door u gedefinieerde drempelwaarde voor relevantiescores. De Azure OpenAI Service op uw gegevens maakt bijvoorbeeld gebruik van Azure AI Zoeken om Azure OpenAI-modellen te verbeteren met uw gegevens. U kunt semantische ranker in deze service gebruiken om de relevantie van de informatie die wordt ingevoerd in het Azure OpenAI-model te verbeteren.
• Inhoud zoeken: Met Semantische rangschikking kunt u zoeken naar relevante inhoud binnen uw gegevens door tekst en metagegevens te analyseren. Zoek bijvoorbeeld op de learn. microsoft.com website maakt gebruik van semantische rangschikking om de zoekrelevantie te verbeteren voor softwareontwikkelaars die zoeken naar Microsoft technische documentatie.
• eCommerce zoeken: Semantische ranker stelt eCommerce bedrijven in staat hun zoekervaring te verbeteren door relevante productresultaten te bieden op basis van semantische relevantie. Online retailers gebruiken bijvoorbeeld semantische ranker om hun eCommerce-ervaring te optimaliseren door relevante zoekresultaten te bieden voor hun online klanten.
• QnA: Azure AI Zoeken stelt organisaties in staat om hun gebruikers een gesprekservaring te bieden door vragen te beantwoorden op basis van de informatie die beschikbaar is in hun databases. Een fabrikant kan bijvoorbeeld semantische ranker gebruiken om informatie te vergroten die beschikbaar is voor een chatbot. Technici kunnen deze chatbot gebruiken om vragen te stellen en zeer relevante interne documenten op te halen met betrekking tot hun query en directe antwoorden binnen de opgehaalde documenten.

Overwegingen bij het kiezen van een use-case

We moedigen klanten aan om semantische ranker te gebruiken in hun innovatieve oplossingen of toepassingen. Hier volgen echter enkele overwegingen bij het kiezen van een use-case:

• Gevoelige informatie : de machine learning-modellen die semantische rangschikking mogelijk maken, verwerken de gegevens die zijn opgehaald in een zoekquery, inclusief gevoelige informatie, zoals persoonlijke gegevens en financiële gegevens. Houd rekening met eventuele gevolgen voor privacy en beveiliging voordat u semantische rangschikking implementeert voor dergelijke gebruiksvoorbeelden.
• Vooroordelen en billijkheid : Semantische ranker wordt mogelijk gemaakt door deep learning-modellen. Deze Deep Learning-modellen zijn getraind met behulp van openbare inhoud. Klantgegevens worden beoordeeld door de semantische rankermodellen. Evalueer de uitvoer van de semantische rangschikker wanneer u use cases selecteert, vooral voor use cases die gevolgen hebben voor billijkheid en gelijkheid, zoals rekrutering en aanwerving.
• Naleving van regelgeving: sommige branches, zoals gezondheidszorg en financiën, zijn sterk gereglementeerd en kunnen beperkingen hebben voor het gebruik van AI en machine learning. Voordat u semantische rangschikking in dergelijke branches gebruikt, moet u ervoor zorgen dat de oplossing voldoet aan de relevante regelgeving en richtlijnen.

Systeemgedrag

De oorspronkelijke query wordt verzonden naar een fine-tuned Small Language Model (SLM) gehost door Azure AI Zoeken. Dit model is getraind met behulp van openbare inhoud. De SLM transformeert de oorspronkelijke query in een set synthetische query's. Deze synthetische query's zijn semantisch nauw verbonden met de intentie van de oorspronkelijke query, maar bevatten een andere set termen om het terugvinden door de zoekmachine te verbeteren.

De synthetische query's worden vervolgens gecombineerd met de oorspronkelijke query en verzonden naar de zoekmachine. Wanneer BM25-ranking wordt uitgevoerd, worden de belangrijkste termen van de synthetische query's gecombineerd met de oorspronkelijke query. Wanneer vectorzoekopdrachten worden uitgevoerd, wordt de oorspronkelijke query samengevoegd met de synthetische query's vóór de stap voor het insluiten van vectoren.

Gebruiksscenario's

Voorbeelden van gebruikssituaties

Het herschrijven van query's kan in meerdere scenario's worden gebruikt. Voor het herschrijven van query's is het gebruik van een semantische rangschikking vereist.

• Chatinteractie met uw gegevens: Door het herschrijven van query's kunt u reacties van uw generatieve AI-toepassingen verankeren in relevante zoekresultaten die voldoen aan de door u gedefinieerde drempelwaarde voor relevantiescores. De Azure OpenAI Service Op uw gegevens maakt bijvoorbeeld gebruik van Azure AI Zoeken om Azure OpenAI-modellen met uw gegevens te verbeteren. U kunt het herschrijven van query's in deze service gebruiken om de relevantie van de resultaten van de informatie die wordt ingevoerd in het Azure OpenAI-model te verbeteren.
• Conversational Questions and Answers (QnA): Azure AI Zoeken stelt organisaties in staat om hun gebruikers een gesprekservaring te bieden door vragen te beantwoorden op basis van de informatie die beschikbaar is in hun databases. Een fabrikant kan bijvoorbeeld semantische ranker gebruiken om informatie te vergroten die beschikbaar is voor een chatbot. Technici kunnen deze chatbot gebruiken om vragen te stellen en zeer relevante interne documenten op te halen met betrekking tot hun query en directe antwoorden binnen de opgehaalde documenten.

Overwegingen bij het kiezen van een use-case

We moedigen klanten aan om query's te herschrijven in hun innovatieve oplossingen of toepassingen. Hier volgen echter enkele overwegingen bij het kiezen van een use-case:

• Gevoelige informatie en PII: De nauwkeurig afgestemde SLM, waarmee het herschrijven van query's mogelijk is, verwerkt de zoekquery, die mogelijk gevoelige informatie bevat. Houd rekening met eventuele gevolgen voor privacy en beveiliging voordat u het herschrijven van query's implementeert voor dergelijke gebruiksvoorbeelden.
• Persoonlijke gegevens redacteren om onbewuste bias te verminderen. Tijdens het beoordelingsproces van cv's, willen ze bijvoorbeeld de naam, het adres of het telefoonnummer van een kandidaat blokkeren om onbewuste vooroordelen te verminderen.
• Juridische en wettelijke overwegingen. Organisaties moeten potentiële specifieke wettelijke en wettelijke verplichtingen evalueren bij het gebruik van AI Search, wat mogelijk niet geschikt is voor gebruik in elke branche of elk scenario. Beperkingen kunnen variëren op basis van regionale of lokale wettelijke vereisten. Bovendien is AI Search niet ontworpen voor en kan niet worden gebruikt op manieren die verboden zijn in toepasselijke servicevoorwaarden en relevante gedragscodes.

Met de vaardigheid GenAI-prompt kunnen klanten hun documentinhoud, bestaande in hun gegevensbronnen en aangepaste prompts doorgeven aan een taalmodel dat ze bezitten, gehost op Microsoft Foundry. Het taalmodel verwerkt de invoer en retourneert verrijkte inhoud, die vervolgens wordt opgenomen in de zoekindex naast de oorspronkelijke documentinhoud. Met dit proces kunnen zoekindexen worden vergroot met door AI gegenereerde samenvattingen, afbeeldingsbijschriften en entiteitextractie, onder andere op basis van door de klant gedefinieerde criteria.

In de volgende voorbeelden ziet u hoe de vaardigheid GenAI-prompt werkt.

Samenvatting van zero-shot-ticket

Doel: laat ondersteuningsmedewerkers binnen enkele seconden e-mailthreads met meerdere pagina's overslaan.

Hoe het werkt:

• Tijdens het indexeren wordt elk lang ticketgesprek onderverdeeld in logische segmenten (eerste aanvraag, vervolgvragen, diagnostische logboeken, enzovoort).
• Voor elk segment wordt het taalmodel geïnstrueerd om deze sectie in drie strakke zinnen samen te vatten.
• De resulterende abstracts vervangen de onbewerkte tekst tijdens het ophalen, zodat agents (en downstream RAG-pijplijnen) alleen de gedestilleerde essentie zien.

Waarom dit helpt: Beknopte samenvattingen op segmentniveau verminderen de promptgrootte, versnellen het genereren van reacties en helpen agenten zich te concentreren op het kernprobleem van de klant.

Weinig-shot entiteitextractie

Doel: Ondersteuningsquery's zoals 'Toon me alle tickets waarbij Product X crashte met fout 500'.

Hoe het werkt

• De volledige tickettekst wordt samen met één werkvoorbeeld naar de applicatie verzonden, met het gewenste uitvoerformaat: een lijst met belangrijke entiteiten zoals productnaam, foutcode, besturingssysteem en ernst.
• Het model extraheert elke voorkomend geval van 〈product, error_code, platform, ernstniveau.
• Deze gestructureerde lijst wordt opgeslagen met het document, waardoor direct filters worden ingeschakeld die bijvoorbeeld alle crashes met hoge ernst op iOS bevatten.

Waarom dit helpt: vooraf samengestelde entiteiten maken van gratis klantberichten filterbare gegevens, zodat ondersteuning potentiële klanten patronen kunnen herkennen en problemen kunnen prioriteren zonder handmatige parsering.

Classificatie van eenmalige ticketroutering

Doel: routeer elk ticket automatisch naar de juiste wachtrij.

Hoe het werkt:

• Elk ticket wordt geanalyseerd met een prompt met vijf ondersteuningscategorieën: facturering, technisch probleem, toegang tot accounts, functieaanvragen en algemene feedback, plus één referentievoorbeeld (voorbeeld van ticket → facturering).
• Het model wijst precies één label toe, op basis van de vijf bovenstaande ondersteuningscategorieën, aan elk ticket dat het AI Search-systeem invoert als invoer.
• Het helpdesksysteem gebruikt etiketten om factureringsverzoeken te verzenden naar financiële specialisten, technische problemen naar ingenieurs, enzovoort.

Waarom het helpt: Snel, consistent labelen vermindert verkeerd gerouteerde tickets, verkort de oplossingstijd en verbetert de klanttevredenheid.

Suggestie voor keten-van-gedachteoplossing

Doel: geef ondersteuningsmedewerkers de beste volgende stap om het probleem op te lossen.

Hoe het werkt

• Het volledige ticket( of het meest recente klantbericht) wordt doorgegeven aan het taalmodel.
• Het gebruikersbericht geeft het model de opdracht na de systeemprompt: 'Denk intern stapsgewijs na, maar voer alleen de aanbevolen volgende actie uit.'
• De geretourneerde richtlijnen kunnen zijn: 'Vraag de klant om de cache te wissen en versie 3.2.1 opnieuw te installeren.'
• Agents kunnen de suggestie rechtstreeks kopiëren of verfijnen voordat ze reageren.

Waarom het helpt: agents ontvangen een bruikbare aanbeveling zonder de persoonlijke redeneringsketen van het model, waardoor tijd wordt bespaard terwijl probleemoplossingsstappen beknopt en relevant blijven. In bepaalde gevallen wordt de ondersteuningsagent niet overspoeld met onnodige informatie.

Gebruiksscenario's

Voorbeelden van gebruikssituaties

De GenAI Prompt-vaardigheid verbetert de gegevensverrijking binnen Azure AI Zoeken, waardoor de relevantie van reacties kan worden afgestemd op de intentie en verwachtingen van de gebruiker. Door AI gegenereerde inhoud te integreren in zoekindexen, maakt deze vaardigheid nauwkeurigere en contextafhankelijke zoekresultaten mogelijk. Belangrijke toepassingen zijn:

• Beknopte samenvattingen van lange documenten genereren om sneller informatie op te halen: een advocatenkantoor verwerkt uitgebreide contracten en maakt gebruik van de GenAI Prompt-vaardigheid om korte samenvattingen te maken waarin belangrijke clausules worden gemarkeerd, waardoor advocaten essentiële informatie gemakkelijker kunnen bekijken zonder volledige documenten te lezen.
• Tekstbeschrijvingen voor afbeeldingen maken om de zoekbaarheid en toegankelijkheid te verbeteren: een mediabedrijf beheert een uitgebreide bibliotheek met afbeeldingen. Door de GenAI Prompt-vaardigheid toe te passen, genereren ze beschrijvende bijschriften voor elke afbeelding, waardoor efficiënt zoeken en organiseren binnen hun digitale assetbeheersysteem mogelijk is.
• Specifieke entiteiten of feiten identificeren en extraheren uit documenten op basis van aangepaste criteria: een onderzoeksinstelling analyseert wetenschappelijke documenten om vermeldingen van chemische verbindingen en hun eigenschappen te extraheren. De GenAI Prompt vaardigheid automatiseert deze extractie, waardoor een gestructureerde database wordt gevuld voor onderzoekers om snel toegang te krijgen tot relevante gegevens.
• Documenten classificeren in gedefinieerde categorieën voor een betere organisatie en ophalen: een verzekeringsmaatschappij ontvangt dagelijks talloze soorten documenten. Met behulp van de genAI-promptvaardigheid classificeren ze deze documenten automatisch in categorieën zoals Claims, Beleidsupdates en Feedback van klanten. Dit stroomlijnt het documentbeheerproces en maakt het gemakkelijker om specifieke documenten te vinden wanneer dat nodig is.

Hoewel dit veelvoorkomende toepassingen zijn, is de vaardigheid flexibel, zodat klanten prompts kunnen definiëren die zijn afgestemd op hun unieke vereisten.

Overwegingen bij het kiezen van een use-case

Het is belangrijk te weten dat de inhoud, prompts en taalmodelimplementaties volledig door de klant beheerde resources zijn. Foundry ondersteunt filters voor inhoudsveiligheid voor modelimplementaties en klanten zijn verantwoordelijk voor het configureren van deze filters indien nodig. Naast de configuraties die beschikbaar zijn in Foundry, past Azure AI Zoeken geen extra veiligheidsfilters voor inhoud toe binnen de GenAI-promptvaardigheid.

Houd rekening met het volgende bij het implementeren van de GenAI Prompt-vaardigheid:

• Implementeer processen voor menselijke beoordeling van door AI gegenereerde inhoud, met name bij het toepassen van prompttransformaties die van invloed kunnen zijn op de betrouwbaarheid van informatie. Gebruik het hulpprogramma voor Azure AI Zoeken debugsessies om prompts voor voorbeelddocumenten te testen vóór een volledige implementatie.
• Vermijd scenario's waarbij het gebruik of misbruik van het systeem kan leiden tot aanzienlijke fysieke of psychologische letsels voor een persoon. Scenario's die bijvoorbeeld patiënten diagnosticeren of medicijnen voorschrijven, hebben het potentieel om aanzienlijke schade te veroorzaken. Het integreren van zinvolle menselijke beoordeling en toezicht in het scenario kan helpen het risico op schadelijke resultaten te verminderen.
• Houd zorgvuldig rekening met alle generatieve gebruiksvoorbeelden. Scenario's voor het genereren van inhoud kunnen waarschijnlijk onbedoelde uitvoer produceren en deze scenario's vereisen zorgvuldige overwegingen en oplossingen.
• Juridische en wettelijke overwegingen. Organisaties moeten potentiële specifieke wettelijke en wettelijke verplichtingen evalueren bij het gebruik van AI Search, wat mogelijk niet geschikt is voor gebruik in elke branche of elk scenario. Beperkingen kunnen variëren op basis van regionale of lokale wettelijke vereisten. Bovendien is AI Search niet ontworpen voor en kan niet worden gebruikt op manieren die verboden zijn in toepasselijke servicevoorwaarden en relevante gedragscodes.

Systeemgedrag

De oorspronkelijke gespreks- of zoekquery wordt verzonden naar het Azure OpenAI-model van een klant om de stappen voor queryplanning uit te voeren. Bij het plannen van query's wordt het gesprek opgesplitst in een reeks geoptimaliseerde subquery's die overeenkomen met de onderliggende intentie van de gebruiker met gecorrigeerde spelling en uitgebreide synoniemen. Azure AI Zoeken verwerkt vervolgens alle subquery's tegelijk in het volledige systeem voor het ophalen van zoekopdrachten. Subquery's worden eerst verwerkt door een hybride combinatie van trefwoordzoekopdrachten en vectorzoekopdrachten. Zoeken naar trefwoorden vindt de documenten in de zoekindex met vergelijkbare trefwoorden als de subquery's. Vectorzoekopdrachten zoeken naar documenten in de zoekindex die mogelijk verschillende trefwoorden hebben, maar vergelijkbare onderliggende betekenis voor de subquery's. De resultaten van deze hybride zoekopdracht worden vervolgens opnieuw gerangschikt op semantische rangschikking om de documenten te vinden met de beste overeenkomst met de intentie van de subquery. De service voegt vervolgens dubbele waarden samen en verwijdert deze uit de gerangschikte resultaten, waarbij antwoordlimieten worden toegepast, zoals de maximale uitvoerlengte voordat het uiteindelijke antwoord wordt teruggestuurd.

Gebruiksscenario's

Voorbeelden van gebruikssituaties

• Grondgegevens voor aangepaste chatbots. Koppel de chatbot aan het officiële HR-beleid en het werknemershandboek van het bedrijf, zodat wanneer iemand vraagt: "Hoeveel vakantiedagen krijg ik?" de chatbot het antwoord rechtstreeks uit die documenten haalt in plaats van te raden.
• Rust bedrijfskennisassistenten uit om gebruikerscontext, filters en chatgeschiedenis te respecteren. Wanneer een werknemer bijvoorbeeld vraagt naar de doelen voor een bepaalde periode, gebruikt de assistent zijn rol, de huidige filters (bijvoorbeeld regio: VS) en het lopende gesprek (bijvoorbeeld het laatste onderwerp is 'Q2-pijplijn') om een persoonlijk antwoord te genereren.
• Pak complexe informatiezoekopdrachten aan waarbij een enkel trefwoordquery lage recall heeft. Dergelijke taken kunnen bestaan uit probleemoplossingsgidsen, medisch-literatuuronderzoek of productvergelijkingen. Als een technicus bijvoorbeeld simpelweg 'apparaatfout' doorzoekt en algemene resultaten ontvangt, kan een agentic retriever rekening houden met de volledige gespreksgeschiedenis, waaronder apparaatmodel, softwareversie, onderhoudsgeschiedenis en netwerkstatus om nauwkeurige, relevante artikelen weer te geven.
• Zorg voor volledige transparantie in wat is opgehaald, waarom en tegen welke kosten. Bij het samenvatten van regelgevingsdocumenten en eerdere controleresultaten is het bijvoorbeeld essentieel om de exacte bronnen te kennen (bijvoorbeeld SEC-archivering van Q2 2023), de selectiereden (bijvoorbeeld 'overeenkomende trefwoorden: openbaarmaking van risico's, derivaten'), en de bijbehorende kosten (bijvoorbeeld tokengebruik).

Overwegingen bij het kiezen van een use-case

• Latentie: Het toevoegen van een tweede LLM-aanroep voor het plannen van query's breidt de retourtijd van de aanvraag onvermijdelijk uit. Zelfs met snelle modellen moet u de extra vertraging onder piekverkeer benchmarken en controleren of de algehele ervaring acceptabel blijft voor uw gebruikers. Wanneer latentie kritiek is, kunt u overwegen om frequente query's in de cache op te nemen of kleinere, snellere planningsmodellen te gebruiken.
• Kosten: kosten worden opgebouwd op twee dimensies: OpenAI-modeltokens en zoekrangschikkingstokens. De queryplanner-aanroep wordt gefactureerd door Azure OpenAI voor zowel invoer- als uitvoertokens, terwijl elke subquery wordt gefactureerd door Azure AI Zoeken voor de tokens die het moet rangschikken. Classificatietokens zijn gratis in de eerste fase van de openbare preview. Maak vooraf een schatting van zowel model- als classificatietokennummers voor uw workload.
• Gevoelige invoer: De volledige gespreksgeschiedenis wordt doorgestuurd naar het plannermodel, wat betekent dat eventuele persoonlijk identificeerbare of zakelijke gevoelige gegevens uw directe vertrouwensgrens verlaten. Verwijder, maskeer of anonimiseer dergelijke gegevens voordat u de LLM aanroept en leg die maatregel vast in uw gegevensbeschermingsbeleid.
• Regio- en preview-limieten: agentisch ophalen is alleen beschikbaar in regio's waar semantische rangschikking beschikbaar is. Een afzonderlijke agent kan verwijzen naar slechts één zoekindex. Controleer of de regio die als host fungeert voor uw gegevens en model ondersteuning biedt voor agentisch ophalen en plan afzonderlijke agents als u meerdere indexen of geografische gebieden moet omvatten.
• Naleving: Controleer of het gebruik van een DOOR LLM gestuurde queryplanner voldoet aan sectorspecifieke of regionale vereisten (bijvoorbeeld regels voor gegevenslocatie, privacy of geautomatiseerde beslissingen in de gezondheidszorg of financiën). Zorg voor voldoende menselijk toezicht en controle. Overweeg besturingselementen op te nemen om ontwikkelaars te helpen acties tijdig te controleren, te controleren en/of goed te keuren, waaronder het controleren van geplande taken of aanroepen naar externe gegevensbronnen.
• Juridische en regelgevingsoverwegingen: gebruikers moeten potentiële specifieke wettelijke en wettelijke verplichtingen evalueren bij het gebruik van Foundry Tools en oplossingen, die mogelijk niet geschikt zijn voor gebruik in elke branche of scenario. Bovendien zijn Foundry Tools of oplossingen niet ontworpen voor en kunnen niet worden gebruikt op manieren die verboden zijn in toepasselijke servicevoorwaarden en relevante gedragscodes.

AI-verrijking in Azure AI Zoeken maakt gebruik van de indexeerfunctie en gegevensbronfuncties van de service om Foundry Tools aan te roepen om de inhoudsverrijking uit te voeren. Beperkingen van de indexeerfuncties en gegevensbronnen die in dit proces worden gebruikt, zijn van toepassing. Raadpleeg de documentatie voor de indexeerfunctie en de gegevensbron voor meer informatie over deze gerelateerde beperkingen. De beperkingen van elk Foundry-hulpprogramma dat wordt gebruikt door de AI-verrijkingspijplijn in Azure AI Zoeken zijn ook van toepassing. Zie de transparantienotities voor elke service voor meer informatie over deze beperkingen.

Technische beperkingen, operationele factoren en reikwijdtes

Alle vectoren die naar Azure AI Zoeken zijn geüpload, moeten extern worden gegenereerd vanuit de service met behulp van een model van uw keuze. Het is uw verantwoordelijkheid om rekening te houden met de technische beperkingen en operationele factoren van elk model en of de insluitingen die het maakt, zijn geoptimaliseerd of zelfs geschikt voor uw use-case. Dit omvat zowel de deducties van betekenis die zijn geëxtraheerd uit inhoud als de dimensionaliteit van de ruimte voor het insluiten van vectoren.

Het vectorisatiemodel maakt een insluitingsruimte waarmee de resulterende zoekervaring voor eindgebruikers van een toepassing wordt gedefinieerd. Er kunnen negatieve gevolgen zijn voor een model dat zowel de functionaliteit als de prestaties negatief beïnvloedt als een model niet goed overeenkomt met een gewenste use case of dat de gegenereerde insluitingen slecht zijn geoptimaliseerd.

Hoewel veel beperkingen van vectorzoekopdrachten afkomstig zijn van het model dat wordt gebruikt voor het genereren van insluitingen, zijn er enkele extra opties die u op het moment van query's moet overwegen. U kunt kiezen uit twee algoritmen om de relevantie voor vectorzoekresultaten te bepalen: Exhaustieve k-dichtstbijzijnde buren (KNN) of Hiërarchische Navigeerbare Kleine Wereld. Exhaustieve k-nabijste buren (KNN) voert een brute-force zoekopdracht uit door de gehele vectorruimte af te speuren naar overeenkomsten die het meest op de query lijken. Dit gebeurt door de afstanden tussen alle gegevenspuntparen te berekenen en de exacte k nabijste buren van een querypunt te vinden. Hoewel nauwkeuriger, kan dit algoritme traag zijn. Als lage latentie het primaire doel is, kunt u overwegen het HNSW-algoritme (Hierarchical Navigable Small World) te gebruiken. HNSW voert een efficiënte bijna dichtstbijzijnde buurzoekopdracht (ANN) uit in hoogdimensionale insluitingsruimten. Zie de vectorzoekdocumentatie voor meer informatie over deze opties.

Aanbevolen procedures voor het verbeteren van systeemprestaties

• Besteed wel tijd aan A/B-testen van uw toepassing met de verschillende inhouds- en querytypen die u verwacht dat uw toepassing moet ondersteunen. Bepaal welke query-ervaring het meest geschikt is voor uw behoeften.
• Besteed tijd aan het testen van uw modellen met een volledig scala aan invoerinhoud om te begrijpen hoe deze zich gedraagt in veel situaties. Deze inhoud kan mogelijk gevoelige invoer bevatten om te begrijpen of er sprake is van vooroordelen die inherent zijn aan het model. Het overzicht Azure OpenAI Responsible AI bevat richtlijnen voor het verantwoord gebruik van AI.
• Overweeg om Azure AI Content Veiligheid toe te voegen aan uw toepassingsarchitectuur. Het bevat een API voor het detecteren van schadelijke door de gebruiker gegenereerde en DOOR AI gegenereerde tekst of afbeeldingen in toepassingen en services.

Vectorzoekopdrachten evalueren en integreren voor uw gebruik

Om optimale prestaties te garanderen, voert u uw eigen evaluaties uit van de oplossingen die u wilt implementeren met behulp van vectorzoekopdrachten. Volg een evaluatieproces dat: (1) enkele interne belanghebbenden gebruikt om resultaten te evalueren, (2) maakt gebruik van A/B-experimenten om vectorzoekopdrachten uit te rollen voor gebruikers, (3) bevat key performance indicators (KPI's) en metrische bewaking wanneer de service voor het eerst wordt geïmplementeerd in ervaringen, en (4) tests en aanpassingen van de semantische classificatieconfiguratie en/of indexdefinitie, inclusief de omringende ervaringen, zoals plaatsing van gebruikersinterfaces of bedrijfsprocessen.

Microsoft heeft vectorzoekopdrachten grondig geëvalueerd in termen van latentie en relevantievoldoening door diverse datasets te gebruiken om de snelheid, schaalbaarheid en nauwkeurigheid van de verkregen resultaten te meten. De primaire focus van uw evaluatie-inspanningen moet zijn op het selecteren van het juiste model voor uw specifieke use-case, het begrijpen van de beperkingen en vooroordelen van het model en het grondig testen van de end-to-end vectorzoekervaring.

Technische beperkingen, operationele factoren en reikwijdtes

Er zijn mogelijk gevallen waarin semantische resultaten, bijschriften en antwoorden mogelijk niet juist lijken te zijn. De modellen die door semantische ranker worden gebruikt, worden getraind op verschillende gegevensbronnen (waaronder open source en selecties uit het Microsoft Bing corpus). Semantische rangschikking ondersteunt een breed scala aan talen en probeert gebruikersquery's te koppelen aan inhoud uit uw zoekresultaten. Semantische rangschikker is ook een premium-functie met extra kosten die in overweging moeten worden genomen bij de schatting van de totale kosten van uw end-to-end-oplossing.

Semantische rangschikking verbetert waarschijnlijk de relevantie van inhoud die semantisch rijk is, zoals artikelen en beschrijvingen. Er wordt gezocht naar context en verwantheid tussen termen, het verhogen van overeenkomsten die logischer zijn op basis van de query. Taalbegrip 'vindt' samenvattingen of bijschriften en antwoorden binnen uw inhoud, maar in tegenstelling tot generatieve modellen zoals de Azure OpenAI Service modellen GPT-3.5 of GPT-4, maakt het deze niet. Alleen exacte tekst uit brondocumenten wordt opgenomen in het antwoord, dat vervolgens kan worden weergegeven op een pagina met zoekresultaten voor een productievere zoekervaring.

Vooraf getrainde modellen van de nieuwste generatie worden gebruikt voor samenvatten en rangschikking. Om de snelle prestaties te behouden die gebruikers verwachten van zoekopdrachten, worden semantische samenvatting en classificatie toegepast op alleen de top 50 resultaten, zoals beoordeeld door het standaardscore-algoritme. Invoer wordt afgeleid van de inhoud in het zoekresultaat. Het kan niet teruggaan naar de zoekindex om toegang te krijgen tot andere velden in het zoekdocument die niet zijn geretourneerd in het queryantwoord. Invoer is onderworpen aan een tokenlengte van 8.960. Deze limieten zijn nodig om de reactietijden van milliseconden te handhaven.

Het standaardscore-algoritme is afkomstig van Bing en Microsoft Research en geïntegreerd in de Azure AI Zoeken-infrastructuur als een invoegtoepassingsfunctie. De modellen worden intern gebruikt, worden niet blootgesteld aan de ontwikkelaar en kunnen niet worden geconfigureerd. Zie Hoe AI van Bing Azure AI Zoeken versterkt (Microsoft Onderzoeksblog) voor meer informatie over het onderzoek en de AI-investeringen die de semantische rangschikking ondersteunen.

Semantische rangschikking biedt ook antwoorden, bijschriften en markeringen in het antwoord. Als het model bijvoorbeeld een query classificeert als een vraag en 70% vertrouwen heeft in het antwoord, retourneert het model een semantisch antwoord. Daarnaast bieden semantische bijschriften de meest relevante inhoud in de resultaten en geven ze een kort fragment waarin de meest relevante woorden of woordgroepen in dat fragment worden gemarkeerd.

Semantische rangschikkingsresultaten zijn gebaseerd op de gegevens in de onderliggende zoekindex en de modellen bieden relevantieclassificatie, antwoorden en bijschriften op basis van de informatie die uit de index is opgehaald. Voordat u semantische rangschikking in een productieomgeving gebruikt, is het belangrijk om verder te testen en ervoor te zorgen dat de gegevensset juist en geschikt is voor de beoogde use-case. Zie de inhoud en bijlage hier voor meer informatie en voorbeelden van het evalueren van semantische rangschikking.

Systeemprestaties

In veel AI-systemen worden de prestaties vaak gedefinieerd in relatie tot nauwkeurigheid: hoe vaak het AI-systeem een juiste voorspelling of uitvoer biedt. Met grootschalige modellen voor natuurlijke taal kunnen twee verschillende gebruikers dezelfde uitvoer bekijken en verschillende meningen hebben over hoe nuttig of relevant het is, wat betekent dat de prestaties voor deze systemen flexibeler moeten worden gedefinieerd. Hier definiëren we prestaties als dat de toepassing presteert zoals u en uw gebruikers verwachten, waarbij er geen schadelijke uitvoer wordt gegenereerd.

De semantische rangschikking is getraind op openbare inhoud. Als gevolg hiervan varieert de semantische relevantie op basis van de documenten in de index en de query's die hierop zijn uitgegeven. Het is belangrijk om uw eigen oordeel en onderzoek te gebruiken wanneer u deze inhoud gebruikt voor besluitvorming.

Aanbevolen procedures voor het verbeteren van systeemprestaties

• Neem de tijd voor het A/B-testen van uw toepassing met verschillende querytypen, zoals trefwoord versus hybride plus semantische rangschikker. Bepaal welke query-ervaring het meest geschikt is voor uw behoeften.
• Voer een redelijke inspanning uit om uw semantische configuratie in te stellen in overeenstemming met de functiedocumentatie.
• Vertrouw de semantische antwoorden niet als u geen vertrouwen hebt in de nauwkeurigheid van de informatie in de zoekindex.
• Vertrouw niet altijd semantische bijschriften omdat ze worden geëxtraheerd uit klantinhoud via een reeks modellen die de meest relevante antwoorden in een kort fragment voorspellen.

Evaluatie van Semantische rangschikking

Evaluatiemethoden

Semantische ranker is geëvalueerd via interne tests, waaronder geautomatiseerd en menselijk oordeel over meerdere gegevenssets en feedback van interne klanten. Testen omvat de rangschikking van documenten door ze te scoren als relevant of niet relevant, samen met classificatiedocumenten in volgorde van relevantie. Op dezelfde manier werden de functies voor ondertiteling en antwoorden ook gerangschikt via interne tests.

Evaluatieresultaten

We streven ernaar om alle modelupdates regressievrij te verzenden (het bijgewerkte model mag alleen het huidige productiemodel verbeteren). Elke kandidaat wordt rechtstreeks vergeleken met het huidige productiemodel met behulp van metrics die geschikt zijn voor de eigenschap die wordt geëvalueerd (bijvoorbeeld genormaliseerde cumulatieve winst met korting voor rangschikking en precisie/recall voor antwoorden). Semantische classificatiemodellen worden getraind, afgestemd en geëvalueerd met behulp van een breed scala aan trainingsgegevens die representatief zijn voor documenten met verschillende eigenschappen (taal, lengte, opmaak, stijlen en tonen) ter ondersteuning van de breedste reeks zoekscenario's. Onze trainings- en testgegevens zijn afkomstig uit:

Bronnen van documenten:

• Academische en industriële benchmarks
• Klantgegevens (alleen testen, uitgevoerd met klantmachtiging)
• Synthetische gegevens

Bronnen van vragen

• Benchmark-querysets
• Door de klant verstrekte querysets (alleen testen, uitgevoerd met klantmachtigingen)
• Synthetische querysets
• Door mensen gegenereerde querysets

Bronnen van labels voor scoringsquery's en documentparen:

• Labels voor academische en industriële benchmarks
• Klantlabels (alleen testen, uitgevoerd met klantmachtiging)
• Synthetische gegevenslabels
• Labels door mensen beoordeeld

Semantische ranker evalueren en integreren voor uw gebruik

De prestaties van semantische rangschikking variëren afhankelijk van het werkelijke gebruik en de omstandigheden waarin mensen deze gebruiken. De kwaliteit van de relevantie die wordt geboden via de Deep Learning-modellen die semantische rangschikkingsmogelijkheden mogelijk maken, wordt rechtstreeks gecorreleerd aan de gegevenskwaliteit van uw zoekindex. De modellen hebben momenteel bijvoorbeeld tokenbeperkingen die alleen rekening houden met de top 8.960-tokens voor semantische antwoorden. Als het semantische antwoord op een zoekquery daarom wordt gevonden aan het einde van een lang document (buiten de limiet van 8.960 token), wordt het antwoord niet opgegeven. Dezelfde regel geldt voor bijschriften. De semantische configuratie bevat ook relevante zoekvelden in volgorde van prioriteit. U kunt de volgorde van de velden in deze lijst wijzigen om de relevantie aan te passen aan uw behoeften.

Om optimale prestaties in hun scenario's te garanderen, moeten klanten hun eigen evaluaties uitvoeren van de oplossingen die ze implementeren met behulp van semantische rangschikking. Klanten moeten over het algemeen een evaluatieproces volgen dat: (1) enkele interne belanghebbenden gebruikt om resultaten te evalueren, (2) maakt gebruik van A/B-experimenten om semantische rangschikking uit te rollen voor gebruikers, (3) bevat KPI's en metrische gegevenscontrole wanneer de service voor het eerst wordt geïmplementeerd in ervaringen, en (4) tests en aanpassingen van de semantische classificatieconfiguratie en/of indexdefinitie, inclusief de omringende ervaringen, zoals plaatsing van gebruikersinterfaces of bedrijfsprocessen.

Als u een toepassing ontwikkelt in een domein of branche met een hoog belang, zoals gezondheidszorg, human resources, onderwijs of het juridische veld, beoordeelt u hoe goed de toepassing werkt in uw scenario, implementeert u een sterk menselijk toezicht, evalueert u hoe goed gebruikers de beperkingen van de toepassing begrijpen en voldoen aan alle relevante wetten. Overweeg andere oplossingen op basis van uw scenario.

Technische beperkingen, operationele factoren en reikwijdtes

Er kunnen gevallen zijn waarin synthetische query's onjuist zijn, worden geleverd met te veel beperkingen of te duur zijn. Het herschrijven van query's ondersteunt een breed scala aan talen en probeert gebruikersquery’s te herschrijven om de herinnering te maximaliseren. Het is vereist om de querytaal als invoer op te geven. Het herschrijven van query's maakt deel uit van Semantic Ranker (Azure AI Zoeken functie om de relevantie van de zoekopdracht te verbeteren), een Premium-functie met extra kosten. Dit moet worden overwogen bij het projecteren van de totale kosten van uw end-to-end-oplossing. Het herschrijven van query's kan alleen worden gebruikt als semantische rangschikking is ingeschakeld.

Voordat u query's herschrijft in een productieomgeving (liveversie van uw toepassing), is het belangrijk om verdere tests uit te voeren en ervoor te zorgen dat de synthetische query's geschikt zijn voor de beoogde use case. Zie de inhoud en bijlage hier voor meer informatie en voorbeelden van het evalueren van het herschrijven van query's.

Systeemprestaties

Met grootschalige modellen voor natuurlijke taal kunnen twee verschillende gebruikers dezelfde uitvoer bekijken en verschillende meningen hebben over hoe nuttig of relevant het is, wat betekent dat de prestaties voor deze systemen flexibeler moeten worden gedefinieerd. Hier definiëren we prestaties als dat de toepassing presteert zoals u en uw gebruikers verwachten, waarbij er geen schadelijke uitvoer wordt gegenereerd.

De prestaties van het herschrijven van query's zijn afhankelijk van het werkelijke gebruik en de voorwaarden waarin mensen deze gebruiken. De kwaliteit van synthetische query's die door het herschrijvingsmodel worden geleverd, staat in directe correlatie met de oorspronkelijke zoekquery.

Om optimale prestaties in hun scenario's te garanderen, moeten klanten hun eigen evaluaties uitvoeren van de oplossingen die ze implementeren met behulp van het herschrijven van query's. Klanten moeten over het algemeen een evaluatieproces volgen dat:

1. maakt gebruik van enkele interne belanghebbenden om resultaten te evalueren,
2. maakt gebruik van A/B-experimenten om het herschrijven van query's uit te rollen voor gebruikers, en
3. bevat KPI's en bewaking van metrische gegevens wanneer de service voor het eerst wordt geïmplementeerd in ervaringen

Aanbevolen procedures voor het verbeteren van systeemprestaties

• Voltooi A/B-tests voor uw toepassing met verschillende querytypen (volledige tekst, vector, hybride of ander type query's). Bepaal welke query-ervaring het meest geschikt is voor uw behoeften.
• Neem niet altijd aan dat elke synthetische query die wordt gegenereerd door het herschrijven van query's de exacte intentie van de oorspronkelijke query weergeeft. Synthetische query's worden gegenereerd door een nauwkeurig afgestemde SLM, waarmee query's s semantisch worden gegenereerd die vergelijkbaar zijn met de intentie van de oorspronkelijke query, maar mogelijk niet overeenkomen met de exacte intentie.

Evaluatie van het herschrijven van query's

Evaluatiemethoden

Het herschrijven van query's is geëvalueerd via interne tests, waaronder geautomatiseerd en menselijk oordeel over meerdere gegevenssets, evenals feedback van interne klanten. Testen omvatten het evalueren van de relevantie van resultaten van semantische rangschikking in combinatie met het herschrijven van query's in vergelijking met de relevantie van resultaten met alleen semantische classificatie.

Evaluatieresultaten

Elk kandidaatmodel wordt rechtstreeks vergeleken met het momenteel geïmplementeerde model met behulp van metrische gegevens die geschikt zijn voor de functie die wordt geëvalueerd. Modellen voor het herschrijven van query's worden afgestemd en geëvalueerd met behulp van een breed scala aan openbare gegevens die representatief zijn voor query's met verschillende eigenschappen (taal, lengte, opmaak, stijlen en tonen) ter ondersteuning van de breedste reeks zoekscenario's. Onze trainings- en testgegevens zijn afkomstig uit:

Bronnen van documenten:

• Academische en industriële benchmarks
• Klantgegevens (alleen testen, uitgevoerd met klantmachtiging)

Bronnen van vragen

• Benchmark-querysets
• Door de klant verstrekte querysets (alleen testen, uitgevoerd met klantmachtigingen)
• Synthetische querysets
• Door mensen gegenereerde querysets

Bronnen van labels voor scoringsquery's en documentparen:

• Labels voor academische en industriële benchmarks
• Klantlabels (alleen testen, uitgevoerd met klantmachtiging)
• Synthetische gegevenslabels
• Labels door mensen beoordeeld

Het evalueren en integreren van het herschrijven van query's voor uw gebruik

Wanneer het herschrijven van query's is getraind op openbare inhoud, variëren de synthetische query's op basis van de query's die eraan zijn uitgegeven. Het is dus belangrijk om uw eigen oordeel en onderzoek te gebruiken wanneer u deze inhoud gebruikt voor besluitvorming.

Technische beperkingen, operationele factoren en reikwijdtes

Hoewel genAI-promptvaardigheden krachtige mogelijkheden bieden, is het essentieel om bepaalde beperkingen te herkennen:

• De vaardigheid is afhankelijk van door de klant geconfigureerde inhoudsfilters in Foundry. Azure AI Zoeken biedt geen aanvullende mechanismen voor inhoudsveiligheid voor deze vaardigheid.
• De kwaliteit van door AI gegenereerde inhoud is afhankelijk van de effectiviteit van de prompts en het onderliggende taalmodel. Grondig testen is nodig om ervoor te zorgen dat de uitvoer voldoet aan de gewenste normen.
• Het verwerken van grote hoeveelheden gegevens met complexe prompts kan aanzienlijke rekenbronnen vereisen en kan latentie veroorzaken. Plan en wijs middelen verstandig toe om niet alleen de prestaties en kosteneffectiviteit te behouden, maar ook om mogelijke vertragingen in gegevensverwerking te voorkomen.

Systeemprestaties

Aanbevolen procedures voor het verbeteren van systeemprestaties

De prestaties van de GenAI Prompt-vaardigheid optimaliseren.

• Gebruik het hulpprogramma voor Azure AI Zoeken debugsessies om prompts voor voorbeelddocumenten te testen, zodat de door AI gegenereerde inhoud overeenkomt met de verwachtingen vóór de volledige implementatie.
• Maak duidelijke en gedetailleerde aanwijzingen om het taalmodel effectief te begeleiden, waardoor de kans op irrelevante of onnauwkeurige uitvoer wordt verminderd.
• Bewaak de systeemprestaties en schaal zo nodig resources om de rekenvereisten van AI-verwerking af te handelen.
• Moedig menselijk toezicht op de resultaten aan vóór publicatie of verspreiding. Met generatieve AI is het mogelijk om inhoud te genereren die mogelijk aanstootgevend of irrelevant is voor de taak die bij de hand is.

Evaluatie van GenAI Prompt-vaardigheid

GenAI Prompt-vaardigheid evalueren en integreren voor uw gebruik

Houd rekening met de volgende stappen om de voordelen van de GenAI Prompt-vaardigheid binnen uw specifieke context te maximaliseren:

• Bepaal de specifieke verrijkingsdoelen, zoals het genereren van beknopte samenvattingen, het extraheren van belangrijke entiteiten of het maken van beschrijvende metagegevens, om de toepassing van de vaardigheid af te stemmen op uw zakelijke behoeften.
• Begin met een subset van uw gegevens om de prestaties van de vaardigheid te beoordelen en noodzakelijke aanpassingen te maken. Met deze aanpak kunnen gecontroleerde experimenten en verfijning worden uitgevoerd voordat de implementatie op volledige schaal wordt uitgevoerd.
• Stel mechanismen in om de kwaliteit en impact van de door AI gegenereerde inhoud te bewaken. Vraag feedback van eindgebruikers om gebieden voor verbetering te identificeren en ervoor te zorgen dat de verrijkte gegevens voldoen aan de verwachtingen van de gebruiker.

Technische beperkingen, operationele factoren en reikwijdtes

Er kunnen gevallen zijn waarin door LLM gegenereerde subquery's niet relevant zijn, te beperkend zijn of de tokkosten verhogen. Agent-gebaseerd ophalen ondersteunt alle talen die door de GPT-4o-familie worden ondersteund, maar de kwaliteit van het gegenereerde query-plan blijft afhankelijk van de duidelijkheid van de gebruikersinvoer. Omdat agentisch ophalen afhankelijk is van een semantische ranker voor elke subquery, moet de semantische ranker ingeschakeld zijn op de index. Semantische ranker is een premium, op tokens gebaseerde functie; hoewel de classificatiekosten tijdens de eerste fase van de openbare preview worden afgetrokken, worden ze later toegepast en moeten ze worden meegenomen in de totale eigendomskosten.

Voordat u agent retrieval naar een productieomgeving verplaatst, voert u aanvullende tests uit om te bevestigen dat de subquery’s en de geretourneerde passages geschikt zijn voor de bedoelde use case, en dat latentie en kosten voldoen aan uw serviceniveaudoelstellingen en dat de grondgegevens geen gevoelige of niet-conforme inhoud blootstellen.

Systeemprestaties

Net als bij elk grootschalige taalmodelsysteem kunnen verschillende gebruikers verschillende beoordelingen bereiken over de bruikbaarheid of relevantie van de geretourneerde passages, zodat de prestaties flexibel moeten worden gedefinieerd. Voor agentgebaseerde opvraging beschouwen we goede prestaties als dat de end-to-end-toepassing de verwachte inhoud aan uw gebruikers levert, zonder onacceptabele vertragingen, kosten of schadelijke resultaten.

De effectiviteit van agentisch ophalen is afhankelijk van veel echte factoren:

• Lengte van prompt/chatgeschiedenis
• Aantal door LLM gegenereerde subquery's
• Indexgrootte en schema (trefwoord, vector, hybride)
• Keuze van planningsmodel (GPT-4o vs. GPT-4o-mini)
• Semantische zoekconfiguratie en scoredrempels

Aanbevolen procedures voor het verbeteren van systeemprestaties

• U kunt oudere chats samenvatten of knippen om het tokengebruik laag te houden.
• De rangschikkingsdrempel afstemmen zodat alleen zeer relevante passages worden geretourneerd
• Waar mogelijk filters gebruiken

Evaluatie van agent-gebaseerd ophalen

Agentic retrieval is geëvalueerd via interne tests, waaronder geautomatiseerd en menselijk oordeel over meerdere datasets. Testen omvatten het evalueren van de relevantie van resultaten van agentisch ophalen vergeleken met resultaten met alleen semantische classificatie.

Evaluatiemethoden

Elke configuratie voor het ophalen van de kandidaat-agent, gedefinieerd door de plannerprompt, modelvariant, aantal subquery's en classificatiedrempels, wordt head-to-head geëvalueerd op basis van de productiebasislijn. We passen een suite met relevantie, veiligheid, latentie en metrische kosten toe die specifiek zijn gekozen voor scenario's voor het ophalen van meerdere query's. Om de betrouwbaarheid in praktijkgebruiksscenario's te garanderen, worden afstemming en testen uitgevoerd op een brede mix van openbare en door de klant goedgekeurde gegevenssets die variëren in taal, querylengte, opmaak, stijl en gesprekstoon. Testmateriaal is afkomstig van:

Bronnen van documenten:

• Academische en industriële benchmarks
• Klantgegevens (alleen testen, uitgevoerd met klantmachtiging)
• Bronnen van vragen
• Benchmark-querysets
• Door de klant verstrekte querysets (alleen testen, uitgevoerd met klantmachtigingen)
• Synthetische querysets
• Door mensen gegenereerde querysets

Bronnen van labels voor scoringsquery's en documentparen:

• Labels voor academische en industriële benchmarks
• Klantlabels (alleen testen, uitgevoerd met klantmachtiging)
• Synthetische gegevenslabels
• Labels door mensen beoordeeld

Evaluatie en integratie van agentische gegevensophaling voor uw gebruik

Omdat de agentic-retrieval planner grotendeels wordt getraind op openbare gegevens, is de kwaliteit en relevantie van de gegenereerde subqueries afhankelijk van uw domein en de specifieke gebruikersprompts. Als u de voordelen van agentisch ophalen binnen uw specifieke context wilt maximaliseren, moet u de volgende stappen overwegen:

• Valideer de uitvoer voordat u deze gebruikt om bedrijfskritieke beslissingen te nemen: inspecteer handmatig een voorbeeld van gegenereerde subquery's en geretourneerde documenten om te bevestigen dat deze overeenkomen met domeinterminologie, nauwkeurigheid en nalevingsvereisten.
• Geef domeinspecifieke informatie op voor de planner. Geef synoniemenkaarten en volledige gespreksgeschiedenis op, zodat de LLM query's kan parafraseren en uitwerken binnen de context van uw inhoud, waarbij het terughalen van informatie en precisie worden verbeterd.
• Fallback- of kaderlogica implementeren: Als de planner subquery's met een lage betrouwbaarheid of buiten het bereik produceert, routeert u de aanvraag naar een eenvoudiger trefwoord of vectorzoekopdracht, of geeft u een uitlegprompt aan de gebruiker, om te voorkomen dat onbetrouwbare antwoorden downstream worden doorgegeven.