Genie Code voor waarneembaarheid en evaluatie van agents

Genie Code biedt een natuurlijke taalinterface voor het begrijpen, debuggen en verbeteren van je agenten binnen MLflow. Het heeft leestoegang tot alles in uw experiment, van logbestanden, prompts en datasets tot evaluatieuitvoeringen, scorers en labelsessies, zodat u uw observability en evaluatiegegevens op een gesprekelijke wijze kunt verkennen in plaats van query's te schrijven of op meerdere UI-pagina's te navigeren.

Als u wilt beginnen, klikt u op het geniecodepictogram in de rechterbovenhoek van uw werkruimte terwijl u een experiment bekijkt.

Mogelijkheden

Genie Code kan u helpen met een breed scala aan waarneembaarheids- en evaluatietaken, waaronder:

• Traceringsanalyse en foutopsporing: Onderzoek mislukte traceringen, zoek fouten, bekijk spanstructuren, identificeer hoofdoorzaken, analyseer latentie en identificeer knelpunten in de uitvoeringsstroom van uw agent. Verdiep je in elke tracering om de volledige hiërarchie te inspecteren, inclusief invoer, uitvoer, metagegevens en tokengebruik op elke stap.
• Metrische gegevens en prestaties: percentielen voor latentie berekenen (P50/P95/P99), foutenpercentages en doorvoer in de loop van de tijd bijhouden, gebruikspatronen en kosten van tokens analyseren en prestaties vergelijken tussen verschillende perioden of filters.
• Kwaliteit en evaluaties: Beoordelen van scores van menselijke feedback, LLM-beoordeelaars en programmatische controles. Inspecteer evaluatiesets, controleer de geregistreerde scorers en hun configuraties, en ontvang hulp bij het instellen van mlflow.genai.evaluate() met de juiste scorers.
• Labelen en controleren: bekijk labelsessies en wie is toegewezen om traceringen te controleren en inspecteer labelschema's om feedbackcriteria zoals beoordelingen, opmerkingen en verwachtingen te begrijpen.
• Promptregister: blader door prompts in Unity Catalog, bekijk sjablonen, versies en aliassen.
• Instrumentatiegids: Verkrijg hulp bij het toevoegen van tracering aan uw code met autolog(), @mlflow.trace of handmatige spans. Met uitvoerbare codefragmenten die u rechtstreeks in Azure Databricks-notebooks kunt plakken.

Voorbeeldvragen

Hier volgen enkele dingen die u Genie Code kunt vragen:

• Help me problemen ontdekken met het hulpprogramma van mijn agent dat de traceringen voor dit experiment de afgelopen 3 uur oproept.
• "Identificeer gevallen waarin gebruikers gefrustreerd raken in de gesprekken met mijn agent"
• "Welke sessies hebben de laagste scores voor feedback van gebruikers en wat is er misgegaan in deze gesprekken?"
• "Wat zijn de meest voorkomende foutpatronen in mijn traceringen van de afgelopen week en welke scorers moet ik toevoegen om ze te vangen?"
• "Welke spans verbruiken de meeste tokens in al mijn traceringen?"
• "Traceringen zoeken waarbij de retriever geen resultaten heeft geretourneerd, maar de agent probeerde toch te antwoorden"
• Help me bij het opzetten van een evaluatie voor mijn RAG-agent met de juiste scorers

Requirements

Als u Genie Code wilt gebruiken voor waarneembaarheid en evaluatie van agents, heeft uw werkruimte het volgende nodig:

• AI-functies aangedreven door partners, beschikbaar voor zowel het account als de werkruimte. Zie ai-functies die door partners worden aangedreven.
• Uw werkruimte moet zich in een ondersteunde regio bevinden. Genie Code is een Aangewezen Service die gebruikmaakt van Geos voor het beheren van gegevensresidentie. Bekijk de geografische beschikbaarheid van Genie Code-functies.

Aanvullende informatiebronnen

• Overzicht van MLflow Tracing - Lees meer over MLflow Tracing voor volledige end-to-end-zichtbaarheid.
• Evalueer en verbeter - Stel evaluatie en monitoring op voor je GenAI-agenten.
• Wat is agentobservabiliteit en kwaliteit? - Begin met MLflow 3 voor GenAI.