Szybki start: optymalizowanie agenta monitu (wersja zapoznawcza)

W tym przewodniku Szybki start użyj kreatora optymalizacji w portalu Foundry, aby ulepszyć instrukcje agenta promptów, opisy narzędzi do wywoływania funkcji oraz wybór modelu. Wybierz wersję agenta, zestaw danych i ewaluatorów, uruchom optymalizator i porównaj wygenerowane kandydaty z punktem odniesienia.

Jeśli nie masz subskrypcji platformy Azure, utwórz bezpłatne konto.

Wymagania wstępne

Przed rozpoczęciem potrzebne są następujące elementy:

• Projekt Microsoft Foundry z wdrożonym agentem monitu. Aby go utworzyć, zobacz Szybki start: tworzenie agenta monitu.
• Model oceny i obsługiwany model optymalizacji wdrożony w projekcie. Aby zapoznać się z obsługiwanymi modelami, zobacz Modele.
• Źródło zbioru danych: ślady agenta, zbiór danych ewaluacyjnych zarejestrowany w projekcie lub zbiór danych JSONL do przesłania. Zestaw danych musi używać nazw kolumn wymaganych przez wybranych ewaluatorów, ponieważ kreator nie obsługuje mapowania kolumn.

Otwórz kreator optymalizacji

1. Przejdź do portalu Foundry i otwórz projekt.
2. Wybierz pozycję Agenci, a następnie wybierz agenta monitu, który chcesz zoptymalizować.
3. Wybierz kartę Optymalizowanie .
4. Wybierz Utwórz uruchomienie optymalizacji.

Wybierz cel optymalizacji

Obiekt docelowy definiuje wersję agenta promptu oraz modele kandydujące do oceny.

1. W kroku Target wybierz wersję agenta, która ma być używana jako wersja bazowa. Domyślnie jest wybierana najnowsza wersja.
2. Wybierz model optymalizacji, maksymalną liczbę kandydatów i model oceny.
3. Aby ocenić kandydatów w wielu wdrożeniach modelu, włącz opcję Porównaj między modelami, a następnie wybierz modele do uwzględnienia.
4. Przejdź do kroku Zestaw danych .

Optymalizator może generować kandydatów poprawiających instrukcje agenta, opisy narzędzi wywołujących funkcje lub wybór modelu. Inne typy narzędzi nie są obsługiwane w przypadku optymalizacji opisów narzędzi.

Wybieranie zestawu danych oceny

Optymalizator używa tego samego zestawu danych do oceny punktu odniesienia i każdego wygenerowanego kandydata.

1. W kroku Zestaw danych wybierz jedną z następujących opcji:

   • Generowanie zestawu danych na podstawie śladów agenta.
   • Wybierz istniejący zestaw danych zarejestrowany w projekcie.
   • Przekaż nowy zestaw danych z urządzenia.

2. Wyświetl podgląd zestawu danych i upewnij się, że zawiera on kolumny wymagane przez ewaluatorów.

3. Przejdź do kroku Kryteria .

Używaj reprezentatywnych zadań, w tym typowych żądań, przypadków brzegowych i zachowań, które mają być zachowywane lub ulepszane przez optymalizator.

Wybieranie kryteriów oceny

Ewaluatorzy definiują, jak optymalizator ocenia każdą odpowiedź.

1. W kroku Kryteria wybierz co najmniej jednego ewaluatora:

   • Wybierz wbudowane ewaluatory i skonfiguruj wszystkie wymagane parametry.
   • Wybierz istniejący niestandardowy moduł oceny.
   • Utwórz niestandardowy ewaluator rubryk, a następnie wybierz go.

2. Upewnij się, że każdy ewaluator jest zgodny ze schematem zestawu danych.

3. Przejdź do kroku Przegląd .

Przeglądanie i przesyłanie przebiegu

1. W kroku Przegląd sprawdź agenta i wersję, zestaw danych, ewaluatorów, konfiguracje ewaluatora i modele kandydatów.

   Note

   Szacowany koszt jest modelowanym zakresem, a nie limitem wydatków ani ostatecznym obciążeniem. Przed przesłaniem zadania przejrzyj dane wejściowe obliczeń, założenia dotyczące cen i wykluczenia. Aby uzyskać szczegółowe informacje, zobacz Optymalizator agentów — szacowanie kosztów i użycie tokenu.

   W podsumowaniu przedstawiono wartości Minimum, Szacowane i Maksymalne . Rozwiń Podział kosztów (szacowany), aby sprawdzić szacowaną liczbę wywołań i koszty dla uruchamiania agenta, oceniania odpowiedzi i generowania ulepszeń.

2. Wybierz Prześlij.

3. Poczekaj na zakończenie przebiegu optymalizacji. Przebieg zostanie wyświetlony na liście Przebiegi optymalizacji z bieżącym stanem.

Czas wykonywania zależy od rozmiaru zestawu danych, liczby kandydatów i wybranych modeli.

Porównanie wyników

1. Gdy przebieg zakończy się pomyślnie, wybierz go w sekcji Przebiegi optymalizacji.
2. Porównaj wynik każdego kandydata z wynikiem punktu odniesienia.
3. Przejrzyj zmiany instrukcji przed i po.
4. Sprawdź wyniki poszczególnych ewaluatorów i, jeśli wybrano wiele modeli, porównaj wyniki dla każdego modelu.
5. Wybierz kandydata, który zapewnia znaczącą poprawę jakości bez niedopuszczalnego wzrostu użycia tokenu lub kosztów.

Widok Użycie tokenów ukończonego uruchomienia grupuje zmierzone tokeny wejściowe, wyjściowe i łączne według fazy i modelu. Raportuje ona liczbę tokenów, a nie ostateczną opłatę za walutę. Brak modelu lub wartości użycia oznacza, że użycie nie zostało przypisane lub zmierzone, a nie że było bezpłatne. Aby uzyskać szczegółowe informacje, zobacz Post-run measured token usage (Po uruchomieniu mierzone użycie tokenu).

Jeśli każdy kandydat uzyska wynik niższy niż punkt odniesienia, zachowaj bieżącego agenta. Przed ponownym uruchomieniem optymalizatora popraw zestaw danych, ewaluatorów lub ustawień optymalizacji.

Awansuj kandydata

Awansuj wybranego kandydata, aby utworzyć nową wersję agenta promptu.

1. Na ukończonej stronie przebiegu wybierz pozycję Promuj kandydata.
2. W sekcji Promowanie kandydata jako nowej wersji agenta wybierz kandydata do awansowania.
3. Przejrzyj bieżącą aktywną wersję oraz wzrost wyniku wybranego kandydata względem wartości bazowej.
4. Wybierz Awansuj do wersji agenta.

Podwyższenie poziomu tworzy nową wersję agenta ze zoptymalizowaną konfiguracją kandydata. Jeśli agent jest przypięty do określonej wersji, nowa wersja nie odbiera ruchu, dopóki nie ustawisz jej jako aktywnej wersji w szczegółach agenta.

Czego się nauczyłeś

W ramach tego szybkiego przewodnika wykonasz następujące czynności:

• Uruchomiono przebieg optymalizacji agenta promptów w portalu Foundry.
• Wybrano zestaw danych, ewaluatorów i modele kandydatów.
• Porównano zoptymalizowanych kandydatów z punktem odniesienia prompt-agent.
• Awansowano wybranego kandydata na nową wersję agenta promptów.

Treści powiązane

• Omówienie optymalizatora agentów
• Szacowanie kosztów i użycia tokenów optymalizatora agenta
• Szybki start: optymalizowanie hostowanego agenta
• Konwertuj ślady agenta na zestawy danych do oceny