Używanie połączonych modeli w ocenach w chmurze

Połączone modele były wcześniej nazywane modelami admin-connected.

Połączone modele to modele hostowane za bramą SI przedsiębiorstwa, taką jak Azure API Management lub brama modelu SI inna niż Azure, które administrator łączy z projektem Foundry. Możesz użyć połączonego modelu na potrzeby scenariuszy oceny w chmurze, które akceptują wdrożenie modelu.

Foundry określa punkt końcowy połączenia i metodę uwierzytelniania, w tym klucz API, tożsamość zarządzaną lub uwierzytelnianie OAuth 2.0. Żądanie oceny po prostu odwołuje się do połączenia i wdrożenia, a usługa zarządza rozpoznawaniem i uwierzytelnianiem punktu końcowego bramy.

Wymagania wstępne

• Projekt Foundry.
• Rola użytkownika usługi Foundry w projekcie Foundry.
• Informacje o wszystkich wymaganiach dotyczących roli w procesie oceny można znaleźć w artykule Konfigurowanie uprawnień dla przepływów pracy oceny.
• Administrator utworzył połączenie bramy modelu Azure API Management lub modelu SI spoza platformy Azure w zasobie Foundry i dodał model w obszarze Zarządzanie>Szczegóły zasobu>Połączenia. Aby uzyskać instrukcje dotyczące konfiguracji, zobacz Bring your own model to Foundry Agent Service.
• Nazwa połączenia i nazwa wdrożenia dla modelu obsługującego interfejs API OpenAI Chat Completions.

Odwołaj się do połączonego modelu

Użyj następującego formatu w dowolnym miejscu obsługiwanego scenariusza oceny, który akceptuje wdrożenie modelu:

<connection-name>/<deployment-name>

W poniższej tabeli przedstawiono typowe powierzchnie ewaluacyjne i pole, które akceptuje odwołanie:

Użyj połączonego modelu jako modelu oceniającego

Ustaw initialization_parameters.model podczas konfigurowania ewaluatora wspomaganego przez sztuczną inteligencję. W tym przykładzie użyto modelu połączenia jako sędziego ewaluatora spójności:

from azure.ai.projects.models import TestingCriterionAzureAIEvaluator

connected_model = "my-apim-connection/my-model-name"

testing_criteria = [
    TestingCriterionAzureAIEvaluator(
        type="azure_ai_evaluator",
        name="coherence",
        evaluator_name="builtin.coherence",
        initialization_parameters={"model": connected_model},
        data_mapping={
            "query": "{{item.query}}",
            "response": "{{item.response}}",
        },
    ),
]

string connectedModel = "my-apim-connection/gpt-4o";

object[] testingCriteria =
[
    new
    {
        type = "azure_ai_evaluator",
        name = "coherence",
        evaluator_name = "builtin.coherence",
        initialization_parameters = new { model = connectedModel },
        data_mapping = new
        {
            query = "{{item.query}}",
            response = "{{item.response}}"
        }
    }
];

const connectedModel = "my-apim-connection/gpt-4o";

const testingCriteria = [
    {
        type: "azure_ai_evaluator",
        name: "coherence",
        evaluator_name: "builtin.coherence",
        initialization_parameters: { model: connectedModel },
        data_mapping: {
            query: "{{item.query}}",
            response: "{{item.response}}",
        },
    },
];

• Informacje referencyjne: TestingCriterionAzureAIEvaluator (Python)
• Odnośnik: API OpenAI Evals (testing_criteria, wszystkie języki)

Użyj połączonego modelu jako elementu docelowego

Ustawienie target.model powoduje wysyłanie poszczególnych danych wejściowych oceny do połączonego modelu:

connected_model = "my-apim-connection/my-model-name"

target = {
    "type": "azure_ai_model",
    "model": connected_model,
    "sampling_params": {
        "top_p": 1.0,
        "max_completion_tokens": 2048,
    },
}

string connectedModel = "my-apim-connection/gpt-4o";

object target = new
{
    type = "azure_ai_model",
    model = connectedModel,
    sampling_params = new
    {
        top_p = 1.0f,
        max_completion_tokens = 2048
    }
};

const connectedModel = "my-apim-connection/gpt-4o";

const target = {
    type: "azure_ai_model",
    model: connectedModel,
    sampling_params: {
        top_p: 1.0,
        max_completion_tokens: 2048,
    },
};

• Odnośnik: API OpenAI Evals (data_source.target, wszystkie języki)

Użyj tego obiektu docelowego z przepływem oceny obiektu docelowego modelu opisanym w artykule Uruchamianie ocen w chmurze.

Korzystanie z innych scenariuszy oceny

Inne scenariusze oparte na modelu w temacie Uruchamianie ewaluacji w chmurze przy użyciu zestawu SDK platformy Microsoft Foundry działają podobnie z połączonymi modelami. Wszędzie, gdzie scenariusz obsługuje wdrożenie obsługiwanego modelu, zastąp nazwę wdrożenia na <connection-name>/<deployment-name>. Na przykład symulacja konwersacji akceptuje to odwołanie w pliku model_configuration.model.

Pozostaw endpoint projektu Foundry bez zmian i nie dodawaj endpointu gateway ani poświadczeń do żądania ewaluacji. Narzędzie Foundry ustala te wartości z połączenia z podłączonym modelem.

Treści powiązane

• Przeprowadzaj oceny w chmurze, używając zestawu SDK Microsoft Foundry
• Korzystaj z własnego modelu w usłudze Foundry Agent Service