Verwenden von vom Administrator verbundenen Modellen in Cloud-Auswertungen

Mit Administratoren verbundene Modelle sind Modelle, die hinter einem KI-Gateway des Unternehmens gehostet werden, z. B. Azure API Management oder ein NICHT-Azure AI-Modellgateway, das ein Administrator mit Ihrem Foundry-Projekt verbindet. Sie können ein vom Administrator verbundenes Modell für Cloudauswertungsszenarien verwenden, die eine Modellbereitstellung akzeptieren.

Foundry löst den Verbindungsendpunkt und die Authentifizierung auf, einschließlich API-Schlüssel, verwalteter Identität oder OAuth 2.0-Authentifizierung. Ihre Auswertungsanforderung verweist auf die Verbindung und Bereitstellung, nicht auf den Gatewayendpunkt oder seine Anmeldeinformationen.

Voraussetzungen

• Ein Foundry-Projekt.
• Rolle "Foundry User " im Foundry-Projekt.
• Ein Administrator hat für Ihre Foundry-Ressource eine Azure API Management- oder eine Gatewayverbindung für ein Nicht-Azure-AI-Modell erstellt und das Modell auf der Registerkarte Verwalten>Ressourcendetails>Vom Administrator verbundene Modelle hinzugefügt. Anleitungen zur Einrichtung finden Sie unter Bring your own model to Foundry Agent Service.
• Der Verbindungsname und der Bereitstellungsname für ein Modell, das die OpenAI-Chat-Abschluss-API unterstützt.

Verweis auf ein von einem Administrator verknüpftes Modell

Verwenden Sie das folgende Format an einer beliebigen Stelle, in der ein unterstütztes Auswertungsszenario eine Modellbereitstellung akzeptiert:

<connection-name>/<deployment-name>

Die folgende Tabelle enthält allgemeine Auswertungsflächen und das Feld, das den Verweis akzeptiert:

Verwenden eines mit einem Administrator verbundenen Modells als Bewertungsrichtermodell

Legen Sie fest initialization_parameters.model , wenn Sie einen KI-unterstützten Evaluator konfigurieren. In diesem Beispiel wird das mit dem Administratorkonto verbundene Modell als Bewertungsinstanz für den Kohärenzbewerter verwendet:

from azure.ai.projects.models import TestingCriterionAzureAIEvaluator

admin_connected_model = "my-apim-connection/gpt-4o"

testing_criteria = [
    TestingCriterionAzureAIEvaluator(
        type="azure_ai_evaluator",
        name="coherence",
        evaluator_name="builtin.coherence",
        initialization_parameters={"model": admin_connected_model},
        data_mapping={
            "query": "{{item.query}}",
            "response": "{{item.response}}",
        },
    ),
]

const adminConnectedModel = "my-apim-connection/gpt-4o";

const testingCriteria = [
    {
        type: "azure_ai_evaluator",
        name: "coherence",
        evaluator_name: "builtin.coherence",
        initialization_parameters: { model: adminConnectedModel },
        data_mapping: {
            query: "{{item.query}}",
            response: "{{item.response}}",
        },
    },
];

• Referenz: TestingCriterionAzureAIEvaluator (Python)
• Referenz: OpenAI Evals API (testing_criteriabeide Sprachen)

Verwenden Sie ein mit Administratorzugriff verbundenes Modell als Ziel

Legen Sie fest target.model , dass jede Auswertungseingabe an das mit dem Administrator verbundene Modell gesendet wird:

admin_connected_model = "my-apim-connection/gpt-4o"

target = {
    "type": "azure_ai_model",
    "model": admin_connected_model,
    "sampling_params": {
        "top_p": 1.0,
        "max_completion_tokens": 2048,
    },
}

const adminConnectedModel = "my-apim-connection/gpt-4o";

const target = {
    type: "azure_ai_model",
    model: adminConnectedModel,
    sampling_params: {
        top_p: 1.0,
        max_completion_tokens: 2048,
    },
};

• Referenz: OpenAI Evals API (data_source.targetbeide Sprachen)

Verwenden Sie dieses Ziel mit dem Ablauf zur Auswertung des Modellziels, der unter „Auswertungen in der Cloud ausführen“ beschrieben ist.

Verwenden anderer Auswertungsszenarien

Andere modellbasierte Szenarien in Auswertungen in der Cloud mit dem Microsoft Foundry SDK ausführen funktionieren ähnlich wie bei mit dem Administrator verbundenen Modellen. Wenn das Szenario eine unterstützte Modellbereitstellung akzeptiert, ersetzen Sie den Bereitstellungsnamen durch <connection-name>/<deployment-name>. Zum Beispiel akzeptiert die Konversationssimulation diesen Verweis in item_generation_params.model.

Behalten Sie den Endpunkt des Foundry-Projekts unverändert bei, und fügen Sie der Auswertungsanforderung nicht den Gatewayendpunkt oder die Anmeldeinformationen hinzu. Foundry ermittelt diese Werte aus der vom Administrator verbundenen Modellverbindung.

Verwandte Inhalte

• Ausführen von Auswertungen in der Cloud mithilfe des Microsoft Foundry SDK
• Eigenes Modell mit Foundry Agent Service verwenden