Was ist Modellrouter?

Modellrouter in Microsoft Foundry bietet Ihnen Qualität auf Frontier-Niveau zu niedrigeren Kosten. Es ist ein Routingmodell, das von Microsoft auf Hunderten von Tausenden von Eingabeaufforderungen trainiert wird, dass bewertet, wie anspruchsvoll jede Anforderung ist und sie an das Modell sendet, das am besten geeignet ist, um sie zu beantworten. Einfache Eingabeaufforderungen gehen zu kleinen, schnellen Modellen. Prompts, die tiefgehendes Denken oder eine komplexe Tool-Nutzung erfordern, gehen an Frontier-Modelle. Sie rufen einen Modellnamen auf, und Der Modellrouter wählt aus mehr als 40 Modellen aus OpenAI, Anthropic, xAI, DeepSeek, Meta und mehr.

Diagramm des Modellrouters. Eine App, ein Agent oder ein Programmiertool, z. B. GitHub Copilot oder Claude Code, setzt das Modell auf „Auto“ oder auf seine Modellrouter-Bereitstellung. Der Modellrouter wendet Ihren Routingmodus an, wählt eines von über 40 Modellen aus, und die Antwort nennt das ausgewählte Modell.

Gründe für die Verwendung des model router

  • Qualität auf Spitzenniveau zu niedrigeren Kosten. Im Ausgewogen-Modus wählt der Modellrouter das kostengünstigste Modell innerhalb eines kleinen Qualitätsbereichs des besten Modells für jede Aufforderung aus, sodass Sie Preise auf Frontier-Niveau nur für die Eingabeaufforderungen zahlen, die ein Frontier-Modell benötigen. Einfache Prompts werden auch an schnellere Modelle weitergeleitet, was die durchschnittliche Latenz verringern kann. Wählen Sie Qualität oder Kosten, um die Gewichtung zu verlagern.
  • 43 Modelle, und es werden immer mehr. Ab dem 11. November 2026 leitet der Modellrouter über 43 Modelle von OpenAI, Anthropic, xAI, DeepSeek, Meta und Fireworks. Wenn Sie den vollständigen Pool durchlaufen, werden neue Modelle beim Start und eingestellten Modellen ohne Änderungen am Code verknüpft. Aktuelle Ergänzungen finden Sie unter Was ist neu im Modellrouter.
  • Die API, die Sie bereits verwenden. Call model router with the Responses API, the Chat Completions API, or the Messages API (preview), from the SDKs, agent frameworks, and coding tools you already use.
  • Versiert in Gesprächen. In einem langen Chat oder einer Agenten-Schleife behält die Sitzungsaffinität (Vorschau) die Unterhaltung auf demselben Modell bei, wenn sich das auszahlt, sodass Prompt-Cache-Treffer Ihre Kosten und Latenz weiter senken.
  • Entwickelt für Agenten und Coding-Tools. Jeder Schritt eines Agenten oder jede Anforderung von einem Programmiertool kann ein anderes Modell erhalten: ein schnelles Modell für eine schnelle Klassifizierung oder Bearbeitung und ein Reasoning-Modell für die Planung oder ein anspruchsvolles Refactoring.
  • Standardmäßig widerstandsfähig. Wenn das ausgewählte Modell einen wiederholbaren Fehler zurückgibt, wechselt der Modellrouter automatisch zum nächstbesten Modell, ohne etwas konfigurieren zu müssen.
  • Verwendet die kapazität, die Sie bereits haben. Der Modellrouter bedient das ausgewählte Modell zuerst aus Ihren eigenen Bereitstellungen in derselben Foundry-Ressource: bereitgestellter Durchsatz (PTU) für OpenAI-Modelle und anschließend Pay-as-you-go. Routerverwaltete Kapazität deckt den verbleibenden Bedarf ab. Ausführliche Informationen finden Sie unter So wählt der Modellrouter die Kapazität aus.
  • Ein Endpunkt, vollständige Sichtbarkeit. Sie verwalten einen Modellnamen, ein Ratenlimit und einen Inhaltsfilter. Das Feld jeder Antwort model benennt das Modell, das die Antwort erzeugt hat, und die Registerkarte Monitor Ihrer Bereitstellung vergleicht Ihre Kosten mit Einzelmodell-Basiswerten.
  • Legen Sie in wenigen Minuten mit Auto (Vorschau) los. Legen Sie model auf auto für Ihre Foundry-Ressource oder Ihren Projektendpunkt fest. Es gibt nichts bereitzustellen: Ein Endpunkt und ein API-Schlüssel sind alles, was Sie benötigen.

Behandeln Sie Ihre erste Konfiguration als Ausgangspunkt. Bevor Sie den Produktionsdatenverkehr verschieben, vergleichen Sie den Modellrouter anhand Ihrer eigenen Prompts hinsichtlich Qualität, Kosten und Latenz mit Ihrem aktuellen Modell. Anleitungen finden Sie unter Bewerten des Modellrouters für Ihre Workload.

Methoden zur Verwendung des Modellrouters

Auto und Ihre eigene Bereitstellung verwenden dieselben API-Aufrufe. Beginnen Sie mit „Auto“, und wechseln Sie später zu Ihrer eigenen Bereitstellung, indem Sie auto von model in Ihren Bereitstellungsnamen ändern, wenn Sie dedizierte Ratenlimits, Ihren eigenen Routingmodus und eine Modelluntermenge, einen benutzerdefinierten Inhaltsfilter oder Data Zone Standard benötigen.

Weg Was es ist Am besten geeignet für Beginne hier
Auto (Vorschau) Legen Sie für model die Foundry-Ressource oder den Projektendpunkt fest auto . Keine Bereitstellung. Für den schnellsten Start, Prototypen und wenig Traffic. Senden Sie Ihre erste Anfrage mit Auto
Bereitstellung Ihres eigenen Modell-Routers Stellen Sie model-router bereit und rufen Sie es über den Bereitstellungsnamen auf. Produktionsdatenverkehr, dedizierte Geschwindigkeitsbeschränkungen, ein benutzerdefinierter Routingmodus oder eine Modelluntermenge, ein benutzerdefinierter Inhaltsfilter und Data Zone Standard. Modellrouter bereitstellen
Agents und Agent-Frameworks Verwenden Sie eine Bereitstellung als Modell für foundry Agent Service, Microsoft Agent Framework, LangGraph, OpenAI Agents SDK, Google ADK, CrewAI und das Claude Agent SDK. LangGraph und das OpenAI Agents SDK funktionieren auch mit Auto. Agentische Apps, bei denen jeder Schritt ein anderes Modell benötigt. Modellrouter mit Agents, Agent-Frameworks und Codierungstools verwenden
Codierungstools Verwenden Sie eine Bereitstellung als Modell in GitHub Copilot, Codex, OpenCode oder Claude Code. Programmiersitzungen, die schnelle Änderungen mit kniffligen Problemen kombinieren. Auswählen einer Integration
AI-Gateway (automatische Modellauswahl befindet sich in der Vorschau) Ein AI-Gatewayalias mit automatischer Modellauswahl verwendet Modellrouter, um zwischen den Modellen hinter dem Alias auszuwählen. Teams, die den Datenverkehr bereits über das AI-Gateway weiterleiten. Modellrouter mit AI Gateway verwenden

Automatische Routen für alle Poolmodelle, die in Ihrer Region mit dem Modus "Ausgewogenes Routing" verfügbar sind, es sei denn, ein Administrator konfiguriert Auto für die Ressource. Einen parallelen Vergleich finden Sie unter "Auto auswählen" oder "Eigene Bereitstellung".

Unterstützte APIs

Den Modellrouter mithilfe des API-Formats aufrufen, das Ihre App bereits verwendet. Alle drei Formate funktionieren mit Auto und Ihrer eigenen Bereitstellung.

API-Format Pfad Endpoints Modelle, die antworten können Details
Antwort-API /openai/v1/responses Resource und Projekt Modelle in Ihrem Modellpool Responses API verwenden
API für Chatabschlusse /openai/v1/chat/completions Ressource und Projekt Modelle in Ihrem Modellpool Verwenden der Api für Chatabschlusse
Nachrichten-API (Vorschau) /anthropic/v1/messages Nur für Ressourcen Nur Claude-Modelle, die jeweils in derselben Foundry-Ressource bereitgestellt werden Verwenden Sie die Nachrichten-API

Der Ressourcenendpunkt ist https://<resource>.services.ai.azure.com, und der Projektendpunkt ist https://<resource>.services.ai.azure.com/api/projects/<project>. Der https://<resource>.openai.azure.com Host funktioniert auch für die APIs für Antworten und Chatabschlusse. Der /openai/v1/ Pfad benötigt api-version keinen Abfrageparameter.

Authentifizieren Sie sich mithilfe eines API-Schlüssels oder Microsoft Entra ID. Microsoft Entra ID Aufrufer benötigen die Rolle "Foundry User" für die Ressource oder das Projekt. Die Nachrichten-API verwendet den Schlüssel im x-api-key Header anstelle von api-key. Informationen zu Streaming, Tools, strukturierten Ausgaben, Gründen und anderen Features nach API finden Sie unter Featureunterstützung nach API.

Routingmodi

Der Routingmodus legt den Kompromiss zwischen Qualität und Kosten fest.

Routingmodus Wie der Modellrouter auswählt Gute Passform
Ausgeglichen (Standard) Berücksichtigt Modelle innerhalb eines kleinen Qualitätsbereichs des besten Modells für die Eingabeaufforderung (z. B. 1–2%), und wählt die kostengünstigste Modell aus. Die meisten Workloads.
Quality Wählt das Modell der höchsten Qualität für die Eingabeaufforderung aus und ignoriert Kosten. Kritische Aufgaben wie rechtliche Überprüfung, medizinische Zusammenfassungen oder komplexes Schlussfolgern.
Kosten Berücksichtigt ein breiteres Qualitätsband (z. B. 5 bis 6 %) und wählt die kostengünstigste Option aus. Hochvolumige, budgetabhängige Workloads, z. B. Inhaltsklassifizierung oder einfache Q&A.

Legen Sie den Modus für Ihre Bereitstellung fest, oder setzen Sie ihn für eine Anforderung mit Anforderungssteuerelementen (Vorschau) außer Kraft. Auto verwendet Balanced , es sei denn, ein Administrator konfiguriert Auto für die Ressource. Weitere Informationen finden Sie unter Routingmodi im Detail und Auswählen eines Routingmodus.

Modelle, Regionen und Versionen

Ab dem 11. November 2026 werden modellrouterversionsübergreifend 2025-11-18 über 43 Modelle von OpenAI, Anthropic, xAI, DeepSeek, Meta und Feuerwerk geleitet, wobei die in den einzelnen Regionen verfügbaren Poolmodelle verwendet werden. Es ist in 32 Regionen für globale Standardbereitstellungen verfügbar, von denen 23 auch Data Zone Standard anbieten, und Auto funktioniert in allen 32 Regionen.

Die Version 2025-11-18 ist allgemein verfügbar und ist die Standardeinstellung für neue Bereitstellungen. Vorschauversionen 2025-08-07 und 2025-05-19 werden am 27. Januar 2027 eingestellt. Verschieben Sie diese Bereitstellungen daher bis dahin zu 2025-11-18. Jedes Deaktivierungsdatum gilt für eine Modellrouterversion, nicht für den Modellrouter selbst. Vollständige Listen und Lebenszyklusdetails finden Sie unter Unterstützte Modelle, Regionen und Versionen für Modellrouter.

Pricing

Sie zahlen eine Modellrouterweiterleitungsgebühr für jede 1 Million Eingabetoken sowie die Nutzung des ausgewählten Modells zu den Tarifen dieses Modells.

  • Die Routinggebühr gilt für "Auto", für das Modellieren von Routerbereitstellungen und für Anforderungen, die Ihre eigenen Bereitstellungen erfüllen. Wenn Ihre eigene pay-as-you-go-Bereitstellung des ausgewählten Modells eine Anforderung erfüllt, bezahlen Sie die Nutzung dieser Bereitstellung plus die Routinggebühr. Wenn Ihre bereitgestellte Durchsatzbereitstellung (PTU) eines OpenAI-Modells es bedient, zahlen Sie nur die Routinggebühr, da Sie bereits für die PTUs bezahlen.
  • Mit AI Gateway fällt keine Routinggebühr für den Modellrouter an, solange die automatische Modellauswahl als Vorschau verfügbar ist. Das AI-Gateway verursacht eigene Kosten.

Informationen zur Routinggebühr finden Sie unter Preise für den Modellrouter. Verwenden Sie zum Nachverfolgen der Ausgaben die Registerkarte "Monitor" Ihrer Bereitstellung, auf der geschätzte Kosten angezeigt und mit basisbasierten Basiswerten verglichen werden, oder verwenden Sie Microsoft Cost Management. Schritte finden Sie unter Vergleichen von Kosten mit Einzelmodell-Basiswerten und Nachverfolgen von Kosten im Kostenmanagement.

Daten, Datenschutz und Sicherheit

  • Eingabeaufforderungen werden nicht gespeichert. Der Modellrouter analysiert jeden Prompt, um ihn weiterzuleiten, speichert Ihre Prompts jedoch nicht.
  • Wo Daten verarbeitet werden. Mit Global Standard können Daten in jeder Geografie verarbeitet werden, in der das ausgewählte Modell bereitgestellt wird. Bei Data Zone Standard werden Daten innerhalb der Datenzone verarbeitet, und wenn Ihre eigenen Bereitstellungen weitergeleitete Anforderungen verarbeiten, verwendet der Modellrouter nur Ihre Bereitstellungen vom Typ Data Zone Provisioned und Data Zone Standard. Auto verarbeitet Daten immer als Global Standard. Ausführliche Informationen finden Sie unter Daten, Datenschutz und Sicherheit für Gießereimodelle, die von Azure verkauft werden.
  • Claude Modelle. Anthropic stellt die Claude Modelle zur Verfügung. Ausführliche Informationen finden Sie unter Bereitstellen und Verwenden von Claude-Modellen in Microsoft Foundry.
  • Inhaltsfilter. Sie legen Inhaltsfilter (Guardrails) für die Modellrouterbereitstellung fest, und sie gelten für den gesamten Datenverkehr an und von ihr. Sie legen keine Filter für jedes zugrunde liegende Modell fest. Für "Auto" gilt die Inhaltsfiltereinstellung der Ressource für den sofortigen Zugriff. Ausführliche Informationen finden Sie unter Kapazität, Inhaltsfilter und Version festlegen und Auto für Ihre Ressource konfigurieren.
  • Zugriffskontrolle. Microsoft Entra ID Aufrufer benötigen die Rolle "Foundry User", mit der sie auch den API-Schlüssel der Ressource lesen können. Ausführliche Informationen finden Sie unter Rollenbasierte Zugriffskontrolle für Microsoft Foundry.
  • Verwaltung. Administratoren entscheiden, welche Modelle der Model Router verwenden kann. Wählen Sie für eine Bereitstellung eine Modelluntermenge genehmigter Modelle aus; Azure Policy überprüft die Modelle der Bereitstellung, wenn sie erstellt oder aktualisiert wird. Bei Auto kann ein Administrator die Modelle für jede Foundry-Ressource einschränken oder Auto deaktivieren. Ausführliche Informationen finden Sie unter Verwalten des Modellrouters mit Azure Policy.
  • Azure Government. Der Modellrouter ist in Azure Government nicht verfügbar. Weitere Informationen finden Sie unter Microsoft Foundry in Azure Government.

Einschränkungen

Limitation Details Was zu tun ist
Kontextfenster Das effektive Kontextfenster ist das kleinste Kontextfenster zwischen den Modellen in Ihrem Pool. Eine Anforderung mit einem größeren Kontext ist nur erfolgreich, wenn sie an ein Modell weitergeleitet wird, das es unterstützt. Verwenden Sie eine Modelluntermenge großer Kontextmodelle, wenn Sie einen langen Kontext benötigen.
Eingabetypen Modellrouter akzeptiert Text- und Bildeingaben, trifft die Routingentscheidung jedoch nur anhand des Textes. Die Audioeingabe wird nicht unterstützt. Verwenden Sie eine direkte Modellbereitstellung für Audio.
Claude Modelle Modellrouter leitet nur dann an ein Claude-Modell weiter, wenn dieses Modell in derselben Foundry-Ressource bereitgestellt wird, mit einem Bereitstellungstyp, der der Modellrouterbereitstellung entspricht. Die Nachrichten-API benötigt mindestens eine solche Bereitstellung. Stellen Sie die gewünschten Claude-Modelle bereit, bevor Sie Anfragen an sie weiterleiten. Siehe Claude-Modelle hinzufügen.
Optionale Parameter Wenn das ausgewählte Modell keinen optionalen Parameter unterstützt, wie temperature bei einem Reasoning-Modell, lässt ihn der Modellrouter weg. Um jeden Parameter erforderlich zu machen, verwenden Sie routing_config.require_parameters (Vorschau).
Quota Die TPM- und RPM-Grenzwerte jeder Bereitstellung eines Modell-Routers gelten für jede Anforderung, die sie leitet. Auto hat einen eigenen Grenzwert, der von Ihrer Region und Kontingentebene abhängt. Siehe Kontingente und Grenzwerte für Modellrouter.

Antworten auf häufig gestellte Fragen finden Sie in den häufig gestellten Fragen zum Modellrouter.

Nächste Schritte