Använda en generativ AI-modell

Det enklaste sättet att interagera med en distribuerad modell är att använda modelllekplatsen i Foundry-portalen. Du kan använda Foundry Playgrounds för att prova frågor, jämföra modeller och samla in arbetsinställningar innan du skriver någon kod.

Nyckelkonfigurationsparametrar

Flera modellargument eller parametrar påverkar körningsbeteende, prestanda och kostnad. I lekplatsinställningarna kan du konfigurera parametrar som temperatur, maxutdatatoken och systeminstruktioner. I playground-chattgränssnittet kan du skicka frågor och se svaren som genereras av modellen.

• Temperatur: styr kreativitet kontra determinism.
• Maximalt antal utdatatoken – begränsar svarsens längd; påverkar tokenförbrukning och hastighetsbegränsningsbeteende.
• Systeminstruktioner – anger modellens beteende och roll.

Till skillnad från användarens fråga, som är slutanvändarens begäran eller fråga (exempel: Var ska jag resa?), anger en systemprompt beteende, ton, verktyg och skyddsräcken för assistenten. Ett exempel på en systemprompt är: "Du är en användbar, stegvis handledare. Citera källor. Avböj medicinsk rådgivning."

Lekplatsen är en användbar brygga mellan Foundry och kod. När du har testat representativa frågor kan du använda samma system- och användaruppmaningar och parametervärden i koden. Playground innehåller kod som kan anropa din Foundry-distribution via OpenAI-kompatibla Responses API. Koden är i princip det som körs när du använder chattgränssnittet för att konfigurera inställningar och skicka användarfrågor.

Du kan använda koden som utgångspunkt för att skapa en egen chattklient.

Skapa en enkel chattklient med hjälp av Foundry SDK

Ett enkelt klientprogram är en liten, minimal app vars primära jobb är att samla in användarindata, anropa en fjärrtjänst/API och visa resultat, utan tunga gränssnittsramverk, komplex serverdelslogik eller stora lokala beroenden. I praktiken är det vanligtvis:

• Körs som ett CLI (kommandoradsgränssnitt), ett litet skrivbordsverktyg eller en enkel webbsida.
• Behåller tillstånd och beräkning mestadels på servern (modellen körs via fjärranslutning).
• Har ett litet kodfotavtryck och minimal konfiguration (ofta bara miljövariabler + ett kort skript).
• Är lätt att prototypa, lätt att köra lokalt och lätt att utöka senare.

För Foundry är en enkel chattklient ofta en single Python fil som ansluter till en Foundry-projektslutpunkt och skickar chattmeddelanden till en distribuerad modell. Foundry SDK exponerar en Project-klient (Foundry-native ops) och en OpenAI-kompatibel klient för att anropa modeller via svars-API:et. De flesta appar använder båda.

Skapa en Python chattklient

När du har skapat ett Foundry-projekt och distribuerat en chattmodell (till exempel gpt-4.1) kan du använda Foundry SDK. I exemplet använder klientprogrammet autentisering för att ansluta till modellens slutpunkt, skicka en uppmaning och visa svaret.

# pip install openai>=1.3.0
# pip install azure-ai-projects azure-identity openai

import os
from openai import OpenAI

client = OpenAI(
    base_url=f"{os.environ['AZURE_OPENAI_ENDPOINT']}/openai",
    api_key=os.environ["AZURE_OPENAI_API_KEY"]
)

response = client.responses.create(
    model=os.environ["DEPLOYMENT_NAME"],          # e.g., "gpt-4o-mini"
    input=[{"role": "system", "content": "You're a helpful assistant."},
           {"role": "user", "content": "Summarize the key points from our release notes in 3 bullets."}],
    max_output_tokens=300,
    temperature=0.7
)

print(response.output_text)

Förstå skillnaden mellan modeller och agenter

I Microsoft Foundry är generativa AI-modeller och agenter relaterade men har olika syften. Du kan tänka på det så här:

• Modeller = rå intelligens
• Agenter = paketerade, uppgiftsorienterade arbetare som bygger på den intelligensen

När du använder en generativ AI-modell på egen hand:

• Du vill ha ren slutsatsdragning: "Ta den här prompten och generera utdata."
• Du experimenterar på Playground
• Du anropar modellen via OpenAI Responses-API:n

Lär dig sedan hur du skapar en agent i Foundry.