Uso de un modelo de IA generativa

Completados

Sugerencia

Consulte la pestaña Texto e imágenes para obtener más detalles.

La manera más fácil de interactuar con un modelo implementado es usar el área de juegos de modelos en el portal de Foundry. Puede usar foundry Playgrounds para probar avisos , comparar modelos y capturar la configuración de trabajo antes de escribir cualquier código.

Captura de pantalla del playground de modelos en el portal Microsoft Foundry.

Parámetros clave de configuración

Varios argumentos de modelo o parámetros influyen en el comportamiento, el rendimiento y el costo en tiempo de ejecución. En la configuración de Playground, puede configurar parámetros de modelo como:

  • Temperatura: controla la creatividad frente al determinismo.
  • Número máximo de tokens de salida : limita la longitud de la respuesta; afecta al consumo de tokens y al comportamiento de limitación.

A diferencia de la solicitud del usuario, que es la solicitud o pregunta del usuario final (ejemplo: ¿Dónde debo viajar?), las instrucciones (a menudo denominado prompt del sistema) establecen el comportamiento, el tono, las herramientas y las restricciones del modelo. Un ejemplo de solicitud del sistema es: "Es un tutor útil, paso a paso. Cita fuentes. Rechazar consejos médicos."

Creación de un cliente de chat mediante el SDK de Foundry

Una aplicación cliente de chat envía mensajes de usuario a un modelo implementado y muestra las respuestas; permitir que los usuarios interactúen con el modelo en una conversación.

Puede usar el SDK de Foundry para crear una aplicación cliente para un modelo implementado. En este ejemplo, la aplicación cliente usa la autenticación basada en claves para conectarse al punto de conexión del modelo, enviar un mensaje y mostrar la respuesta.

import os
from openai import OpenAI

client = OpenAI(
    base_url=f"{os.environ['AZURE_OPENAI_ENDPOINT']}/openai",
    api_key=os.environ["AZURE_OPENAI_API_KEY"]
)

response = client.responses.create(
    model=os.environ["MODEL_DEPLOYMENT_NAME"],
    input=[{"role": "system", "content": "You're a helpful assistant."},
           {"role": "user", "content": "What is the capital of France?"}],
    max_output_tokens=300,
    temperature=0.7
)

print(response.output_text)