Crear y gestionar APIs modelo (servicios modelo)

Crea, comparte y gestiona tus propias APIs de modelo (servicios de modelos) en Unity Catalog.

Tip

Las APIs de modelos proporcionadas por el sistema en el system.ai esquema están listas para consultar sin necesidad de configuración. Crea tu propia API de modelos solo cuando quieras gobernar modelos adicionales o exponer un endpoint personalizado.

Requirements

  • Un área de trabajo de Azure Databricks en una región compatible con Unity AI Gateway.
  • Unity Catalog habilitado para su área de trabajo. Consulte Habilitar un área de trabajo para Unity Catalog.
  • Para crear un servicio de modelos, debe disponer de:
    • USE CATALOG, USE SCHEMA y CREATE SERVICE en el catálogo y el esquema donde se crea el servicio de modelo.
    • EXECUTE en cada modelo al que el servicio de modelo hace referencia como destino.
    • EXECUTE, USE CATALOG y USE SCHEMA sobre cada servicio de proveedor de modelos al que el servicio de modelos hace referencia como destino.
    • USE CATALOG, USE SCHEMAy CREATE TABLE en el catálogo y el esquema donde se crea la tabla de inferencia, si habilita el registro de inferencia.

Creación de un servicio de modelo

Puedes crear un servicio de modelo en la interfaz de Unity AI Gateway o en el Explorador de Catálogos, o programáticamente con la API REST, los SDKs de Azure Databricks, la CLI de Azure Databricks o Terraform.

Los servicios de modelo y los servicios de proveedor de modelos comparten un único espacio de nombres dentro de un esquema de catálogo de Unity. No puede usar un nombre para un servicio de modelo si ya lo usa un servicio de proveedor de modelos en el esquema y viceversa.

Explorador de catálogos

  1. Realice una de las acciones siguientes:
    • En la barra lateral del área de trabajo, haga clic en Puerta de enlace de IA y, a continuación, haga clic en Crear.
    • En el Explorador de catálogos, vaya al esquema donde desea crear el servicio de modelo y, a continuación, haga clic en Crear>Servicio>Servicio de modelo.
  2. Escriba un nombre para el servicio de modelo y seleccione el catálogo y el esquema en los que se va a crear. Si empieza desde el Explorador de catálogos, el Explorador de catálogos rellena previamente el catálogo y el esquema.
  3. Selecciona el destino principal al que atender. Este destino puede ser un modelo alojado en Databricks en el que tengas EXECUTE y que Unity AI Gateway pueda servir, o un servicio de proveedor de modelos en el que tengas EXECUTE, USE CATALOG y USE SCHEMA.
  4. Haga clic en Crear.

Después de crear el servicio de modelo, Azure Databricks abre su página de información general, donde puede empezar a trabajar o configurar características adicionales, como el registro de inferencia.

Developer Tools

CLI de Databricks: Pase el esquema principal y un nombre de nodo hoja, y proporcione la configuración con --json. La configuración de enrutamiento debe tener al menos un destino:

databricks ai-gateway create-model-service schemas/main.default my_model_service --json '{
  "comment": "Routes chat traffic to a foundation model",
  "config": {
    "routing": {
      "destinations": [
        {
          "name": "primary",
          "destination_type": "DESTINATION_TYPE_PAY_PER_TOKEN_FOUNDATION_MODEL",
          "pay_per_token_config": { "model": "models/system.ai.databricks-gpt-5" },
          "traffic_percentage": 100
        }
      ]
    }
  }
}'

Ejecuta databricks ai-gateway create-model-service -h para ver todas las opciones. Para instalar la línea de código, consulte Instalar o actualizar la CLI de Databricks.

API REST: Utiliza POST /api/2.1/unity-catalog/model-services.

Terraform: Crea y gestiona un servicio de modelo usando el proveedor de Terraform de Databricks y databricks_ai_gateway_model_service.

SDKs de Databricks: Crea y gestiona servicios de modelo con el SDK de Databricks para Python, el SDK de Databricks para Java, el SDK de Databricks para Go o el SDK de Databricks para JavaScript.

Conceder acceso a un servicio de modelos

Para permitir que otros usuarios consulten un servicio de modelo, concédales EXECUTE en el servicio de modelo y USE CATALOG y USE SCHEMA en su catálogo y esquema. Si el servicio de modelo registra información en una tabla de inferencia, concédele el privilegio SELECT sobre dicha tabla para que pueda leer las solicitudes y respuestas registradas.

Para conceder acceso en el Explorador de catálogos:

  1. En el Explorador de catálogos, abre el servicio de modelos.
  2. En la pestaña Permisos, haga clic en Conceder.
  3. Seleccione los usuarios o grupos a los que conceder acceso, seleccione el EXECUTE privilegio y haga clic en Conceder.

Asegúrate de que los mismos sujetos también tengan USE CATALOG y USE SCHEMA sobre el catálogo y el esquema del servicio de modelos. Para permitirles leer las solicitudes y respuestas registradas, conceda SELECT en la tabla de inferencia desde su pestaña Permisos .

Para obtener más información sobre cómo conceder y descubrir el acceso, consulte Administrar los servicios de modelo.

Configurar funciones de un servicio de modelos

Puede configurar características como los límites de velocidad, el registro de inferencia y los límites de protección en el servicio de modelo desde la interfaz de usuario de Unity AI Gateway, de la misma manera que los configura en un punto de conexión de Unity AI Gateway. Vea:

Registro de inferencia

Al habilitar el registro de inferencia, Azure Databricks crea una tabla de catálogo de Unity nueva y vacía con un esquema predefinido en la ubicación que especifique. Tenga en cuenta lo siguiente:

  • Debes tener los privilegios USE CATALOG, USE SCHEMA y CREATE TABLE sobre el catálogo y el esquema de destino.
  • El creador del servicio de modelo es el propietario de la tabla de inferencia. Ningún otro usuario tiene acceso a menos que lo conceda.
  • Si ya existe una tabla en la ubicación especificada, se produce un error al crear el servicio de modelo.
  • La tabla de inferencia tiene un ciclo de vida independiente del servicio de modelo. Si eliminas la tabla, el servicio de modelo seguirá funcionando, pero dejará de registrar información.

Para más información sobre tablas de inferencia, véase Solicitudes de registro y respuestas a tablas de inferencia.

Eliminación de un servicio de modelo

Para eliminar un Modelos de servicio, debes tener al menos el privilegio MANAGE sobre él. El propietario tiene un superconjunto de MANAGE.

Para eliminar un servicio de modelos, ábrelo en el Explorador de catálogos y selecciona Eliminar en el menú kebab.

Los servicios de modelo proporcionados por el sistema en system.ai no se pueden eliminar.

Pasos siguientes

  • Last updated on