Modellen opvragen met de TypeSafe System One API

De System One API van TypeSafe is een verzoek- en antwoordformaat voor het evalueren van applicatiestatus aan de hand van getypeerde vragen en het teruggeven van gestructureerde antwoorden. Op Azure Databricks stuur je System One-verzoeken via Unity Gateway naar een Unity Catalog-modelservice. Het model achter de dienst kan worden gehost door Databricks of door TypeSafe AI, Inc.:

• OpenJev (Qwen3.5 4B) is een open model gebaseerd op Qwen3.5 en wordt gehost door Databricks.

• TypeSafe AI Jev 1.14.0 wordt gehost door TypeSafe AI, Inc. en bediend via Unity Gateway. Om het te gebruiken, moet een accountbeheerder de Externally-hosted TypeSafe AI Models preview inschakelen in de accountconsole. De voorwaarden van TypeSafe AI bepalen het gebruik ervan.

  Zie ADI Services.

Gebruik de System One API wanneer een applicatie een compacte, gestructureerde beslissing nodig heeft in plaats van gegenereerde proza. Het kan een goede match zijn wanneer responstijd belangrijk is, bijvoorbeeld om te beslissen of een verzoek geëscaleerd moet worden, een routeringslabel te kiezen of het te beoordelen aan de hand van een beoordelingsrubriek. De responstijd hangt af van de modelservice en de aanvraagbelasting.

Voor beslissingen over tabelrijen in SQL, zie de ai_decide functie.

Requirements

• Een werkruimte met Unity Catalog en Unity Gateway ingeschakeld.
• Een Unity Catalog-modelservice ondersteund door een System One-compatibel model. Het voorbeeld gebruikt de openjev-qwen35-4b modelservice, waarvan de volledig gekwalificeerde naam is system.ai.openjev-qwen35-4b.
• Toestemming om de modelservice uit te voeren.
• Om TypeSafe AI Jev 1.14.0 te gebruiken, moet een accountbeheerder de extern gehoste TypeSafe AI Models-preview in de accountconsole inschakelen. Zie Previews op accountniveau beheren.

De System One-route vereist een Unity Catalog-modelservice. Het ondersteunt geen modelprovider-service of een niet-Unity Catalog serving endpoint.

Vraag een modelservice op

De requestbody bevat de volledig gekwalificeerde modeldienstnaam, de te evalueren status en één of meer benoemde vragen. Elke vraag gebruikt een van de noul, choice, of score types.

Het volgende verzoek bevat één vraag van elk type:

curl \
-u token:$DATABRICKS_TOKEN \
-X POST \
-H "Content-Type: application/json" \
-d '{
  "model": "system.ai.openjev-qwen35-4b",
  "state": {
    "message": "My card was charged twice for the same order and I need a refund.",
    "channel": "support"
  },
  "questions": {
    "is_billing": {
      "type": "noul",
      "instructions": "Is this a billing-related request?",
      "criteria": {
        "true": "The message concerns a charge, payment, invoice, or refund.",
        "false": "The message does not concern billing."
      }
    },
    "intent": {
      "type": "choice",
      "instructions": "Which intent best matches the message?",
      "criteria": {
        "refund": "The customer requests a refund.",
        "duplicate_charge": "The customer reports being charged more than once.",
        "other": "Another request."
      }
    },
    "urgency": {
      "type": "score",
      "instructions": "How urgent is the request?",
      "criteria": [
        "Can wait",
        "Needs attention soon",
        "Urgent"
      ]
    }
  }
}' \
https://<workspace_host>/ai-gateway/typesafe/v1/systemone

Gebruik de volledig gekwalificeerde Unity Catalog modelservicenaam, system.ai.openjev-qwen35-4b, in het model veld van het verzoek.

Aanvraagvelden

Elke vraag heeft een type, optioneel instructions, en typespecifiek criteria:

vragen over Noul

Een noul vraag geeft de kans dat het antwoord ja is. Het optionele criteria object beschrijft wat true en false betekenen. Geef ofwel instructions of een beschrijving voor true of false. Het antwoord bevat een noul getal van 0 (nee) tot 1 (ja).

Keuzevragen

Bij een choice vraag kiest u één optie uit het criteria object. Elke optie is gekoppeld aan een beschrijving of aan null wanneer geen extra beschrijving nodig is. Definieer opties van 1 tot 255. De respons bevat de geselecteerde choice, een kans voor elke optie en een confidence waarde.

Vragen scoren

Een vraag beoordeelt de staat score aan de hand van een geordende criteria array. De respons bevat een kansgewogen score, een legend die niveauindexen aan de criteria koppelt, kansen voor elk niveau en een confidence waarde. Definieer niveaus van 1 tot 10.

Antwoordindeling

Het antwoord bevat de modelidentificatie en één antwoord voor elke vraag in answers. Het gebruik van tokens verschijnt in usage, met input_tokens en output_tokens:

{
  "model": "<returned-model-id>",
  "answers": {
    "is_billing": {
      "type": "noul",
      "noul": 0.98
    },
    "intent": {
      "type": "choice",
      "choice": "duplicate_charge",
      "confidence": 0.965,
      "probabilities": {
        "refund": 0.023,
        "duplicate_charge": 0.977,
        "other": 0.0002
      }
    },
    "urgency": {
      "type": "score",
      "score": 1.902,
      "confidence": 0.852,
      "legend": {
        "0": "Can wait",
        "1": "Needs attention soon",
        "2": "Urgent"
      },
      "probabilities": {
        "0": 0.0069,
        "1": 0.0845,
        "2": 0.9086
      }
    }
  },
  "usage": {
    "input_tokens": 238,
    "output_tokens": 0
  }
}

Dit antwoord is gebaseerd op het bovenstaande verzoek, met numerieke waarden afgerond. Antwoorden, waarschijnlijkheden, betrouwbaarheidswaarden, tokenaantallen en de teruggegeven modelidentificatie variëren per verzoek en backend. De responswaarde model identificeert het model dat door de backend wordt gerapporteerd en kan verschillen van de volledig gekwalificeerde modelservicenaam van het verzoek.

Verzoekfouten

Voor fouten bij verzoekvalidatie retourneert de route HTTP 422 met een detail array die het ongeldige verzoek beschrijft.

Aanvullende bronnen

• Provider-native API's
• Querymodelservices
• TypeSafe API-referentie