基礎模型服務端點(舊有)

Note

本頁介紹了舊有端點式的模型服務工作流程。 若要透過 Unity Gateway 尋找並查詢模型,請參閱 可用的模型 與 查詢模型服務。

Databricks 外部裝載的 Access 基礎模型

LLM 提供者所建立的基礎模型,例如 OpenAI 和 Anthropic,也可以透過 外部模型 在 Databricks 上存取。 這些模型裝載於 Databricks 外部,您可以建立端點來查詢它們。 這些端點可由 Azure Databricks 集中管理,簡化組織內各種 LLM 供應商的使用與管理。

下表提供支援模型和對應 端點類型的非詳盡清單。 你可以利用列出的模型關聯,協助你在特定供應商提供新釋出的模型類型時,為端點配置。 客戶應負責確保遵循適用的模型授權。

Note

隨著 LLM 的快速發展,不保證這份列表隨時都是最新的。 通常支援來自相同提供者的新模型版本,即使它們不在清單中也一樣。

模型提供者 llm/v1/completions (完成) llm/v1/chat llm/v1/向量嵌入
OpenAI**
  • gpt-3.5-turbo-指示
  • babbage-002
  • davinci-002
  • o1
  • o1-mini
  • o1-mini-2024-09-12
  • gpt-3.5-turbo
  • gpt-4
  • GPT-4-渦輪
  • gpt-4-turbo-2024-04
  • gpt-4o
  • gpt-4o-2024年05月13日
  • gpt-4o-mini
  • 文本嵌入-ada-002
  • text-embedding-3-large
  • text-embedding-3-small
Azure OpenAI**
  • text-davinci-003
  • gpt-35-turbo-instruct
  • o1
  • o1-mini
  • GPT-35-渦輪
  • GPT-35-Turbo-16K
  • gpt-4
  • GPT-4-渦輪
  • GPT-4-32K
  • gpt-4o
  • gpt-4o-mini
  • 文本嵌入-ada-002
  • text-embedding-3-large
  • text-embedding-3-small
Anthropic
  • claude-1
  • claude-1.3-100k
  • claude-2
  • claude-2.1
  • claude-2.0
  • claude-instant-1.2
  • claude-3-5-sonnet-latest
  • 克勞德-3-5-俳句-最新
  • claude-3-5-opus-最新版本
  • claude-3-5-sonnet-20241022
  • claude-3-5-haiku-20241022
  • claude-3-5-sonnet-20240620
  • claude-3-haiku-20240307
  • claude-3-opus-20240229
  • claude-3-sonnet-20240229
Cohere**
  • command
  • 指令燈
  • command-r7b-12-2024
  • command-r-plus-08-2024
  • command-r-08-2024
  • command-r-plus
  • 命令鍵-R
  • command
  • 指令光夜間版
  • 指令燈
  • 指令-夜間版
  • 嵌入式-英語-v2.0
  • 嵌入-多語系-v2.0
  • embed-english-light-v2.0
  • 嵌入英文-v3.0
  • embed-english-light-v3.0
  • 嵌入-多語系-v3.0
  • embed-多語系-light-v3.0
模型服務 Databricks 提供服務端點 Databricks 提供服務端點 Databricks 提供服務端點
亞馬遜基岩 人類:
  • claude-instant-v1
  • claude-v2

Cohere:
  • 指令文本-v14
  • 命令-光文本-v14

AI21 Labs:
  • j2-grande-instruct
  • j2-jumbo-instruct
  • j2-mid
  • j2-mid-v1
  • j2-ultra
  • j2-ultra-v1
人類:
  • claude-3-5-sonnet-20241022-v2:0
  • claude-3-5-haiku-20241022-v1:0
  • claude-3-opus-20240229-v1:0
  • claude-3-sonnet-20240229-v1:0
  • claude-3-5-sonnet-20240620-v1:0

Cohere:
  • command-r-plus-v1:0
  • command-r-v1-0

亞馬遜河:
  • nova-lite-v1:0
  • nova-micro-v1:0
  • nova-pro-v1:0
亞馬遜河:
  • titan-embed-text-v2:0
  • titan-embed-text-v1
  • titan-embed-g1-text-02

Cohere:
  • 嵌入英語-v3
  • embed-多語系-v3
AI21 實驗室†
  • j2-mid
  • j2-light
  • j2-ultra
Google Cloud 頂點 AI text-bison
  • 查特·拜森
  • gemini-pro
  • gemini-1.0-pro
  • gemini-1.5-pro
  • 雙子座-1.5-Flash
  • Gemini-2.0-flash
  • text-embedding-004
  • text-embedding-005
  • textembedding-gecko (文字嵌入-壁虎)

** 模型提供者支援經過微調的完成模型和聊天模型。 若要查詢微調的模型,請在 name 組態的 external model 字段中填入您的微調模型名稱。

† 模型提供者支援自定義完成模型。

建立服務端點的基礎模型

若要在 AI 應用程式中查詢和使用基礎模型,您必須先建立服務端點的模型。 模型服務會使用統一的 API 和 UI 來建立和更新服務端點的基礎模型。

提供端點的查詢基礎模型

建立服務端點之後,您就可以查詢基礎模型。 模型服務會使用統一的 OpenAI 相容 API 和 SDK 來查詢基礎模型。 此整合體驗可簡化您在支援雲端和提供者之間實驗和自定義生產基礎模型的方式。

請參閱 使用基礎模型。