開放模型大型語言模型工具

警告

Microsoft Foundry 與 Azure Machine Learning 中的提示流程將於 2027 年 4 月 20 日退役。 新開發不再建議使用提示流程。 請於 2027 年 4 月 20 日前將現有的提示流程應用程式與部署遷移至 Microsoft Agent Framework。

提示流程容器映像檔不再接收更新，包括安全性與套件更新。 此規定適用於提示流程執行時影像，包括 promptflow-runtime、、 promptflow-runtime-stable及 promptflow-python。

自 2027 年 4 月 20 日起，Prompt 流程，包括 Microsoft Foundry 與 Azure Machine Learning 中的網頁撰寫體驗、VS Code 擴充套件及相關的 Prompt 流程容器映像，將不再支援或提供。

如果您的應用程式依賴提示流程部署或執行時映像檔，請計畫在退休日前將這些工作負載移至支援的替代方案，如 Microsoft Agent Framework。 關於遷移指引，請參閱提示流程 遷移指南 及遷移 程式碼範例。

開放模型LLM工具能利用多種開放模型及基礎模型，如Falcon及Llama 2，用於Azure Machine Learning提示流程中的自然語言處理。

Caution

棄用通知：開放模型大型語言模型工具已被棄用，取而代之的是LLM工具，該工具支援Azure AI模型推論API所支援的所有模型，因此提供了更大的彈性。

以下是它在 Visual Studio Code 提示流程擴充中的實際運作樣貌。 在這個例子中，工具用來呼叫 LlaMa-2 聊天端點並詢問「什麼是 CI？」

截圖，顯示 Open Model LLM 工具在 Visual Studio Code 提示流程擴充中。

此提示流程工具支援兩種不同的 LLM API 類型：

  • 聊天：如前述範例所示。 聊天 API 類型促進互動對話，並以文字輸入與回應呈現。
  • 補全：補全 API 類型用於根據所提供的提示輸入產生單一回應的文字補全。

快速概述：我該如何使用 Open Model LLM 工具？

  1. 從 Azure Machine Learning 模型目錄中選擇一個模型並部署。
  2. 連接到模型部署。
  3. 設定開放模型的大型語言模型工具設定。
  4. 準備題目。
  5. 順暢執行流程。

先決條件：模型部署

  • 從Azure Machine Learning模型目錄中選擇符合你情境的模型。
  • 使用 Deploy 按鈕將模型部署到Azure Machine Learning線上推論端點。
    • 使用標準部署選項之一。

欲了解更多，請參閱「 部署基礎模型至端點進行推論」。

先決條件：連接模型

為了讓提示流程使用你已部署的模型，你需要連接到它。 有兩種方式可以連結。

端點連線

一旦你的流程連結到 Azure Machine Learning 或 Microsoft Foundry 工作空間，Open Model LLM 工具就能使用該工作區的端點。

  • 使用 Azure Machine Learning 或 Foundry workspaces：如果你在網頁瀏覽器工作區中使用提示流程，該工作區上的線上端點會自動啟動。

  • 使用 VS Code 或先用 code ：如果你在 VS Code 或 Code First 的 Prompt Flow 服務中使用，你需要連接到工作區。 Open Model LLM 工具使用 azure.identity 的 DefaultAzureCredential 用戶端進行授權。 其中一種方法是 設定環境憑證值。

自訂連線

開放模型大型語言模型工具使用 CustomConnection。 提示流程支援兩種連線類型：

  • Workspace connections - 儲存在 Azure Machine Learning 工作區上的秘密連線。 雖然這些連線可以使用，但在許多地方，它們通常由 Studio UI 建立和維護。 想學習如何在 Studio UI 建立自訂連線，請參考 如何建立自訂連線。

  • 本地連線 - 儲存在你機器本地的連線。 這些連線在 Studio UX 中沒有，但可以透過 VS Code 擴充功能使用。 想了解如何建立本地自訂連線，請參閱 如何建立本地連線。

需要設定的鍵包括：

  • endpoint_url
    • 此值可在先前建立的推理端點找到。
  • endpoint_api_key
    • 務必將其設為秘密值。
    • 此值可在先前建立的推理端點找到。
  • model_family
    • 支援值：LLAMA、DOLLY、GPT2 或 FALCON
    • 這個數值取決於你目標部署的類型。

執行工具：輸入

開放模型 LLM 工具有許多參數，其中有些是必需的。 詳情請參考下表，你可以將這些參數與前述截圖比對，以提升視覺清晰度。

Name 類型 Description 為必填項目
api 字串 API模式依據所使用的模型和所選情境而定。 支援值：（完備 |聊天室） 是的
endpoint_name 字串 一個線上推理端點名稱，並已部署支援的模型。 優先於連線。 是的
溫度 float 生成文字的隨機性。 預設是 1。 No
max_new_tokens 整數 完成過程中最多可產生的標記數。 預設是500。 No
top_p float 從產生的代幣中選擇最高選擇的機率。 預設是 1。 No
model_kwargs 字典 此輸入用於提供特定模型的配置。 例如，Llama-02 模型可能使用 {“temperature”：0.4}。 預設： {} No
部署名稱 字串 部署目標名稱為在線推理端點上的目標。 若未傳遞任何值，則使用推論負載平衡器的流量設定。 No
提示 字串 語言模型用來產生回應的文字提示。 是的

輸出

API 返回類型 Description
完工 字串 一個預測完結的文本
聊天 字串 對話中一段回覆的文字

部署至線上端點

當你部署包含開放模型大型語言模型工具的流程到線上端點時，設定權限會多一個步驟。 在網頁部署時，可以選擇系統指派與使用者指派身份類型。 無論如何，利用 Azure 入口網站（或類似功能），在 Azure Machine Learning 工作空間或 Ai Studio 專案（主機端點）的身份中新增「讀取器」工作函數角色。 提示流程部署可能需要重新整理。

  • 上次更新時間：