使用自訂大型語言模型建立文字 AI 代理程式（舊版）

Warning

這是一項 舊版 產品。 對於資料上的自訂文字任務，請使用 AI 函數，例如 ai_query。 請參閱 Legacy 代理程式方案。

Important

這項功能位於 測試版 (Beta) 中。

本文說明如何利用自訂大型語言模型（LLM）為自訂文字任務創建 AI 代理。

您可以使用自訂 LLM 做什麼？

使用自訂大型語言模型（LLM）來產生高品質的領域特定任務結果，例如摘要、分類、文字轉換及內容生成。

自訂 LLM 適合以下使用情境：

  • 摘要客戶通話的問題和解決方式。
  • 分析客戶評論的情感。
  • 依主題分類研究論文。
  • 生成有關新功能的新聞稿。

在給定高階指令與範例後，自訂大型語言模型 (Custom LLM) 代表使用者優化提示，自動推斷評估準則，根據所提供的資料評估系統，並將模型部署為可用於生產環境的端點。

客製化大型語言模型利用包括 MLflow 和 代理評估 在內的自動化評估功能，能夠快速評估您特定擷取任務的成本與品質之間的權衡。 此評量可讓您針對精確度與資源投資之間的平衡做出明智的決策。

自訂大型語言模型使用 預設儲存來儲存臨時資料轉換、模型檢查點及驅動每個代理運作的內部元資料。 刪除代理程式時，會從預設儲存體中移除與代理程式相關聯的所有資料。

Requirements

  • 包含下列各項的工作區：
  • 一個位於 支援區域的工作區。
  • 能夠使用 ai_query SQL 函式。
  • 您必須備妥輸入資料才能使用。 您可以選擇提供下列其中一項：
    • Unity 目錄數據表。 數據表名稱不能包含任何特殊字元（例如 -）。
    • 至少 3 個範例輸入和輸出。 如果您選擇此選項，您必須指定代理程式的 Unity 目錄架構目的地路徑，而且您必須擁有此架構的 CREATE REGISTERED MODEL 和 CREATE TABLE 許可權。
  • 如果您想要優化代理程式，您需要至少 100 個輸入（Unity 目錄數據表中的 100 個數據列或 100 個手動提供的範例）。

建立自定義 LLM 代理程式

轉到代理圖標。在您的工作區左側導覽面板中選擇代理程式。 從 自訂大型語言模型 圖塊，按一下 建置。

步驟 1：設定代理程式

在 建置 標籤中，點擊 「顯示範例 > 」以展開自訂大型語言模型代理的範例輸入與模型回應。

在下列窗格中，設定您的代理程式：

  1. 在 [描述您的工作] 底下，輸入特製化工作的清楚且詳細的描述，包括其用途和所需的結果。

  2. 提供標示的數據集、未標記的數據集，或用來建立代理程式的一些範例。

    如果您想要使用 PDF，請先將它們轉換成 Unity 目錄資料表。 請參閱「在自訂大型語言模型中使用 PDF」。

    支援下列資料類型： string、 int與 double。

    加上標籤的數據集

    如果您選擇 [已標記的數據集]：

    CL：選取標示的數據集。

    1. 在 [選取數據集為 UC 數據表] 底下，按兩下 [ 瀏覽 ] 以選取您想要使用的 Unity 目錄中的數據表。 數據表名稱不能包含任何特殊字元（例如 -）。

      以下是一個範例：

      main.model_specialization.customer_call_transcripts

    2. 在 [ 輸入數據行 ] 字段中，選取您想要用來作為輸入文字的數據行。 下拉式選單會自動填入您所選表格中的欄位。

    3. 在 [輸出] 資料行中，選取您要提供為預期轉換的範例輸出的資料行。 提供此數據可協助您設定代理程式，以更準確地適應您的網域特定需求。

    未標記的數據集

    如果您選取 [未標記的數據集]：

    1. 在 [選取數據集為 UC 數據表] 底下，按兩下 [ 瀏覽 ] 以選取您想要使用的 Unity 目錄中的數據表。 數據表名稱不能包含任何特殊字元（例如 -）。

    2. 在 [ 輸入數據行 ] 字段中，選取您想要用來作為輸入文字的數據行。 下拉式選單會自動填入您所選表格中的欄位。

    一些範例

    如果您選取 幾個範例：

    1. 為特製化工作提供至少 3 個輸入和預期的輸出範例。 提供高品質的範例可協助您設定特製化代理程式，以進一步瞭解您的需求。
    2. 若要新增更多範例，請按兩下 [+ 新增]。
    3. 在 代理目的地中，選擇你想要自訂大型語言模型（Custom LLM）協助建立評估資料表的 Unity Catalog 架構。 您必須擁有 CREATE REGISTERED MODEL 和 CREATE TABLE 此架構的許可權。

  3. 為您的代理人命名。

  4. 按一下 建立代理程式。

步驟 2：建置和改善代理程式

在 建置 標籤中，檢視改進代理的建議、檢視範例模型輸出，並調整任務指示與評估標準。

  1. 在 推薦 欄格中，Databricks 提供建議，幫助你優化並評估樣本回應的好壞。

    1. 檢閱優化代理程式效能的 Databricks 建議。
    2. 提供回饋以改善回應。 每個回答的答案是： 這是個好答案嗎？ 用 是 或 不是。 如果 為 [否]，請提供回應的選擇性意見反應，然後按兩下 [ 儲存 ] 移至下一個回應。
    3. 您也可以選擇 [ 關閉 建議]。

  2. 在右側的 「指引」下，設定明確的指引，幫助你的代理人產出正確的產出。 這些資料也會自動用來評估品質。

    1. 檢視建議的指南。 這些指引建議會自動推導，以幫助你優化代理程式。 你可以精煉或刪除它們。
    2. 客製化大型語言模型可能會提出額外的指引。 選擇接受以新增指引，選擇拒絕以否決，或先點擊文字來編輯指引。
    3. 若要新增自己的指引，請點擊 加號圖示。 新增。
    4. 點擊 儲存並更新 以更新代理。

  3. （可選）在右側的 說明欄下方，描述你的任務。 新增任何額外指示，讓代理在生成回應時遵循。 按一下儲存及更新以套用指示。

  4. 更新代理後，會產生新的樣本回應。 審閱並對這些回應給予回饋。

步驟三：評估你的經紀人

一份包含少量評估結果的品質報告會自動根據你的指引產生。 請在 品質 標籤中檢視本報告。

每一項被接受的指引都作為評估指標。 對於每個產生的請求，回應都會依照指引進行評估，並進行通過/不通過的評斷。 這些評量用來產生最上方顯示的評比分數。 點擊評估結果查看完整細節。

利用品質報告幫助你判斷代理人是否需要進一步優化。

（選用）優化您的代理程式

客製化的 LLM 能幫助優化您的代理人的成本。 Databricks 建議至少 100 個輸入（Unity 目錄數據表中的 100 個數據列或 100 個手動提供的範例），以將代理程序優化。 當您新增更多輸入時，代理程式可以從增加中學習的知識庫，進而改善代理程序品質及其回應精確度。

當你優化代理時，Databricks 會比較多種不同的優化策略，以建立並部署優化代理。 這些策略包括使用 Databricks Geos進行基礎模型微調。

若要最佳化您的代理程式：

  1. 點擊 優化。

  2. 點擊 開始優化。

    優化可能需要幾個小時。 優化過程中，無法對現用代理進行變更。

  3. 優化完成後，檢視目前活躍代理和經過成本優化後的代理之間的比較。

  4. 檢閱這些結果之後，請選取 [ 將最佳模型部署至端點 ] 底下的最佳模型，然後按兩下 [ 部署]。

步驟四：使用你的經紀人

在 Databricks 的工作流程中試用您的代理程式。

若要開始使用代理程式，請按一下 使用。 您有下列選擇：

  • 按兩下 [在 SQL 中嘗試 ] 開啟 SQL 編輯器，並使用 ai_query 將要求傳送至新的自訂 LLM 代理程式。

  • 點擊 建立管線 ，部署一個以排程間隔運行的管線，讓你的代理程式處理新資料。 欲了解更多管線相關資訊，請參閱 Lakeflow 上的 Spark 宣告式管線 。

  • 點擊「 在 Playground 開啟 」，在聊天環境中用 AI Playground 測試您的客服人員。

管理權限

預設情況下，只有代理作者和工作區管理員擁有代理權限。 若要允許其他使用者編輯或查詢您的客服專員，您需要明確授予他們權限。

若要管理客服專員的權限：

  1. 請在代理人頁面開啟您的代理人。
  2. 在頂端，按一下 Kebab 選單圖示。 Kebab 選單。
  3. 按一下 [管理權限]。
  4. 在 [權限設定] 視窗中，選取使用者、群組或服務主體。
  5. 選取要授與的權限：
    • 可管理：允許管理代理，包括設定權限、編輯代理設定及提升品質。
    • 可查詢：允許在 AI Playground 及 API 中查詢代理端點。 僅持有此權限的使用者無法在代理人頁面查看或編輯該代理。
  6. 按一下新增。
  7. 點選 [儲存]。

Note

對於在 2025 年 9 月 16 日之前建立的客服專員端點，您可以從「服務端點」頁面將「可以查詢」權限授予端點。

查詢代理程式端點

在代理人頁面，點擊 「模型服務圖示」。 請查看 右上角的代理狀態，即可取得已部署的代理端點並查看端點詳情。

有多種方式可以查詢已建立的代理端點。 以 AI Playground 提供的程式碼範例作為起點：

  1. 在代理人頁面，點擊 使用。
  2. 點擊 在遊樂場開啟。
  3. 在 Playground 中，按一下 [取得程式碼]。
  4. 選擇您要如何使用端點：
    • 選取 套用到資料 以建立 SQL 查詢，將代理程式套用至特定表格欄位。
    • 選取 Curl API 以取得使用 curl 查詢端點的程式碼範例。
    • 選取 Python API 以取得程式碼範例，以使用 Python 與端點互動。

在自訂 LLM 中使用 PDF

PDF 尚未在資訊擷取與自訂 LLM 中原生支援。 不過，你可以用 UI 工作流程把一個資料夾的 PDF 檔案轉換成 markdown，然後用 Unity 目錄的表格作為建立代理時的輸入。 此工作流程會使用 ai_parse_document 進行轉換。 請遵循下列步驟：

  1. 在左側導覽窗格點選 「代理人 」。

  2. 在「資訊擷取」或「自訂LLM使用案例」中，按一下「 使用PDF」。

  3. 在開啟的側邊面板中，輸入下列欄位來建立新的工作流程來轉換您的 PDF：

    1. 選取包含 PDF 或影像的資料夾：選取包含您要使用的 PDF 的 Unity 目錄資料夾。
    2. 選取目的地數據表：選取已轉換 Markdown 資料表的目的地架構，並選擇性地調整下列欄位中的資料表名稱。
    3. 選取作用中的 SQL 倉儲：選取要執行工作流程的 SQL 倉儲。

    設定工作流程以使用 PDF。

  4. 按兩下 [開始匯入]。

  5. 系統會將您重新導向至 [ 所有工作流程 ] 索引標籤，其中會列出您的所有 PDF 工作流程。 使用此索引標籤來監視作業的狀態。

    檢視工作流程狀態以使用 PDF。

    如果您的工作流程失敗，請按下作業名稱加以開啟，並檢視錯誤訊息以協助您進行偵錯。

  6. 當您的工作流程成功完成時，按兩下作業名稱以在目錄總管中開啟資料表，以探索並了解數據行。

  7. 設定代理時，請使用 Unity 目錄資料表作為輸入資料。

Limitations

  • Databricks 建議至少 100 個輸入（Unity 目錄數據表中的 100 個數據列或 100 個手動提供的範例），以優化代理程式。 當您新增更多輸入時，代理程式可以從增加中學習的知識庫，進而改善代理程序品質及其回應精確度。
  • 如果您提供 Unity 目錄資料表，資料表名稱不能包含任何特殊字元（例如 -）。
  • 只有下列資料類型支援做為輸入： string、 int和 double。
  • 使用量容量目前限制為每分鐘 10 萬個輸入和輸出令牌。
  • 不支援已啟用 增強式安全性與合規性 的工作區。
  • 在具有 無伺服器輸出控制網路原則且具有受限存取模式 的工作區中，或已啟用 工作區儲存體帳戶防火牆支援的工作區中，最佳化可能會失敗。
  • 上次更新時間：