當你 撰寫 代理程式並部署到 Databricks 應用程式後,依照以下順序將其帶到生產環境:
| 頁面 | 描述 |
|---|---|
| 1. 為您的 Databricks Apps 代理設定 CI/CD | 將 Databricks Apps 的部署作業自動化,並透過 GitHub Actions 執行。 使用工作負載身分聯盟(無須長期有效的密鑰)以及代理程式範本隨附的入門工作流程。 |
| 2. 負載測試你的 Databricks Apps 代理程式 | 找出你的代理人能承受的最大 QPS。 針對代理程式的模擬 LLM 建置版本執行漸增至飽和的負載測試,以區分 Databricks Apps 基礎架構吞吐量與模型延遲的影響。 |
| 3. 使用 Unity Gateway 管理 LLM 的使用方式 | 透過 Unity Gateway 轉送 LLM 呼叫。 集中管理權限、將成本歸因到各個應用程式、切換模型,並在不修改代理程式的程式碼情況下檢視或重播流量。 |
對於非特定於代理程式的一般 Databricks Apps CI/CD,請參閱 適用於 Databricks Apps 且使用 GitHub Actions 的 CI/CD。