將 Databricks Apps 代理程式部署到正式環境

當你 撰寫 代理程式並部署到 Databricks 應用程式後,依照以下順序將其帶到生產環境:

頁面 描述
1. 為您的 Databricks Apps 代理設定 CI/CD 將 Databricks Apps 的部署作業自動化,並透過 GitHub Actions 執行。 使用工作負載身分聯盟(無須長期有效的密鑰)以及代理程式範本隨附的入門工作流程。
2. 負載測試你的 Databricks Apps 代理程式 找出你的代理人能承受的最大 QPS。 針對代理程式的模擬 LLM 建置版本執行漸增至飽和的負載測試,以區分 Databricks Apps 基礎架構吞吐量與模型延遲的影響。
3. 使用 Unity Gateway 管理 LLM 的使用方式 透過 Unity Gateway 轉送 LLM 呼叫。 集中管理權限、將成本歸因到各個應用程式、切換模型,並在不修改代理程式的程式碼情況下檢視或重播流量。

對於非特定於代理程式的一般 Databricks Apps CI/CD,請參閱 適用於 Databricks Apps 且使用 GitHub Actions 的 CI/CD。