Important
這項功能位於 測試版 (Beta) 中。 要在工作區中啟用此功能預覽,請在工作區預覽頁面中選擇 Databricks 沙盒 設定。 請參閱 管理 Azure Databricks 預覽。
Databricks 沙盒讓你能透過 Databricks REST API、SDK 或 Databricks CLI 在隔離環境中執行不受信任的程式碼。 沙盒提供無伺服器、隨需提供的運算資源,以便動態執行程式碼。
每個沙盒都包含一個持久的主目錄。 你可以隨時停止或啟動沙盒,且你家目錄中的資料會持續存在。
沙箱最適合用於:
- 使用特工安全帶。
- 執行使用者撰寫或 AI 撰寫的程式碼。
- 執行背景任務或工作程序。
- 啟動互動式 IDE 或 SSH 會話。
先決條件
你的工作區必須位於支援區域內。 請參閱區域可用性有限的功能。
要使用 SDK,請使用Python 3.10或以上版本。
若要透過 SSH 使用 Databricks CLI,請安裝 Databricks CLI,並使用
databricks auth login進行驗證:databricks auth login # authenticate to a Databricks workspace
開始
若要建立沙盒並在其中執行程式碼,請參閱 Databricks 沙盒快速入門。 快速入門涵蓋了沙盒的各種使用方式:
- 一個用 Agent Bricks CLI 建立的供代理程式使用的沙盒工具。
- Python 版 Databricks SDK 是推薦用程式碼處理沙盒的方法。
- Databricks 的 CLI 用來透過 SSH 連接沙盒。
計算大小
Databricks Sandbox 配備 4 顆 vCPU 和 8 GB 記憶體。 這個尺寸無法設定。
儲存體
Warning
Beta 期間結束時,Databricks 可能會一次性清除沙盒中儲存的資料。 不要存放任何你無法承受失去的東西。
Databricks Sandbox 附帶網路附加儲存裝置。
- 你家目錄(
/home/sandbox-agent)中的資料會在 Databricks Sandbox 的整個存續期間內持續保留。 即使停止 Databricks Sandbox,在你開始下一個工作階段時,主目錄中的資料仍可使用。 - 你的家庭目錄最多可儲存 100 GB。 你無法更改這個限制。
- 你可以在家目錄外儲存最多 10 GB,但當你停止沙盒時,這些資料會被刪除。 這個限制不適用於位於
/Workspace或/Volumes下的檔案,這些檔案會儲存在工作區或磁碟區中。 請參閱 存取工作區檔案與磁碟區。
存取工作區檔案與磁碟區
每個沙盒會掛載工作區檔案和 Unity Catalog 磁碟區作為本地目錄。 沙盒中的程式碼與代理程式可以使用標準檔案工具(如 ls、 cp或 Python)open()讀取和寫入這些檔案,無需呼叫 Databricks SDK 或 Databricks CLI。
| 路徑 | 內容 |
|---|---|
/Workspace |
工作空間檔案,例如 /Workspace/Users/<user-name> 和 /Workspace/Shared。 請參見 以程式方式與工作區檔案互動。 |
/Volumes/<catalog>/<schema>/<volume> |
Unity Catalog 磁碟區中的檔案。 請參閱 在 Unity Catalog 磁碟區中處理檔案。 |
存取這些路徑是使用 Azure Databricks 為沙盒建立的憑證,而不是你用來呼叫沙盒的權杖。 你的呼叫權杖限制不適用於這些路徑。 這個憑證與沙盒中用來呼叫 Azure Databricks API 的 Databricks 憑證是分開的。 存取權限依據沙盒身份的工作空間及 Unity 目錄權限進行:
- 對於使用 Databricks SDK 或 Databricks CLI 建立的沙盒,身份就是建立沙盒的使用者。
- 對於 Agent Bricks 沙盒工具,身份是發送請求的使用者,或若設定工具為
--auth app,則為應用程式的服務主體。 請參見 :給現有代理一個沙盒工具以安全執行程式碼。
該身份需要以下權限:
- 工作區檔案:檢視工作區檔案以讀取該檔案的權限,以及編輯該檔案以寫入的權限。
-
卷:需有
READ VOLUME權限才能讀取檔案,而要寫入檔案則需同時具備READ VOLUME和WRITE VOLUME權限,另外還需在父目錄和結構描述上具有USE CATALOG和USE SCHEMA權限。 請參閱 Unity 目錄磁碟區的許可權。
你寫入 /Workspace 或 /Volumes 儲存在工作區或卷區的檔案,而不是沙盒儲存,所以當你停止或刪除沙盒後,檔案會保留。
/Workspace 和 /Volumes 是唯一掛載在沙盒中的工作區資料路徑。 DBFS 的根目錄和雲端儲存路徑在沙盒中無法作為本機路徑使用。
網路
沙盒網路出口沒有限制,且出口功能無法設定。 直接進入沙盒公用 IP 的連線對所有流量都關閉,你無法更改這點。
埠轉發
若要從您的機器存取在沙箱中執行的網頁伺服器、筆記本或 API,請使用連接埠轉送。 轉發的流量會經過工作區,而非使用沙盒的公開 IP。 只有沙盒擁有者才能轉發埠。 有關說明,請參閱 「從沙盒轉送連接埠」。
Databricks 憑證
為了讓沙盒中的程式碼能呼叫 Azure Databricks API,每個沙盒都會配置一個 Azure Databricks 憑證,以驗證為沙盒的身份。 對於使用 Databricks SDK 或 Databricks CLI 建立的沙盒,那就是建立沙箱的使用者。 對於 Agent Bricks 沙箱工具,是發送請求的使用者,或若您以 --auth app配置工具,則為應用程式的服務主體。 憑證中的每個權杖有效期為 1 小時,且在到期前會自動刷新。 刷新持續最多24小時,之後憑證即失效。 此憑證壽命與 24 小時執行時間限制是分開的。 憑證不依賴你的登入會話,所以即使你登出或自己的令牌過期,憑證仍會繼續運作。
憑證會以 DEFAULT 設定檔的形式儲存在 ~/.databrickscfg 中,因此 Databricks SDK 和沙盒中的 Databricks CLI 會自動使用它。
自訂映像
你可以從儲存在 Artifact Registry 的容器映像建立沙盒,因此每個沙盒在啟動時都已預先安裝你的套件、工具和設定。 請參閱 從自訂映像建立沙箱。
使用成本
Databricks 目前不對使用此功能收費。 不過,Beta 版功能的費用與定價可能會有所變動。
完整的帳單使用資訊,請參閱 Databricks 定價。 Databricks 預計將對下列項目的沙盒使用量計費:
- 執行時運算:在 Databricks 沙盒運行時按小時計費。
- 持久儲存:在 Databricks 沙盒被刪除之前,你將就儲存在主目錄中的資料被收費。 只要 Databricks 沙盒實例存在,儲存裝置就會產生計費。 要停止支付儲存費用,你必須刪除沙盒。
- 資料傳輸
局限性
- 配額制度被執行。 預設情況下,每位使用者最多只能有 200 個活躍沙盒(所有狀態合計 800 個),工作區最多只能有 400 個活躍沙盒(總共 2,000 個)。 如需申請提高上限,請聯絡您的 Azure Databricks 帳戶團隊。 請參閱資源限制。
- 你無法透過 SSH 連接到你用 Databricks SDK 建立的沙盒。 要透過 SSH 連線,請用 Databricks CLI 建立沙盒。 請參考 使用 Databricks CLI 來建立沙盒。
- Databricks Sandbox 是用於執行程式碼的計算原語,而非通用的 Spark 執行時。 若為 Spark 工作負載,請使用 連線至無伺服器運算。
- 你的 Databricks 沙盒的公開 IP 位址隨時可能變更。
- 停止沙盒後,主目錄以外的變更都不會持續存在,但寫入
/Workspace或/Volumes之下的檔案除外。 請參閱 存取工作區檔案與磁碟區。 要用相同的套件和設定啟動每個沙盒,請使用自訂映像檔。 請參閱 從自訂映像建立沙箱。 若要在同一沙盒的多個會話間重複使用檔案,請將它們存放在你的家目錄中。 - 沙盒每次開始後最多可運行24小時。 24 小時後,Azure Databricks 會停止沙盒,包括所有執行中的指令和背景程序。 即使使用
--no-autostop關閉非活動自動停止功能,且您無法透過 Databricks CLI 或 API 延長此限制,這個限制仍然適用。 繼續的話,重新開始沙盒,開啟新的24小時週期。 你家目錄裡的資料會被保存。