Databricks 沙盒

Important

這項功能位於 測試版 (Beta) 中。 要在工作區中啟用此功能預覽,請在工作區預覽頁面中選擇 Databricks 沙盒 設定。 請參閱 管理 Azure Databricks 預覽。

Databricks 沙盒讓你能透過 Databricks REST API、SDK 或 Databricks CLI 在隔離環境中執行不受信任的程式碼。 沙盒提供無伺服器、隨需提供的運算資源,以便動態執行程式碼。

每個沙盒都包含一個持久的主目錄。 你可以隨時停止或啟動沙盒,且你家目錄中的資料會持續存在。

沙箱最適合用於:

  • 使用特工安全帶。
  • 執行使用者撰寫或 AI 撰寫的程式碼。
  • 執行背景任務或工作程序。
  • 啟動互動式 IDE 或 SSH 會話。

先決條件

開始

若要建立沙盒並在其中執行程式碼,請參閱 Databricks 沙盒快速入門。 快速入門涵蓋了沙盒的各種使用方式:

  • 一個用 Agent Bricks CLI 建立的供代理程式使用的沙盒工具。
  • Python 版 Databricks SDK 是推薦用程式碼處理沙盒的方法。
  • Databricks 的 CLI 用來透過 SSH 連接沙盒。

計算大小

Databricks Sandbox 配備 4 顆 vCPU 和 8 GB 記憶體。 這個尺寸無法設定。

儲存體

Warning

Beta 期間結束時,Databricks 可能會一次性清除沙盒中儲存的資料。 不要存放任何你無法承受失去的東西。

Databricks Sandbox 附帶網路附加儲存裝置。

  • 你家目錄(/home/sandbox-agent)中的資料會在 Databricks Sandbox 的整個存續期間內持續保留。 即使停止 Databricks Sandbox,在你開始下一個工作階段時,主目錄中的資料仍可使用。
  • 你的家庭目錄最多可儲存 100 GB。 你無法更改這個限制。
  • 你可以在家目錄外儲存最多 10 GB,但當你停止沙盒時,這些資料會被刪除。 這個限制不適用於位於 /Workspace 或 /Volumes 下的檔案,這些檔案會儲存在工作區或磁碟區中。 請參閱 存取工作區檔案與磁碟區。

存取工作區檔案與磁碟區

每個沙盒會掛載工作區檔案和 Unity Catalog 磁碟區作為本地目錄。 沙盒中的程式碼與代理程式可以使用標準檔案工具(如 ls、 cp或 Python)open()讀取和寫入這些檔案,無需呼叫 Databricks SDK 或 Databricks CLI。

路徑 內容
/Workspace 工作空間檔案,例如 /Workspace/Users/<user-name> 和 /Workspace/Shared。 請參見 以程式方式與工作區檔案互動。
/Volumes/<catalog>/<schema>/<volume> Unity Catalog 磁碟區中的檔案。 請參閱 在 Unity Catalog 磁碟區中處理檔案。

存取這些路徑是使用 Azure Databricks 為沙盒建立的憑證,而不是你用來呼叫沙盒的權杖。 你的呼叫權杖限制不適用於這些路徑。 這個憑證與沙盒中用來呼叫 Azure Databricks API 的 Databricks 憑證是分開的。 存取權限依據沙盒身份的工作空間及 Unity 目錄權限進行:

  • 對於使用 Databricks SDK 或 Databricks CLI 建立的沙盒,身份就是建立沙盒的使用者。
  • 對於 Agent Bricks 沙盒工具,身份是發送請求的使用者,或若設定工具為 --auth app,則為應用程式的服務主體。 請參見 :給現有代理一個沙盒工具以安全執行程式碼。

該身份需要以下權限:

  • 工作區檔案:檢視工作區檔案以讀取該檔案的權限,以及編輯該檔案以寫入的權限。
  • 卷:需有 READ VOLUME 權限才能讀取檔案,而要寫入檔案則需同時具備 READ VOLUME 和 WRITE VOLUME 權限,另外還需在父目錄和結構描述上具有 USE CATALOG 和 USE SCHEMA 權限。 請參閱 Unity 目錄磁碟區的許可權。

你寫入 /Workspace 或 /Volumes 儲存在工作區或卷區的檔案,而不是沙盒儲存,所以當你停止或刪除沙盒後,檔案會保留。

/Workspace 和 /Volumes 是唯一掛載在沙盒中的工作區資料路徑。 DBFS 的根目錄和雲端儲存路徑在沙盒中無法作為本機路徑使用。

網路

沙盒網路出口沒有限制,且出口功能無法設定。 直接進入沙盒公用 IP 的連線對所有流量都關閉,你無法更改這點。

埠轉發

若要從您的機器存取在沙箱中執行的網頁伺服器、筆記本或 API,請使用連接埠轉送。 轉發的流量會經過工作區,而非使用沙盒的公開 IP。 只有沙盒擁有者才能轉發埠。 有關說明,請參閱 「從沙盒轉送連接埠」。

Databricks 憑證

為了讓沙盒中的程式碼能呼叫 Azure Databricks API,每個沙盒都會配置一個 Azure Databricks 憑證,以驗證為沙盒的身份。 對於使用 Databricks SDK 或 Databricks CLI 建立的沙盒,那就是建立沙箱的使用者。 對於 Agent Bricks 沙箱工具,是發送請求的使用者,或若您以 --auth app配置工具,則為應用程式的服務主體。 憑證中的每個權杖有效期為 1 小時,且在到期前會自動刷新。 刷新持續最多24小時,之後憑證即失效。 此憑證壽命與 24 小時執行時間限制是分開的。 憑證不依賴你的登入會話,所以即使你登出或自己的令牌過期,憑證仍會繼續運作。

憑證會以 DEFAULT 設定檔的形式儲存在 ~/.databrickscfg 中,因此 Databricks SDK 和沙盒中的 Databricks CLI 會自動使用它。

自訂映像

你可以從儲存在 Artifact Registry 的容器映像建立沙盒,因此每個沙盒在啟動時都已預先安裝你的套件、工具和設定。 請參閱 從自訂映像建立沙箱。

使用成本

Databricks 目前不對使用此功能收費。 不過,Beta 版功能的費用與定價可能會有所變動。

完整的帳單使用資訊,請參閱 Databricks 定價。 Databricks 預計將對下列項目的沙盒使用量計費:

  • 執行時運算:在 Databricks 沙盒運行時按小時計費。
  • 持久儲存:在 Databricks 沙盒被刪除之前,你將就儲存在主目錄中的資料被收費。 只要 Databricks 沙盒實例存在,儲存裝置就會產生計費。 要停止支付儲存費用,你必須刪除沙盒。
  • 資料傳輸

局限性

  • 配額制度被執行。 預設情況下,每位使用者最多只能有 200 個活躍沙盒(所有狀態合計 800 個),工作區最多只能有 400 個活躍沙盒(總共 2,000 個)。 如需申請提高上限,請聯絡您的 Azure Databricks 帳戶團隊。 請參閱資源限制。
  • 你無法透過 SSH 連接到你用 Databricks SDK 建立的沙盒。 要透過 SSH 連線,請用 Databricks CLI 建立沙盒。 請參考 使用 Databricks CLI 來建立沙盒。
  • Databricks Sandbox 是用於執行程式碼的計算原語,而非通用的 Spark 執行時。 若為 Spark 工作負載,請使用 連線至無伺服器運算。
  • 你的 Databricks 沙盒的公開 IP 位址隨時可能變更。
  • 停止沙盒後,主目錄以外的變更都不會持續存在,但寫入 /Workspace 或 /Volumes 之下的檔案除外。 請參閱 存取工作區檔案與磁碟區。 要用相同的套件和設定啟動每個沙盒,請使用自訂映像檔。 請參閱 從自訂映像建立沙箱。 若要在同一沙盒的多個會話間重複使用檔案,請將它們存放在你的家目錄中。
  • 沙盒每次開始後最多可運行24小時。 24 小時後,Azure Databricks 會停止沙盒,包括所有執行中的指令和背景程序。 即使使用 --no-autostop 關閉非活動自動停止功能,且您無法透過 Databricks CLI 或 API 延長此限制,這個限制仍然適用。 繼續的話,重新開始沙盒,開啟新的24小時週期。 你家目錄裡的資料會被保存。