專用運算群組存取

Azure Databricks 中的專用群組運算會使用指定的群組權限來執行筆記本和工作。 你可以與群組成員以及有權限可套用該群組的使用者共享運算資源。

專用群組存取模式讓使用者能享有標準存取模式叢集的運作效率,同時安全支援標準存取模式不支援的語言與工作負載,例如 Databricks Runtime for ML、韌性分散式資料集(RDD)API 及 R。

群組叢集是 Azure Databricks 中扮演角色的一種方式。 當使用者連接到群組叢集時,其使用者身份權限會被群組在該叢集上的操作權限所取代。 這等同於在叢集會話期間,將該群組視為一個角色。 關於其他擔任角色的方法,包括角色切換器、CLI 和 API,請參見 切換 RBAC 角色。

要求

若要使用專用群組存取模式:

  • 必須為 Unity Catalog 啟用此工作區。
  • 您必須使用 Databricks Runtime 15.4 或更新版本。
  • 該群組必須是分配到工作區的帳號群組。
  • 指派的群組必須在工作區資料夾上擁有 CAN MANAGE 許可權,以便保存群組叢集所需的筆記本、機器學習實驗和其他工作區項目。

什麼是專用存取模式?

專用存取模式,前稱單一使用者存取模式,將運算資源分配給一個使用者或一個群組。 分配給一個群組的計算資源稱為群組叢集。 只有被指派的使用者,或能作為被指派群組行事的使用者,才能在其上執行工作負載。

建立專用於群組的計算資源

若要建立群組運算,你需要有權限使用運算策略,或具備不受限制的叢集建立權限。 除非你是工作區管理員,否則你必須同時是該分配群組的成員,或擁有取得該群組的權限。

  1. 在你的Azure Databricks工作區,點選 Compute,點選 Create compute。
  2. 展開 [ 進階] 區段。
  3. 在 [存取模式] 底下,按兩下 [ 手動 ],然後從下拉功能表中選取 [專用] (先前為:單一使用者 )。
  4. 在 [ 單一使用者或群組 ] 字段中,選取您要指派給此資源的群組。
  5. 設定其他所需的計算設定,然後按兩下 [ 建立]。

授予群組運算存取權

要使用群組叢集,你需要符合以下兩項條件:

  • 對運算資源的 CAN ATTACH TO 權限。
  • 是被分配群組的成員資格,包括透過巢狀群組,或是允許 切換為該指派群組。

將群組指派給計算資源,會自動將CAN ATTACH TO權限授予該群組。 你可以授予其他使用者或群組運算權限,但這不會改變所指派的群組或工作負載的身份。 這些使用者仍需加入該群組,或取得扮演該指派群組的權限。 僅僅擔任群組管理員並不代表你有權限建立、編輯、刪除或使用叢集。

若要授予運算存取權,您必須在運算資源上擁有 CAN MANAGE:

  1. 在側邊欄中按一下 [計算]。
  2. 在計算資源的資料列上,開啟 kebab 選單 kebab 選單圖示。,然後選取 編輯權限。
  3. 在 權限設定中,點選 選擇使用者、群組或服務主體… 下拉選單,選擇使用者或群組。
  4. 從權限下拉式選單中選擇 CAN ATTACH TO 權限。
  5. 點選 新增,然後 儲存。

請參閱 計算許可權。

若要編輯或永久刪除群組叢集,你需要在運算資源上的 CAN MANAGE 權限。 編輯也需要加入該指派群組或取得切換為該指派群組的權限,除非你是工作區管理員。

從筆記本使用群組運算

要在指定群組的權限下運行筆記本:

  1. 在指定群組能存取的工作資料夾中開啟一本筆記本。

  2. 在筆記本的計算選擇器中,選擇群組叢集。 如果沒有列出,請點擊 更多...... 找到它。

  3. 在 SQL 儲存格,或以 %sql 開頭的儲存格中,執行以下指令檢查工作階段身分:

    SELECT session_user();
    

結果就是分配的群組名稱。 將資料和工作空間權限授予該群組,用於筆記本執行的操作。 你的個人權限不會增加群組在叢集上的權限。

如果你已經透過工作空間角色切換器扮演角色,該角色必須與分配到叢集的群組相匹配。 請參見「轉換 RBAC 角色」。

欲了解更多關於附加筆記本的資訊,請參閱 「將筆記本附加到多功能計算資源」。

以群組身分執行作業

工作可以在群組的權限下執行,包括透過 API 或 SDK 設定工作。 在工作細節中,將 Run as 設定為分配給計算資源的群組。 群組需要取得權限才能存取工作中使用的筆記本、檔案和資料。

在 Jobs API 請求中,設定 run_as.group_name 為該群組名稱:

{
  "run_as": {
    "group_name": "analytics-team"
  }
}

關於設定步驟、群組需求,以及當任務使用指派給不同身分識別的專用運算時的行為,請參閱 將「Run as」設為群組。

管理群組叢集的最佳做法

在使用群組叢集時,使用者權限會限定在群組範圍內,因此 Databricks 建議為您計畫搭配群組叢集使用的每個群組建立一個 /Workspace/Groups/<groupName> 資料夾。 然後,將資料夾 CAN MANAGE 許可權指派給群組。 這可讓群組避免許可權錯誤。 群組的所有筆記本和工作區資產都應該在群組資料夾中管理。

您也必須修改下列工作負載,以在群組叢集上執行:

  • MLflow:請確定您從群組資料夾執行筆記本,或執行 mlflow.set_tracking_uri("/Workspace/Groups/<groupName>")。
  • AutoML:將選擇性的 experiment_dir 參數設定為用於 AutoML 執行的 “/Workspace/Groups/<groupName>”。
  • dbutils.notebook.run:確保群組對正在執行的筆記本具有 READ 權限。

群組叢集的權限行為

在群組叢集上執行的所有命令、查詢和其他動作都會使用指派給群組的許可權,而不是個別使用者。

無法強制執行個別用戶權力,因為所有群組成員都有Spark API和共用計算環境的完整存取權。 如果已套用使用者型許可權,一個成員可以查詢受限制的數據,而另一個沒有存取權的成員仍然可以透過共用環境擷取結果。 因此,群組本身,而不是屬於群組成員的使用者,必須具有成功執行動作的必要許可權。

例如,群組需要明確許可權來查詢數據表、存取秘密範圍或秘密、使用 Unity 目錄連線認證、存取 Git 資料夾,或建立工作區物件。

群組許可權範例

當您使用群組叢集建立數據物件時,群組會指派為對象的擁有者。

例如,如果您有連結至群組叢集的筆記本,並執行下列命令:

use catalog main;
create schema group_cluster_group_schema;

然後執行此查詢來檢查架構的擁有者:

describe schema group_cluster_group_schema;

群組結構描述的範例描述

審計群組專門的運算活動

當群組叢集執行工作負載時,涉及兩個主要身分識別:

  1. 啟動群組叢集工作負載的身分識別
  2. 用於執行實際工作負載操作之權限的群組

稽核記錄系統數據表會記錄下列參數下的這些身分識別:

  • identity_metadata.run_by:啟動行動的認證身份。
  • identity_metadata.run_as:授權群組,其權限被用於該動作。

對於互動式工作負載,run_by 識別使用者。 對於作業工作負載,它會識別 Jobs 服務的應用程式服務主體。 請參見 將「執行身分」設為群組。

下列範例查詢會針對群組叢集所採取的動作提取身分識別元數據:

select action_name, event_time, user_identity.email, identity_metadata
from system.access.audit
where user_identity.email = "uc-group-cluster-group" AND service_name = "unityCatalog"
order by event_time desc limit 100;

檢視稽核記錄系統數據表參考以取得更多範例查詢。 請參閱 稽核記錄系統數據表參考。

送達客戶儲存的稽核日誌,不包括授權群組與驗證身分作為獨立的身分元資料欄位。 請使用 system.access.audit 以查看此元資料。

已知限制

專用群組存取有下列限制:

  • 使用 Git 的工作失敗是因為該工作用來檢查 Git 倉庫的臨時目錄無法寫入。 請改用 Git 資料夾 。
  • created_by 表格與欄位血統系統資料表中的欄位記錄了該群組。 這些資料表不會單獨記錄啟動工作負載的使用者。
  • 當連接至群組叢集時,「型錄總管」不會依僅供群組存取的資產來過濾。
  • 如果群組已重新命名,您必須手動更新參考組名的任何計算原則。
  • 在關閉存取控制清單(ACL)的工作區(isWorkspaceAclsEnabled 如 是 false)中不支援群組叢集,因為這些工作區缺乏安全性與資料存取控制。
  • %run筆記本上下文中的指令和其他動作是利用使用者的權限,而非群組的權限。 這是因為這些動作是由筆記本環境處理,而不是叢集的環境。 例如 dbutils.notebook.run() 之類的替代命令會在叢集上執行,因此會使用群組的權限。
  • 函 is_member(<group>) 式會在群組叢集上叫用時傳回 false ,因為群組不是本身的成員。 要檢查跨群組叢集及其他存取模式的成員資格,請使用 is_member(<group>) OR session_user() = <group>。
  • AI 搜尋在你以群組身分運作時會有限制。 請參閱 支援操作與索引限制。
  • 群組叢集中不支援檔案和資料夾刪除。
  • 檔案上傳 UI 不支援群組叢集。