Azure Databricks 中的專用群組運算會使用指定的群組權限來執行筆記本和工作。 你可以與群組成員以及有權限可套用該群組的使用者共享運算資源。
專用群組存取模式讓使用者能享有標準存取模式叢集的運作效率,同時安全支援標準存取模式不支援的語言與工作負載,例如 Databricks Runtime for ML、韌性分散式資料集(RDD)API 及 R。
群組叢集是 Azure Databricks 中扮演角色的一種方式。 當使用者連接到群組叢集時,其使用者身份權限會被群組在該叢集上的操作權限所取代。 這等同於在叢集會話期間,將該群組視為一個角色。 關於其他擔任角色的方法,包括角色切換器、CLI 和 API,請參見 切換 RBAC 角色。
要求
若要使用專用群組存取模式:
- 必須為 Unity Catalog 啟用此工作區。
- 您必須使用 Databricks Runtime 15.4 或更新版本。
- 該群組必須是分配到工作區的帳號群組。
- 指派的群組必須在工作區資料夾上擁有
CAN MANAGE許可權,以便保存群組叢集所需的筆記本、機器學習實驗和其他工作區項目。
什麼是專用存取模式?
專用存取模式,前稱單一使用者存取模式,將運算資源分配給一個使用者或一個群組。 分配給一個群組的計算資源稱為群組叢集。 只有被指派的使用者,或能作為被指派群組行事的使用者,才能在其上執行工作負載。
建立專用於群組的計算資源
若要建立群組運算,你需要有權限使用運算策略,或具備不受限制的叢集建立權限。 除非你是工作區管理員,否則你必須同時是該分配群組的成員,或擁有取得該群組的權限。
- 在你的Azure Databricks工作區,點選
Compute ,點選 Create compute 。 - 展開 [ 進階] 區段。
- 在 [存取模式] 底下,按兩下 [ 手動 ],然後從下拉功能表中選取 [專用] (先前為:單一使用者 )。
- 在 [ 單一使用者或群組 ] 字段中,選取您要指派給此資源的群組。
- 設定其他所需的計算設定,然後按兩下 [ 建立]。
授予群組運算存取權
要使用群組叢集,你需要符合以下兩項條件:
- 對運算資源的
CAN ATTACH TO權限。 - 是被分配群組的成員資格,包括透過巢狀群組,或是允許 切換為該指派群組。
將群組指派給計算資源,會自動將CAN ATTACH TO權限授予該群組。 你可以授予其他使用者或群組運算權限,但這不會改變所指派的群組或工作負載的身份。 這些使用者仍需加入該群組,或取得扮演該指派群組的權限。 僅僅擔任群組管理員並不代表你有權限建立、編輯、刪除或使用叢集。
若要授予運算存取權,您必須在運算資源上擁有 CAN MANAGE:
- 在側邊欄中按一下 [計算]。
- 在計算資源的資料列上,開啟 kebab 選單
,然後選取 編輯權限。
- 在 權限設定中,點選 選擇使用者、群組或服務主體… 下拉選單,選擇使用者或群組。
- 從權限下拉式選單中選擇
CAN ATTACH TO權限。 - 點選 新增,然後 儲存。
請參閱 計算許可權。
若要編輯或永久刪除群組叢集,你需要在運算資源上的 CAN MANAGE 權限。 編輯也需要加入該指派群組或取得切換為該指派群組的權限,除非你是工作區管理員。
從筆記本使用群組運算
要在指定群組的權限下運行筆記本:
在指定群組能存取的工作資料夾中開啟一本筆記本。
在筆記本的計算選擇器中,選擇群組叢集。 如果沒有列出,請點擊 更多...... 找到它。
在 SQL 儲存格,或以
%sql開頭的儲存格中,執行以下指令檢查工作階段身分:SELECT session_user();
結果就是分配的群組名稱。 將資料和工作空間權限授予該群組,用於筆記本執行的操作。 你的個人權限不會增加群組在叢集上的權限。
如果你已經透過工作空間角色切換器扮演角色,該角色必須與分配到叢集的群組相匹配。 請參見「轉換 RBAC 角色」。
欲了解更多關於附加筆記本的資訊,請參閱 「將筆記本附加到多功能計算資源」。
以群組身分執行作業
工作可以在群組的權限下執行,包括透過 API 或 SDK 設定工作。 在工作細節中,將 Run as 設定為分配給計算資源的群組。 群組需要取得權限才能存取工作中使用的筆記本、檔案和資料。
在 Jobs API 請求中,設定 run_as.group_name 為該群組名稱:
{
"run_as": {
"group_name": "analytics-team"
}
}
關於設定步驟、群組需求,以及當任務使用指派給不同身分識別的專用運算時的行為,請參閱 將「Run as」設為群組。
管理群組叢集的最佳做法
在使用群組叢集時,使用者權限會限定在群組範圍內,因此 Databricks 建議為您計畫搭配群組叢集使用的每個群組建立一個 /Workspace/Groups/<groupName> 資料夾。 然後,將資料夾 CAN MANAGE 許可權指派給群組。 這可讓群組避免許可權錯誤。 群組的所有筆記本和工作區資產都應該在群組資料夾中管理。
您也必須修改下列工作負載,以在群組叢集上執行:
- MLflow:請確定您從群組資料夾執行筆記本,或執行
mlflow.set_tracking_uri("/Workspace/Groups/<groupName>")。 - AutoML:將選擇性的
experiment_dir參數設定為用於 AutoML 執行的“/Workspace/Groups/<groupName>”。 -
dbutils.notebook.run:確保群組對正在執行的筆記本具有READ權限。
群組叢集的權限行為
在群組叢集上執行的所有命令、查詢和其他動作都會使用指派給群組的許可權,而不是個別使用者。
無法強制執行個別用戶權力,因為所有群組成員都有Spark API和共用計算環境的完整存取權。 如果已套用使用者型許可權,一個成員可以查詢受限制的數據,而另一個沒有存取權的成員仍然可以透過共用環境擷取結果。 因此,群組本身,而不是屬於群組成員的使用者,必須具有成功執行動作的必要許可權。
例如,群組需要明確許可權來查詢數據表、存取秘密範圍或秘密、使用 Unity 目錄連線認證、存取 Git 資料夾,或建立工作區物件。
群組許可權範例
當您使用群組叢集建立數據物件時,群組會指派為對象的擁有者。
例如,如果您有連結至群組叢集的筆記本,並執行下列命令:
use catalog main;
create schema group_cluster_group_schema;
然後執行此查詢來檢查架構的擁有者:
describe schema group_cluster_group_schema;
審計群組專門的運算活動
當群組叢集執行工作負載時,涉及兩個主要身分識別:
- 啟動群組叢集工作負載的身分識別
- 用於執行實際工作負載操作之權限的群組
稽核記錄系統數據表會記錄下列參數下的這些身分識別:
-
identity_metadata.run_by:啟動行動的認證身份。 -
identity_metadata.run_as:授權群組,其權限被用於該動作。
對於互動式工作負載,run_by 識別使用者。 對於作業工作負載,它會識別 Jobs 服務的應用程式服務主體。 請參見 將「執行身分」設為群組。
下列範例查詢會針對群組叢集所採取的動作提取身分識別元數據:
select action_name, event_time, user_identity.email, identity_metadata
from system.access.audit
where user_identity.email = "uc-group-cluster-group" AND service_name = "unityCatalog"
order by event_time desc limit 100;
檢視稽核記錄系統數據表參考以取得更多範例查詢。 請參閱 稽核記錄系統數據表參考。
送達客戶儲存的稽核日誌,不包括授權群組與驗證身分作為獨立的身分元資料欄位。 請使用 system.access.audit 以查看此元資料。
已知限制
專用群組存取有下列限制:
- 使用 Git 的工作失敗是因為該工作用來檢查 Git 倉庫的臨時目錄無法寫入。 請改用 Git 資料夾 。
-
created_by表格與欄位血統系統資料表中的欄位記錄了該群組。 這些資料表不會單獨記錄啟動工作負載的使用者。 - 當連接至群組叢集時,「型錄總管」不會依僅供群組存取的資產來過濾。
- 如果群組已重新命名,您必須手動更新參考組名的任何計算原則。
- 在關閉存取控制清單(ACL)的工作區(
isWorkspaceAclsEnabled如 是false)中不支援群組叢集,因為這些工作區缺乏安全性與資料存取控制。 -
%run筆記本上下文中的指令和其他動作是利用使用者的權限,而非群組的權限。 這是因為這些動作是由筆記本環境處理,而不是叢集的環境。 例如dbutils.notebook.run()之類的替代命令會在叢集上執行,因此會使用群組的權限。 - 函
is_member(<group>)式會在群組叢集上叫用時傳回false,因為群組不是本身的成員。 要檢查跨群組叢集及其他存取模式的成員資格,請使用is_member(<group>) OR session_user() = <group>。 - AI 搜尋在你以群組身分運作時會有限制。 請參閱 支援操作與索引限制。
- 群組叢集中不支援檔案和資料夾刪除。
- 檔案上傳 UI 不支援群組叢集。