本頁面為 Azure 網路層級資料外洩防護的逐項功能參考架構。 每個章節描述一個控制項,如身份、Unity 目錄治理、工作空間限制、監控及雲端特定網路隔離,並連結至其實作指南。 關於這些控制背後的概念與安全層優先事項,請參見 資料外洩保護。
- 若要將完整控制套件部署為單一套件,請使用 Azure Databricks Security Reference Architecture Terraform 模組,該模組實現了 隔離環境架構的端對端。 請參閱 Azure 安全參考架構 Terraform 模組。
- 若要單獨設定控制,請參考以下指南。
身分識別與存取控制
基於身份的控管是防止資料外洩的第一道防線。 若缺乏強認證與可信存取,弱身份會削弱網路層級的控制。
透過 SSO 統一登入
使用統一登入,將單一登入(SSO)套用至 Azure Databricks 帳戶中的所有工作區。 這可確保使用者透過公司的身分識別提供者來驗證身分,而不是使用個人帳號或非 SSO 方式。
在您的身份提供者中啟用多重身份驗證(MFA),以增加驗證層次。
請參見 認證與存取控制。
自動化身份管理
實作 SCIM 配置以自動化使用者生命週期管理。 這確保前員工會自動被取消配置,離職後無法使用工作空間。
網路存取控制
限制工作區與帳號主控台對受信任網路的存取:
- 帳號層級 IP 存取清單:控制帳號主控台的存取權限。 請參閱 設定帳戶主控台的IP存取清單。
- 工作區層級的 IP 存取清單:控制對個別工作區的存取權限。 請參閱設定工作區的 IP 存取清單。
- 私人連線:使用輸入 Private Link,完全移除工作區的公用存取。 請參見「配置工作區的 inbound Private Link」。
資料治理控制
網路控制防止未經授權的出口路徑,但資料治理控制確保即使是授權的運算資源也只能存取核准的資料目的地。 無論你部署哪種 網路安全架構 ,都應該套用這些控制措施。
標準存取控制
使用 Unity 目錄權限限制誰能讀取、寫入或修改每個目錄、架構、資料表和磁碟區。 授予每個角色和團體所需的最低權限。
權限是階層式的:目錄上的授權適用於該目錄中的所有結構結構和資料表。 利用此方法強制執行廣泛預設,然後在較低層級針對敏感資料縮小存取範圍。
基於屬性的存取控制(ABAC)
ABAC 根據附加於資料物件的標籤來管理資料存取,而不僅僅是物件身份。 使用 ABAC 來執行像是「使用者只能查詢已標記 pii=false的資料表」或「歐盟群組的使用者無法閱讀標籤資料 region=US表」等政策。
在已有標籤慣例的大型環境中,ABAC 比單物件 GRANT 更能擴展。 它也能與資料列篩選器和資料欄遮罩(如下)搭配使用。
請參閱 Unity 目錄中的屬性基礎存取控制。
資料列篩選與資料欄遮罩
限制使用者在表格中看到的內容:
- 列篩選器:套用 SQL 函式來判斷使用者可以查詢哪些列。 例如,限制銷售表,讓每位區域經理只看到自己區域的列數。
-
欄位遮罩:套用一個 SQL 函式,在欄位返回給使用者之前先轉換欄位的值。 例如,非金融用戶可將信用卡號碼
XXXX-XXXX-XXXX-1234隱藏起來。
列篩選器和資料行遮罩會在查詢時進行評估,因此使用者無法透過 SELECT * 繞過它們。
請參閱 行篩選和列遮罩。
Unity 目錄的管理限制
將資料存取安全性物件的建立限制為僅限系統管理員:
- 儲存憑證:只允許管理員建立儲存憑證。 對每個憑證套用最低權限的雲端存取政策(IAM 角色、管理身份)。 請參閱 管理記憶體認證。
- 外部位置:只允許管理員建立對應到雲端儲存路徑的外部位置。 請參閱 管理外部位置。
- 資料庫連線:只允許管理員透過 Lakehouse Federation 建立外部資料庫的連線。 請參閱 管理 Lakehouse 同盟的連線。
- 服務憑證:只允許管理員為外部雲端服務建立服務憑證。 請參閱 建立服務認證。
授予使用者使用已核准安全性實體的權限,而非建立新的安全性實體。 這防止使用者將運算指向不受信任的儲存裝置或端點。
儲存帳號政策
在儲存帳號上實施防火牆或桶策略,只接受來自核准來源目的地的流量:
- 設定 Azure 儲存體 防火牆,只允許經核准的 VNet、私有端點或服務端點存取。
- 使用帶有最低權限角色分配的受管理身份。
工作區限制
Workspace 管理員設定控制 Azure Databricks UI 中的資料下載與匯出路徑。 請停用這些設定,以防止使用者透過工作區介面擷取資料。
| Setting | 風險緩解 |
|---|---|
| 停用筆記本結果下載功能 | 使用者將查詢結果下載到本地機器 |
| 關閉磁碟區檔案下載 | 使用者將磁碟檔案下載到本地機器 |
| 關閉筆記本和檔案匯出功能 | 使用者從工作區匯出筆記本或檔案 |
| 停用 SQL 結果下載 | 使用者下載 SQL 查詢結果 |
| 停用 MLflow 執行工件下載 | 下載 MLflow 實驗產物的使用者 |
| 停用結果表格夾板 | 使用者將表格資料複製到夾板 |
請在工作區管理控制台的安全設定中設定這些設定。 請參閱 管理您的工作區。
監控和檢測
預防性控制可降低資料外洩風險,但監控則能偵測控制失效或攻擊者繞過防控。
用於稽核監控的系統表
使用 Azure Databricks 監控成本,使用系統資料表來監控資料存取模式。 稽核記錄系統資料表參考會記錄工作區事件,包括:
- 使用者驗證與存取嘗試。
- 資料讀寫操作。
- 管理設定變更。
- 憑證使用與外部位置存取。
設置可疑活動警示,例如異常資料量、來自意外地點的存取,或嘗試存取未經授權的資源。
雲端原生日誌整合
擷取雲端特定記錄,以補充 Azure Databricks 系統資料表:
- 設定 Azure 監視器 和活動日誌,以擷取儲存存取事件、管理身份使用情況及網路流日誌。
將雲端原生日誌與 Azure Databricks 稽核日誌對應,讓你能全面掌握環境中的資料流動。
Azure 架構
Azure 架構使用 VNet 注入、Private Link 與 Azure 防火牆,為 Azure Databricks 工作負載建立安全的網路邊界。
先決條件
| 組件 | 詳細資料 |
|---|---|
| 虛擬網路 | 客戶管理的 VNet,用於Azure Databricks資料平面部署,使用 Deploy Azure Databricks 在你的Azure虛擬網路中(VNet 注入)。 |
| 子網路 | 三個子網:主機(公有)、容器(私有)和私有端點子網。 |
| 防火牆或 NVA | 網路虛擬設備(Azure 防火牆 或第三方)用於出口檢查與政策強制執行。 |
| 私人 DNS 區域 | 虛擬網路內私有端點的 DNS 解析。 |
| Azure Key Vault | 儲存客戶管理的 DBFS、管理磁碟及管理服務加密金鑰。 |
| 防火牆允許清單 | 必要的 Azure Databricks 端點。 請參閱 「設定網域名稱防火牆規則」。 |
架構元件
該架構有四個主要領域:網路隔離、私人連接、出口控制,以及無伺服器安全。
網路隔離
使用 在您的 Azure 虛擬網路中部署 Azure Databricks(VNet 插入),在虛擬網路中部署已啟用 安全叢集連線 (SCC) 的 Azure Databricks。 你可以採用帶有集中式防火牆的 中樞-輻射拓撲 進行部署,或採用不含中樞的孤島式網路拓撲。 此配置:
- 消除叢集節點上的公共 IP 位址。
- 每個工作區需要專用子網路對(一個私人,一個公開)。
- 路由透過私有端點控制平面流量。
Tip
不要把應用程式資料儲存在 DBFS 根儲存中。 請停用在您現有的 Azure Databricks 工作區中對 DBFS 根目錄與掛接的存取,並改用 什麼是 Unity Catalog 磁碟區?。
私人連接
在專用子網路中為客戶管理的 Azure 儲存帳號設置 Private Link 端點:
- 所有資料存取皆透過 Azure 網路骨幹網進行。
- 私有端點可以部署於 Azure Databricks VNet 或已對等互連的 VNet。
- 作為客戶管理的儲存體帳戶的替代方案,可使用 設定 Azure 虛擬網路服務端點原則,以便從傳統計算存取儲存體(不需額外費用)。
Note
私人端點與服務端點政策僅適用於客戶管理的 Azure 儲存帳號。 Azure Databricks 管理的資源(工件儲存、日誌儲存和事件中心)不能放在私人端點後方。
設定為工作區設定輸入 Private Link,供使用者存取及瀏覽器驗證(SSO)。
出口控制
在樞紐虛擬網路中部署 Azure 防火牆(或第三方網路虛擬設備):
- Application rules:定義可經由防火牆存取的 FQDN,包括控制平面、Web 應用程式,以及在未設定傳統計算平面 Private Link 時的 SCC 中繼。
- 網路規則:為無法使用 FQDN 的端點定義 IP 位址、埠口和協定。
-
使用者定義路由 (UDR):使用預設路由(
0.0.0.0/0),將來自 Azure Databricks 子網路的非本機流量透過防火牆進行路由。
Note
使用服務端點政策時,Azure Databricks 服務儲存帳號(工件、日誌、系統資料表)不需要防火牆網路規則。
服務端點可略過 Azure Databricks 系統儲存體的防火牆,降低資料傳輸成本並避免節流。 僅 artifact 儲存就可能佔用每個叢集節點最多 11 GB 的下載空間。
無伺服器安全性
設定 什麼是無伺服器出口控制? 用來管理出口流量。 使用 無伺服器計算平面網路建立無伺服器計算與Azure儲存帳號(ADLS Gen2)之間的私有連線。
優化策略:
- 在安全需求允許的情況下,使用服務端點而非 Private Link。
- 設定服務端點政策以繞過防火牆,保護 Azure Databricks 系統儲存(降低資料傳輸成本並避免限速)。
- 根據實際需求調整 Azure 防火牆 或 NVA 的適當吞吐量。
- 監控防火牆設備的資料傳輸成本。
詳見 《了解 Databricks 網路成本 》以獲得詳細指引。
另請參閱
| 資源 | Description |
|---|---|
| 網路參考架構 | 網路安全架構(管理型、加固型、隔離型)。 |
| 安全性與合規性 | 安全與合規控制超越網路。 |