本頁概述如何使用 Databricks-to-Databricks Open Sharing,安全地與任何 Databricks 使用者共用資料;只要該使用者可存取已啟用 Unity Catalog 的工作區,無論其帳戶或雲端平台為何。
誰應該使用 Databricks 到 Databricks 的開放共享?
使用 OpenSharing 有三種方式可以分享資料。
本文介紹的Databricks 對 Databricks 共用通訊協定,可讓您將來自已啟用 Unity Catalog 的工作區資料,分享給也可存取已啟用 Unity Catalog 之 Databricks 工作區的使用者。
此方法使用內建於 Azure Databricks 的 OpenSharing 伺服器,並提供筆記本共享、Unity 目錄資料治理、稽核及使用追蹤支援,服務提供者與接收者皆可使用。 與 Unity 目錄的整合可簡化提供者和收件者的設定和控管,並改善效能。
Databricks-to-Open 共享協議 允許你將你在支援 Unity 目錄的 Databricks 工作區中管理的資料,分享給任何計算平台上的使用者。
客戶管理的開源 OpenSharing 伺服器實作可讓你從任何平台分享到任何平台,不論是否使用 Databricks。
請參閱 開放原始碼 專案。
關於 OpenSharing 的介紹及這三種方法的更多資訊,請參見《 什麼是 OpenSharing?》。
Databricks-to-Databricks OpenSharing 工作流程
本節提供 Databricks 到 Databricks 共用工作流程的高階概觀,其中包含每個步驟的詳細文件連結。
在 Databricks-to-Databricks OpenSharing 模型中:
數據提供者會在提供者的 Unity 目錄中繼存放區中建立 共用 。 此命名物件包含一組在中繼存放區註冊的資料表、檢視、卷、筆記本及 Unity Catalog 代理技能。
詳情請參見 「Create shares for OpenSharing」。
資料提供者會在其 Unity 目錄的中繼儲存庫中建立 一個接收 物件,代表存取共享中資料的使用者或使用者群組。 提供者可以透過 電子郵件 邀請收件人,或以連結於接收者用來存取分享的工作區的 Unity 目錄中繼儲存區的 分享識別碼 來識別收件人。
數據提供者會將分享的存取權授與接受者。
該分享會顯示在收件人的 Databricks 工作空間中,收件人可透過目錄總管、Databricks CLI 或 Azure Databricks 筆記本中的 SQL 指令或 Databricks SQL 查詢編輯器存取。
若要存取共享中的資料表、檢視、磁碟區、筆記本及代理技能,中繼存放區管理員或 特權使用者 必須從共享建立型錄。 然後,授與適當許可權的使用者或其他使用者,即可讓其他使用者存取目錄中的目錄和物件。 對共享目錄和資料資產的授權運作方式與 Unity 目錄中其他資產相同,重要的區別在於使用者只能對由 OpenSharing 共享建立的目錄物件進行讀取。
共用筆記本位於目錄層級,且具有目錄
USE CATALOG許可權的任何使用者都可以存取它們。詳情請參閱 「讀取使用 Databricks-to-Databricks OpenSharing 共享的資料(接收者)」。
透過歷史分享提升資料表讀取效能
Databricks 對 Databricks 表格共用可以藉由啟用歷史記錄共用來改善效能。 共用歷程記錄可透過利用雲端儲存的臨時安全憑證來改善效能,範圍限定到供應商的共用 Delta 資料表的根目錄,進而產生與直接存取源數據表相媲美的效能。
- 針對新的表格共享,請在建立表格共享時指定
WITH HISTORY。 請參閱 將數據表新增至共用。 當您在 Databricks Runtime 16.2 和更新版本上使用計算共用數據表時,WITH HISTORY是預設值。 - 對於現有的數據表共用,您必須修改共用設定以分享數據表的歷史記錄。 查閱 更新分享。 當您在 Databricks Runtime 16.2 和更新版本上使用計算共用數據表時,
WITH HISTORY是預設值。
當您共用整個架構時,架構中的所有數據表預設都會與歷程記錄共用。
備註
已啟用數據分割的數據表不會收到歷程記錄共用的效能優點。 請參閱 指定要共用的資料表分區
共用串流資料表時,WITH HISTORY 不會生效。 Catalog Explorer 會顯示串流資料表的空白歷史值,而分享 API 會將 history_data_sharing_status 傳回為 DISABLED。 這是預期中的,並不代表設定錯誤。 接收方透過無伺服器運算讀取串流表,其會存取所需的底層歷程記錄。 參見 將串流資料表加入共用。
關於雲端代幣資格要求及資料隱私考量,請參見雲端代幣資格。
Databricks-to-Databricks OpenSharing 雲端環境支援矩陣
Databricks-to-Databricks OpenSharing 支援在同一環境類型內共享。 商業雲端包含已啟用合規性控制的工作區,例如 FedRAMP Moderate。 不支援與 Azure Government 環境共享。
這很重要
跨監管領域的分享功能已在 公開預覽階段。
在此矩陣中,每個數據列都代表提供者環境(中繼存放區共用數據),而每個數據行則代表收件者環境(接收共用數據的中繼存放區)。
| 提供端 | 收件者:商業雲端服務 | 收件者:AWS GovCloud | 收件者:AWS GovCloud DoD | 收件者:Azure 中國 |
|---|---|---|---|---|
| 商業雲端 | ✓ | ✓ | ✓ | ✓ |
| AWS GovCloud | ✓ | ✓ | ✓ | |
| AWS GovCloud DoD | ✓ | ✓ | ✓ | |
| Azure 中國 | ✓ | ✓ |
限制
跨監管領域共享適用以下限制:
-
除非共享內容跨入或離開 AWS GovCloud 或 AWS GovCloud DoD,否則會使用雲端代幣。 在以下這些情況下,資料表會使用預先簽署的 URL 來分享:
- 商業雲端會將分享資源分享給 AWS GovCloud 或 AWS GovCloud DoD,或從其中任一者接收分享資源。
- AWS GovCloud 與 AWS GovCloud DoD 彼此共享。