什麼是 OpenSharing Databricks-to-Databricks 協議?

本頁概述如何使用 Databricks-to-Databricks Open Sharing,安全地與任何 Databricks 使用者共用資料;只要該使用者可存取已啟用 Unity Catalog 的工作區,無論其帳戶或雲端平台為何。

誰應該使用 Databricks 到 Databricks 的開放共享?

使用 OpenSharing 有三種方式可以分享資料。

  1. 本文所涵蓋的 Databricks 到 Databricks 共享協議,允許您與同樣擁有啟用 Unity Catalog 功能的 Databricks 工作區的使用者共享數據。

    此方法使用內建於 Azure Databricks 的 OpenSharing 伺服器,並提供筆記本共享、Unity 目錄資料治理、稽核及使用追蹤支援,服務提供者與接收者皆可使用。 與 Unity 目錄的整合可簡化提供者和收件者的設定和控管,並改善效能。

  2. Databricks-to-Open 共享協議 允許你將你在支援 Unity 目錄的 Databricks 工作區中管理的資料,分享給任何計算平台上的使用者。

    請參閱 「什麼是 Databricks-to-Open 共享協定?」。

  3. 由客戶自行管理的 OpenSharing 開源伺服器實作可讓你從任何平台分享至任何平台,無論是否為 Databricks 平台。

    請參閱 開放原始碼 專案。

關於 OpenSharing 的介紹及這三種方法的更多資訊,請參見《 什麼是 OpenSharing?》。

Databricks-to-Databricks OpenSharing 工作流程

本節提供 Databricks 到 Databricks 共用工作流程的高階概觀,其中包含每個步驟的詳細文件連結。

在 Databricks-to-Databricks OpenSharing 模型中:

  1. 數據提供者會在提供者的 Unity 目錄中繼存放區中建立 共用 。 這個具名物件包含在中繼存放區中註冊的數據表、視圖、卷和筆記本集合。

    詳情請參見 「Create shares for OpenSharing」。

  2. 資料提供者會在其 Unity 目錄的中繼儲存庫中建立 一個接收 物件,代表存取共享中資料的使用者或使用者群組。 提供者可以透過 電子郵件 邀請收件人,或以連結於接收者用來存取分享的工作區的 Unity 目錄中繼儲存區的 分享識別碼 來識別收件人。

    詳情請參見「為 Azure Databricks 使用者建立接收物件」。

  3. 數據提供者會將分享的存取權授與接受者。

    詳情請參閱管理 OpenSharing 資料共享存取(供提供者使用)。

  4. 該分享會顯示在收件人的 Databricks 工作空間中,收件人可透過目錄總管、Databricks CLI 或 Azure Databricks 筆記本中的 SQL 指令或 Databricks SQL 查詢編輯器存取。

    若要存取共用中的數據表、檢視、磁碟區和筆記本,中繼存放區系統管理員或 特殊許可權使用者 必須從共用建立目錄。 然後,授與適當許可權的使用者或其他使用者,即可讓其他使用者存取目錄中的目錄和物件。 對共享目錄和資料資產的授權運作方式與 Unity 目錄中其他資產相同,重要的區別在於使用者只能對由 OpenSharing 共享建立的目錄物件進行讀取。

    共用筆記本位於目錄層級,且具有目錄 USE CATALOG 許可權的任何使用者都可以存取它們。

    詳情請參閱 「讀取使用 Databricks-to-Databricks OpenSharing 共享的資料(接收者)」。

使用歷程記錄共用改善數據表讀取效能

Databricks 對 Databricks 表格共用可以藉由啟用歷史記錄共用來改善效能。 共用歷程記錄可透過利用雲端儲存的臨時安全憑證來改善效能,範圍限定到供應商的共用 Delta 資料表的根目錄,進而產生與直接存取源數據表相媲美的效能。

  • 針對新的表格共享,請在建立表格共享時指定 WITH HISTORY。 請參閱 將數據表新增至共用。 當您在 Databricks Runtime 16.2 和更新版本上使用計算共用數據表時,WITH HISTORY 是預設值。
  • 對於現有的數據表共用,您必須修改共用設定以分享數據表的歷史記錄。 查閱 更新分享。 當您在 Databricks Runtime 16.2 和更新版本上使用計算共用數據表時,WITH HISTORY 是預設值。

當您共用整個架構時,架構中的所有數據表預設都會與歷程記錄共用。

備註

已啟用數據分割的數據表不會收到歷程記錄共用的效能優點。 請參閱 指定要共用的資料表分區

關於雲端代幣資格要求及資料隱私考量,請參見雲端代幣資格。

Databricks-to-Databricks OpenSharing 雲端環境支援矩陣

Databricks-to-Databricks OpenSharing 支援在同一環境類型內共享。 商業雲端包含已啟用合規性控制的工作區,例如 FedRAMP Moderate。 不支援與 Azure Government 環境共享。

這很重要

跨監管領域的分享功能已在 公開預覽階段。

在此矩陣中,每個數據列都代表提供者環境(中繼存放區共用數據),而每個數據行則代表收件者環境(接收共用數據的中繼存放區)。

提供者 收件者:商業雲端服務 收件者:AWS GovCloud 收件者:AWS GovCloud DoD 收件者:Azure 中國
商業雲端 ✓ ✓ ✓ ✓
AWS GovCloud ✓ ✓ ✓
AWS GovCloud DoD ✓ ✓ ✓
Azure 中國 ✓ ✓

限制

跨監管領域共享適用以下限制:

  • 除非共享內容跨入或離開 AWS GovCloud 或 AWS GovCloud DoD,否則會使用雲端代幣。 在以下這些情況下,資料表會使用預先簽署的 URL 來分享:
    • 商業雲端會將分享資源分享給 AWS GovCloud 或 AWS GovCloud DoD,或從其中任一者接收分享資源。
    • AWS GovCloud 與 AWS GovCloud DoD 彼此共享。