在防火牆後與 SecureConnect 共享資料

SecureConnect 簡化了資料共享的網路，讓資料提供者能與不同的接收者分享，而不必在儲存網路規則中允許列出每個接收者。 此外，SecureConnect 允許提供者從私有端點背後的雲端儲存分享資訊。

SecureConnect 的運作方式

使用 SecureConnect 時，提供者會進行一次性設定，讓 Azure Databricks 接收者能透過防火牆或私人端點存取提供者的儲存空間。 Azure Databricks 會透過受管理代理路由接收請求，因此提供者在新增接收者時無需更新儲存防火牆。

接收者可透過現有的 OpenSharing 架構存取共享資料：

  • Azure Databricks 接收方可在無伺服器運算上存取共享內容，而無需針對每個提供者個別變更防火牆設定。
  • 使用傳統運算的 Azure Databricks 接收者和開放式接收者，會將提供者區域的一組 Azure Databricks 控制平面 IP 位址加入允許清單。

為了優化效能，無伺服器運算的接收者會與提供者的儲存裝置在同一區域，直接從該儲存讀取，而非透過受管理代理。 跨區域和跨雲端的接收端，以及使用傳統運算的接收端，會透過受控 Proxy 進行讀取。 這種差異會影響網路使用量的計費方式。 請參見帳單。

若沒有 SecureConnect，提供者必須將每個收件人的網路識別碼加入其儲存防火牆，並與接收者及雲端平台管理員協調，針對每個新接收者。

SecureConnect 也適用於透過 Databricks Marketplace 分享的資料產品，以及共享到 clean rooms 中的資料，因為兩者都是以 OpenSharing 為基礎建構。

SecureConnect 會透過 Databricks 管理的 Proxy，將收件者的要求轉送至提供者的儲存體，因此提供者只需將 Databricks 加入允許清單一次，而不必為每位收件者分別設定。

將 SecureConnect 設定為提供者

設定 SecureConnect 需要設定您的儲存防火牆以允許存取，並為你的元儲存庫和收件人啟用 SecureConnect。

步驟 1：設定您的儲存防火牆

以下說明假設你的共享資產和提供者元儲存庫位於同一區域。 若要將網路成本降到最低，請將共用資產所在的區域設為與提供者中繼資料存放區所在區域相同。

SecureConnect 是透過你雲端供應商的網路，從無伺服器資料層存取你的儲存空間，而不是透過公共網際網路。

你如何設定存取權取決於你的儲存裝置如何受到保護。

Note

無論你選擇哪個選項，都請確認你的儲存體允許你所在區域的 Azure Databricks 控制平面存取，並符合任何 SecureConnect 設定。 Unity Catalog 是從控制平面進入你的儲存空間進行元資料操作，所以阻擋控制平面的防火牆會阻擋這些操作。 關於你區域的控制平面 IP 位址，請參見來自 Azure Databricks 控制平面的出站 IP。

選項一：沒有防火牆或私有端點的儲存空間

如果你的儲存裝置沒有防火牆或私有端點，則不需要設定。

選項二：將儲存置於防火牆後方

透過將 Azure Databricks 的無伺服器網路識別碼加入你的儲存防火牆，允許存取。 如果你的儲存裝置位於私有端點後方，請參考以下章節。

要讓 Azure Databricks 存取你的資源，請將你的 Azure 資源與過渡模式下的網路安全邊界關聯，並將服務標籤加入AzureDatabricksServerless.{region}允許清單，其中{region}是提供者的控制平面區域。 請參閱設定供無伺服器計算存取的防火牆。

選項三：將儲存置於私人端點後方

如果您的共用儲存體位於私人端點後方，請使用此選項。

帳號管理員必須設定網路連線設定（NCC），並將其附加到承載你共享資料的元儲存庫。 欲了解更多關於 NCC，請參閱 「什麼是網路連接配置（NCC）？」。

連接到工作區的 NCC 不能連接到 metastore。 套用於 OpenSharing 的 NCC 適用於所有附加於該 metastore 的分享。

為你的儲存帳號建立 NCC 和私有端點規則，但 不要 將 NCC 附加到工作區。 SecureConnect 也需要同時具備一個 blob 私人端點規則和一個 dfs 私人端點規則，因此請為每種子資源類型各建立一條私人端點規則。

如需進行 NCC 和私人端點設定，請參閱 設定 Azure 資源的私人連線。

將 NCC 附加到你的 OpenSharing 元商店：

  1. 作為 Azure Databricks 帳號管理員，請前往帳號主控台。
  2. 在提要欄位中，按兩下 [資料] 圖示。目錄。
  3. 點擊 OpenSharing 元商店名稱即可開啟其詳細資訊。
  4. 在 OpenSharing 網路連線組態（NCC） 下方，按一下 編輯。
  5. 搜尋並選擇你為 OpenSharing 建立的 NCC。
  6. 點選 [儲存]。

步驟 2：在元商店啟用 SecureConnect

元儲存管理員可以設定元儲存庫，讓新收件人自動使用 SecureConnect。 預設情況下，新舊接收者不會註冊在 SecureConnect。 你必須分別設定現有的收件人。 請參見 步驟 3：為個別收件人啟用 SecureConnect。

要在中繼存放區啟用 SecureConnect：

  1. 在您的 Azure Databricks 工作區中，按一下 [資料] 圖示以開啟目錄總管。

  2. 在 目錄 面板頂端，點選 齒輪圖示。 齒輪圖示，選擇 OpenSharing。

    或者，在右上角點選 「分享 > OpenSharing」。

  3. 點選右上角 的設定 。

  4. 開啟為新收件人啟用 SecureConnect設定。

  5. 點選 [儲存]。

步驟 3：為個別收件人啟用 SecureConnect

收件人擁有者，以及具有 USE_RECIPIENT 權限的使用者，可針對每位收件人開啟或關閉 SecureConnect。 SecureConnect 對收件者預設為停用，除非中繼存放區在建立收件者時已設定為對所有新收件者啟用 SecureConnect。

要為接收者設定 SecureConnect：

  1. 在您的 Azure Databricks 工作區中，按一下 [資料] 圖示。目錄。

  2. 在 目錄 面板頂端，點選 齒輪圖示。 齒輪圖示，選擇 OpenSharing。

    或者，在右上角點選 「分享 > OpenSharing」。

  3. 在 「分享者 」標籤中，點擊 「收件人 」標籤。

  4. 為每個想要的收件人開啟 SecureConnect 。

（可選）步驟 4：限制使用 IP ACL 的開放接收者存取

對於開放的接收者，你可以利用 IP 存取清單限制哪些客戶端 IP 位址可以存取 SecureConnect。 IP ACL 僅適用於開放接收者。

使用 SecureConnect 時，IP ACL 同時適用於 OpenSharing 端點存取與儲存存取。 若無 SecureConnect，IP ACL 僅限制 OpenSharing 端點存取;儲存 URL 仍可從任何用戶端 IP 存取。

關於設定說明，請參見使用 IP 存取清單限制 OpenSharing 接收者存取（Databricks-to-Open 共享）。

Note

啟用 SecureConnect 的開放接收者變更 IP ACL 可能需要長達 10 分鐘才能生效。

支援的共享情境

Important

任何不支援的功能都會退回接收端計算端對儲存的直接存取。 提供者必須手動授權其儲存防火牆中的接收方 IP 存取權限。 請參閱 什麼是 OpenSharing Databricks-to-Databricks 通訊協定？ 或 什麼是 Databricks-to-Open sharing 通訊協定？。

SecureConnect 支援與收件者共用資料，無論其使用哪個雲端平台，無論是 Databricks 對 Databricks 共用，還是 Databricks 對開放共用。

mTLS 轉 SecureConnect 僅支援使用 serverless 運算的 Azure Databricks 接收者以存取共享資料。

功能支援

Feature D2O （token） D2O（OIDC）* D2O（冰山） D2D（無伺服器） D2D（經典）
具有歷程記錄且未分割的資料表 ✓ ✓ ✗ ✓ ** ✓ **
沒有歷史記錄或具有分割區的資料表 ✓ ✓ ✗ ✓ ✓
Views ✓ ✓ ✗ ✓ *** ✓
外部資料表 ✓ ✓ ✗ ✓ ✓
具象化視圖 ✓ ✓ ✗ ✓ *** ✓
串流數據表 ✓ ✓ ✗ ✓ *** ✓
音量 ✗ ✗ ✗ ✗ ✗
Notebooks ✗ ✗ ✗ ✗ ✗
AI 模型 ✗ ✗ ✗ ✗ ✗

* 當接收者同時使用Azure Databricks時，OIDC共享目前無法使用。

** SecureConnect 無法提供雲端代幣優化功能。

這些資產會在提供者端被實體化並篩選。 請參見 「接收者是否能直接存取共享視圖、實體化視圖及串流資料表中的底層資料？」。

Limitations

  • 你的資產無法由 Cloudflare R2 儲存支援。
  • SecureConnect 無法與使用 SAP Hana 讀取共享資料的接收者一起使用，因為 SAP Hana 不支援 SecureConnect 用來傳送共享資料的 Azure Databricks 預簽署 URL。

關於接收端限制，如 mTLS 支援及 Databricks 轉 Open 共享限制，請參見 限制。

不支援的區域

SecureConnect 在 Azure 中國、Azure Government 或以下 Azure 區域無法使用：

  • australiacentral
  • australiacentral2
  • japanwest
  • qatarcentral
  • southindia
  • switzerlandwest
  • ukwest
  • westindia

帳單

當接收者透過 SecureConnect 存取共享資料時，提供者會被收取資料傳輸（出口）費用。 如需費率，請參閱資料傳輸與連線收費，或聯絡您的 Azure Databricks 帳戶團隊。

Note

Azure Databricks 正在擴展 SecureConnect 網路計費，涵蓋更多收費類型與存取情境，包括接收方收費。 想了解你可能如何被收費，請參閱 OpenSharing SecureConnect 的擴展網路帳單。

每位收件人的使用量會透過 recipient_id 計費系統表格中的欄位歸屬，因此提供者可以依收件人細分可計費的 SecureConnect 使用量。 請參閱 計費使用量系統參考資料表。

以下查詢會回傳過去 7 天內每位接收者的 SecureConnect 資料輸出量（以 GB 為單位）：

SELECT
  usage_records.usage_metadata.recipient_id,
  SUM(usage_records.usage_quantity) AS total_usage_gb
FROM system.billing.usage usage_records
WHERE
  usage_records.billing_origin_product = 'NETWORKING'
  AND usage_records.usage_metadata.associated_product = 'DATA_SHARING'
  AND usage_records.usage_metadata.networking_client = 'EXTERNAL_CLIENT'
  AND usage_records.usage_date >= CURRENT_DATE() - INTERVAL 7 DAYS
GROUP BY
  usage_records.usage_metadata.recipient_id
ORDER BY
  total_usage_gb DESC

若要將使用量轉換為成本，請與定價系統表格結合。 請參閱定價系統資料表參考。

其他資源

  • 上次更新時間：