Lakehouse Federation 的網路建議 (英文)

Lakehouse Federation 需要在你的 Azure Databricks 叢集或 SQL 倉庫與你連接的外部資料庫系統之間建立網路路徑。 本頁說明了當任一方有網路存取限制或自訂 DNS 伺服器時,如何設定該路徑。

在為 Lakehouse Federation 設定網路連線時,請考慮以下幾點:

  • 所有用於聯邦查詢的網路流量都直接在 Azure Databricks 叢集(或 SQL 倉庫)與外部資料庫系統之間進行。 Unity Catalog 和 Azure Databricks 控制平面都不在網路路徑上。
  • 使用 OAuth 的連接還有額外的要求。 當連線使用 OAuth 進行認證時,OAuth 令牌交換是從 Azure Databricks 控制平面進行,而非計算平面。 控制平面必須能夠抵達外部系統的 OAuth 端點。 僅將計算平面加入允許清單,對於這些連線而言是不夠的。 關於連接器特定需求,請參閱 Snowflake 查詢聯盟限制中的 OAuth 端點需求,以及 建立 SQL Server 連線。
  • Azure Databricks 計算(也就是叢集和 SQL 倉儲)一律會部署在雲端中,但只要 Azure Databricks 計算與外部資料庫之間有可行的網路路徑,外部資料庫系統就可以在內部部署或裝載於任何雲端提供者上。
  • 如果您有 Azure Databricks 計算或外部資料庫系統的輸入或輸出網路限制,請參閱下列各節以取得一般指引,以協助您建立可行的網路路徑。

如需 Azure Databricks 工作區中網路功能的詳細資訊,請參閱 網路功能。

資料庫系統和 Azure Databricks 計算都可從因特網存取

連接應該在沒有任何設定的情況下運作。

資料庫系統具有網路存取限制

如果外部資料庫系統有輸入或輸出網路存取限制,且可從因特網存取 Azure Databricks 叢集或 SQL 倉儲,請設定下列其中一個網路解決方案,以從傳統計算資源連線:

  • Azure Databricks 計算的穩定出口 IP。

    從傳統計算平面,使用負載平衡器、NAT 閘道、因特網閘道或對等項目來設定穩定的IP位址,並將它連線到 Azure Databricks 計算部署所在的子網。 這可讓計算資源分享可在外部資料庫端列入允許清單的穩定公用IP位址。

  • Private Link (只有在外部資料庫與 Azure Databricks 計算位於相同的雲端時)

    從傳統計算平面,設定部署資料庫的網路與部署 Azure Databricks 計算的網路之間的 Private Link 連線。

支援 SQL Server 連接器的 Azure Private Link 可用於無伺服器計算環境。 請參見 建立私有端點規則。

Azure Databricks 計算具有網路存取限制

如果外部資料庫系統可從因特網存取,且 Azure Databricks 計算具有輸入和輸出網路存取限制(只有在您位於客戶管理的網路上時,才可能),請執行下列其中一個設定:

  • 將外部資料庫的主機名稱加入子網路防火牆規則的允許清單,其中 Azure Databricks 計算資源已部署。

    如果您選擇允許列出外部資料庫 IP 位址,而不是主機名,請確定外部資料庫具有穩定的 IP 位址。

  • Private Link (只有當外部資料庫與 Azure Databricks 計算位於相同的雲端時)

    設定部署資料庫的網路與部署 Azure Databricks 計算的網路之間的 Private Link 連線。

Azure Databricks 計算具有自定義 DNS 伺服器

如果可從因特網存取外部資料庫系統,且 Azure Databricks 計算具有自定義 DNS 伺服器(只有在您位於客戶管理的網路上時,才能將資料庫系統的主機名新增至您的自定義 DNS 伺服器,以便加以解析。

連接器特定的網路功能

部分連接器的網路需求超出本頁一般指引,例如必須的端點、連線檢查或私人連接選項。 有關詳情,請參閱相關連接頁面的網路部分: