在 Amazon Redshift 上執行同盟查詢

此頁面說明如何設定 Lakehouse 同盟,在 Azure Databricks 未管理的 Amazon Redshift 數據上執行同盟查詢。 欲了解更多湖屋聯盟資訊,請參閱 「連結外部資料庫與目錄」

要使用 Lakehouse Federation 連接 Amazon Redshift 資料庫的 Run 查詢,您必須在 Azure Databricks Unity 目錄中儲存區建立以下內容(2023 年 11 月 9 日之後建立的工作區已自動配置 Unity 目錄中繼儲存庫):

  • 在 Amazon Redshift 資料庫上執行查詢的連線。
  • 外來目錄,可以在 Unity Catalog 中鏡像您的 Amazon Redshift 資料庫查詢,從而允許您使用 Unity Catalog 的查詢語法和數據管控工具,來管理 Azure Databricks 使用者對資料庫的存取權。

Requirements

工作區需求:

  • 已為 Unity Catalog 啟用了工作區。 2023 年 11 月 9 日之後建立的工作區將自動啟用 Unity Catalog,包括自動進行 metastore 配置。 除非你的工作區早於自動啟用且還沒啟用 Unity Catalog,否則你不需要手動建立元商店。 請參閱 開始使用 Unity 目錄。

計算需求:

  • 從計算資源到目標資料庫系統的網路連接。 請參閱 Lakehouse 同盟的網路建議。
  • Azure Databricks 計算必須使用 Databricks Runtime 13.3 LTS 或更新版本和 標準 或 專用 存取模式。
  • SQL 倉儲必須是專業或無伺服器,且必須使用 2023.40 或更新版本。

需要的權限:

  • 若要建立連線,您必須是中繼存放區系統管理員,或是具有附加至工作區之 Unity 目錄中繼存放區 CREATE CONNECTION 許可權的使用者。 在自動啟用 Unity 目錄的工作區中,工作區管理員預設擁有此 CREATE CONNECTION 權限。
  • 若要建立外來目錄,您必須具有中繼存放區的 CREATE CATALOG 許可權,並且必須是連線的擁有者或具有該連線的 CREATE FOREIGN CATALOG 特權。 在自動啟用 Unity 目錄的工作區中,工作區管理員預設擁有此 CREATE CATALOG 權限。

在後續每個以任務為導向的章節中,將會指定額外的權限需求。

建立連線

連接會指定用來存取外部資料庫系統的路徑和認證。 若要建立連線,您可以在 Azure Databricks 筆記本或 Databricks SQL 查詢編輯器中使用目錄總管或 CREATE CONNECTION SQL 命令。

Note

您也可使用 Databricks REST API 或 Databricks CLI 來建立連線。 請參閱 POST /api/2.1/unity-catalog/connections 和 Unity Catalog 命令。

需要的權限:具有 CREATE CONNECTION 權限的中繼存放區系統管理員或使用者。

目錄檢視器

  1. 在您的 Azure Databricks 工作區中,按兩下 [資料] 圖示。目錄。
  2. 在「目錄」窗格頂端,按一下「新增」或加號圖示「新增」圖示,然後從功能表中選取「建立連線」。
  3. 在 [設定連線 精靈] 的 [連線 詳細資訊] 頁面上,輸入方便記憶的連線名稱。
  4. 選取 連線類型 的 Redshift。
  5. (選擇性) 新增註解。
  6. 按 [下一步]。
  7. 在 [驗證] 頁面上,輸入 Redshift 實例的下列連線屬性。
    • 主機:例如 redshift-demo.us-west-2.redshift.amazonaws.com
    • 埠:例如 5439
    • 使用者:例如 redshift_user
    • 密碼:例如 password123
  8. (選擇性) 停用 SSL 主機名驗證。
  9. 點選 建立連線。
  10. 在 目錄基本概念 頁面上,輸入外部目錄的名稱。 外部目錄會鏡像外部數據系統中的資料庫,讓您可以使用 Azure Databricks 和 Unity 目錄來查詢和管理該資料庫中數據的存取權。
  11. (選擇性)按兩下 [ 測試連線 ] 以確認其運作正常。
  12. 點選 「建立目錄」。
  13. 在 [Access] 頁面上,選擇工作區以讓使用者能存取您建立的目錄。 您可以選取 [所有工作區都有存取權],或點擊 [指派給工作區],選取工作區,然後點擊 [指派]。
  14. 將 擁有者 變更為可以管理目錄中所有物件存取權的人。 開始在文字框中輸入主體,然後按一下傳回的結果中的主體。
  15. 對目錄授予許可權。 點擊 授權;
    1. 指定可存取目錄中對象的 主體 。 開始在文字框中輸入主體,然後按一下傳回的結果中的主體。
    2. 選取 權限預設,以授與每個主體。 根據預設,所有帳戶用戶都會被授與 BROWSE。
      • 從下拉功能表中選取 [數據讀取器],以授與目錄中物件 read 許可權。
      • 從下拉功能表中選取 資料編輯器,以授予 read 和 modify 目錄中對象的權限。
      • 手動選取要授與的許可權。
    3. 請按一下 授權。
  16. 按 [下一步]。
  17. 在 [元數據] 頁面上,指定標籤的鍵值對。 如需詳細資訊,請參閱在 Unity Catalog 中將標籤套用到可保護的物件。
  18. (選擇性) 新增註解。
  19. 點選 [儲存]。

SQL

在筆記本或 Databricks SQL 查詢編輯器中執行下列命令。

CREATE CONNECTION <connection-name> TYPE redshift
OPTIONS (
  host '<hostname>',
  port '<port>',
  user '<user>',
  password '<password>'
);

建議您針對認證等敏感性值使用 Azure Databricks 秘密 ,而不是純文本字串。 例如:

CREATE CONNECTION <connection-name> TYPE redshift
OPTIONS (
  host '<hostname>',
  port '<port>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

如需設定祕密的相關資訊,請參閱祕密管理。

建立國外目錄

Note

如果您使用 UI 來建立與數據來源的連線,則會包括外來目錄的建立,而且您可以略過此步驟。

外部目錄會鏡像外部數據系統中的資料庫,讓您可以使用 Azure Databricks 和 Unity 目錄來查詢和管理該資料庫中數據的存取權。 若要建立外部目錄,您可以使用已定義的數據源連線。

若要建立外部目錄,您可以在 Azure Databricks 筆記本或 SQL 查詢編輯器中使用目錄總管或 CREATE FOREIGN CATALOG SQL 命令。 您也可以使用 Databricks REST API 或 Databricks CLI 來建立目錄。 請參閱 POST /api/2.1/unity-catalog/catalogs 和 Unity Catalog 命令。

必要權限:中繼存放區的CREATE CATALOG權限,還有連線的所有權或對連線的CREATE FOREIGN CATALOG特權。

目錄檢視器

  1. 在您的 Azure Databricks 工作區中,按一下 [資料] 圖示以開啟目錄總管。

  2. 在 目錄 窗格頂端,按一下 新增或加號圖示新增 圖示,然後從功能表中選取 新增目錄。

    或者,從 [ 快速存取] 頁面按兩下 [ 目錄] 按鈕,然後按下 [ 建立目錄 ] 按鈕。

  3. 請按照建立目錄中的指示來建立外部目錄。

SQL

在筆記本或 SQL 查詢編輯器中,執行下列 SQL 命令。 方括號內的項目為可選。 替換占位符值:

  • <catalog-name>:Azure Databricks 中目錄的名稱。
  • <connection-name>:指定數據源、路徑和存取認證的 連接物件 。
  • <database-name>:您想要在 Azure Databricks 中映射為目錄的資料庫名稱。
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');

支援的下推策略

支援下列下推:

  • Filters
  • Projections
  • Limit
  • Joins
  • 彙總(平均值、計數、最大值、最小值、StddevPop、StddevSamp、總和、變異Pop、VarianceSamp)
  • 算術運算子(例如 +、 -、 *) /
  • 比較與邏輯運算子
  • 包含、開始於、結束於、類似
  • 函式(ASCII、Cast、Coalesce、Concat、Lower、LPad、Reverse、RPad、具有正字面位置的子字串、Translate、Trim、Upper,以及其他雜項函式如 Alias、SortOrder)
  • Sorting

不支援下列下推:

  • 視窗函數
  • Offset

資料類型對應

在從 Redshift 讀取至 Spark 的過程中,資料類型會映射如下:

紅移類型 Spark 類型
numeric DecimalType
int2、int4 IntegerType
int8、oid、xid LongType
float4 FloatType
double precision、float8、money DoubleType
bpchar、char、character varying、name、super、text、tid、varchar StringType
bytea、geometry、varbyte BinaryType
bit、bool BooleanType
date DateType
tabstime、time、time(含時區)、timetz、time(不含時區)、timestamp(含時區)、timestamp、timestamptz、timestamp(不含時區)* TimestampType/TimestampNTZType

*當您從 Redshift 讀取時,Redshift Timestamp 會對應至 Spark TimestampType if infer_timestamp_ntz_type = false (預設值)。 如果 Timestamp,則 Redshift TimestampNTZType 會對應至 infer_timestamp_ntz_type = true 。

Limitations

  • 您無法在 Amazon Redshift 外部數據上執行同盟查詢。

同步表格與欄註解

Azure Databricks 支援從外部資料來源同步表格與欄位註解。 註解同步需要 Databricks Runtime 18.2 或以上版本,或是執行 Databricks SQL 2026.15 或以上版本的 SQL 倉庫。 請參考 SQL 倉庫通道。

Azure Databricks 在解析外部表元資料時會取得註解。 同步的註解會出現在目錄總管中,以及在 DESCRIBE 和 DESCRIBE EXTENDED 輸出中。 當外部來源的註解有變動時,Azure Databricks 會在下一次解析外部資料表中繼資料時同步這些變更。 若要在不查詢資料表資料的情況下刷新註解,請執行:

DESCRIBE EXTENDED <catalog-name>.<schema-name>.<table-name>;

Lakeflow 管線在解析外部資料表元資料時,不會從外部來源擷取註解。

enableForeignCommentFetching目錄選項預設為true。 若要跳過從外部來源擷取註解時的元資料解析開銷,請在目錄檔案總管中編輯目錄並關閉 啟用外部註解擷取,或執行:

Warning

此 OPTIONS 條款取代了目錄中現有的選項清單。 在執行該語句前,先將 <existing-catalog-options> 替換為每一個現有的選項鍵值對。

ALTER CATALOG <catalog-name>
OPTIONS (
  <existing-catalog-options>,
  enableForeignCommentFetching 'false'
);

當擷取功能被停用時,先前擷取的註解仍可在 Unity 目錄中取得,但 Azure Databricks 不會同步來自外部來源的新註解或變更註解。