基於查詢的連接器限制

本頁列出 Databricks Lakeflow Connect 中基於查詢的連接器的限制與考量,包括原始資料表需求、分割與索引建議,以及僅透過 API 提供的功能。

一般限制

以下限制適用於所有基於查詢的連接器,無論來源為何。

  • 基於查詢的連接器會依照排程查詢原始碼。 它們不會提供持續攝取。 如果你需要較低的延遲,可以使用管理型 CDC 資料庫連接器。
  • 游標欄位必須是單一欄位。 複合游標(多欄組合)不支援。 欄位值必須單調遞增。 若游標值在或低於儲存的高水位線,則該列不會被重新匯入。
  • 游標欄位為 NULL 的列不會被擷取。
  • 時間戳記游標值以微秒級精確度追蹤(小數秒後六位數)。 如果來源游標欄位儲存更細緻的精度,例如預設精度為 7 的 SQL Server datetime2 欄位,則具有最大游標值且第七位小數不為 0 的資料列,直到後續執行時來源中的最大游標值增加後,才會被擷取。 為避免此情況,使用最多六位秒的小數位數的游標欄。 更改游標欄位需要 完整刷新。
  • 觀點不被支持。 連接器可以從某些來源匯入檢視,但檢視無法提供欄位 選擇 等功能。

來源表需求與建議

設計基於查詢的擷取工作負載時,請考慮以下來源資料表的特性。 它們會影響表格的擷取方式以及工作負載的效能。

主鍵、唯一鍵與游標

基於查詢的連接器使用主鍵(PK)或唯一鍵(UK)來識別列,並用游標欄位來偵測變更。 擷取行為取決於來源資料表中可使用的是下列哪些項目:

這很重要

如果你手動指定主鍵,請確保它包含唯一且不可空的欄位。 如果歷史追蹤設定(稱為緩慢變動維度,SCD)設定為 SCD 類型 1 或 SCD 類型 2,連接器會使用主鍵作為合併鍵。 重複或空鍵值可能導致靜默資料遺失。 APPEND_ONLY 模式不會受到影響,因為它不會執行合併。

來源資料表 攝食行為
PK 或 UK 帶游標 定期快照和增量擷取。
PK 或 UK 無游標 批次快照模式(APPLY CHANGES FROM SNAPSHOT)。 連接器每次執行都會重新讀取整個表格,因此此模式最適合較小的表格。
無 PK 或 UK,可使用游標 連接器會從所有欄位產生合成金鑰。 這適用於沒有重複列的資料表。 對於資料表的完全重複列,請使用 APPEND_ONLY 儲存模式。
沒有 PK 或 UK,就沒有游標 連接器會從所有欄位產生合成金鑰。 使用 APPEND_ONLY 儲存模式,以任何欄位作為游標,且一律採用完整重新整理。 對於完全重複的資料列,必須使用 APPEND_ONLY,因為合成鍵無法區分相同的資料列。

分割與索引建議

請遵循這些建議,讓連接器能有效率地平行化讀取並執行增量查詢。

  • 連接器會自動選擇欄位來分割來源查詢以進行平行讀取。 它首先嘗試主鍵列,前提是是數字、字串、日期或時間戳記類型。 如果該欄位不適合,則會選擇唯一的鍵欄位。 為了平衡分割,欄位應具備:

    • 高基數:對於接近 1 TB 的資料表,建議至少有 1,000 個不同的值。
    • 低資料偏斜:避免欄位值集中在少數幾個值上。 偏斜的欄位會產生過大的分割區,可能導致查詢逾時,並在執行作業重新啟動時造成進度遺失。

    如果自動選取的欄位不符合這些條件,請聯絡您的 Databricks 客戶團隊,申請覆寫分區欄位設定。

  • 用 B 樹索引索引來源資料庫中的游標欄位。 在增量階段,連接器會對游標欄cursor_column > last_value()進行過濾。 若游標欄位沒有 B 樹索引,每次增量讀取都會掃描整個資料表,隨著資料表成長,效能會下降。

僅 API 功能

以下功能支援基於查詢的連接器,但僅限使用 API:

  • 行過濾
  • 軟刪除追蹤(deletion_condition)
  • 硬刪除追蹤(測試版)
  • 僅附加匯入(APPEND_ONLY SCD 模式)
  • 多目的地目錄與架構