本頁列出 Databricks Lakeflow Connect 中基於查詢的連接器的限制與考量,包括原始資料表需求、分割與索引建議,以及僅透過 API 提供的功能。
一般限制
以下限制適用於所有基於查詢的連接器,無論來源為何。
- 基於查詢的連接器會依照排程查詢原始碼。 它們不會提供持續攝取。 如果你需要較低的延遲,可以使用管理型 CDC 資料庫連接器。
- 游標欄位必須是單一欄位。 複合游標(多欄組合)不支援。 欄位值必須單調遞增。 若游標值在或低於儲存的高水位線,則該列不會被重新匯入。
- 游標欄位為 NULL 的列不會被擷取。
- 時間戳記游標值以微秒級精確度追蹤(小數秒後六位數)。 如果來源游標欄位儲存更細緻的精度,例如預設精度為 7 的 SQL Server
datetime2欄位,則具有最大游標值且第七位小數不為 0 的資料列,直到後續執行時來源中的最大游標值增加後,才會被擷取。 為避免此情況,使用最多六位秒的小數位數的游標欄。 更改游標欄位需要 完整刷新。 - 觀點不被支持。 連接器可以從某些來源匯入檢視,但檢視無法提供欄位 選擇 等功能。
來源表需求與建議
設計基於查詢的擷取工作負載時,請考慮以下來源資料表的特性。 它們會影響表格的擷取方式以及工作負載的效能。
主鍵、唯一鍵與游標
基於查詢的連接器使用主鍵(PK)或唯一鍵(UK)來識別列,並用游標欄位來偵測變更。 擷取行為取決於來源資料表中可使用的是下列哪些項目:
這很重要
如果你手動指定主鍵,請確保它包含唯一且不可空的欄位。 如果歷史追蹤設定(稱為緩慢變動維度,SCD)設定為 SCD 類型 1 或 SCD 類型 2,連接器會使用主鍵作為合併鍵。 重複或空鍵值可能導致靜默資料遺失。
APPEND_ONLY 模式不會受到影響,因為它不會執行合併。
| 來源資料表 | 攝食行為 |
|---|---|
| PK 或 UK 帶游標 | 定期快照和增量擷取。 |
| PK 或 UK 無游標 | 批次快照模式(APPLY CHANGES FROM SNAPSHOT)。 連接器每次執行都會重新讀取整個表格,因此此模式最適合較小的表格。 |
| 無 PK 或 UK,可使用游標 | 連接器會從所有欄位產生合成金鑰。 這適用於沒有重複列的資料表。 對於資料表的完全重複列,請使用 APPEND_ONLY 儲存模式。 |
| 沒有 PK 或 UK,就沒有游標 | 連接器會從所有欄位產生合成金鑰。 使用 APPEND_ONLY 儲存模式,以任何欄位作為游標,且一律採用完整重新整理。 對於完全重複的資料列,必須使用 APPEND_ONLY,因為合成鍵無法區分相同的資料列。 |
分割與索引建議
請遵循這些建議,讓連接器能有效率地平行化讀取並執行增量查詢。
連接器會自動選擇欄位來分割來源查詢以進行平行讀取。 它首先嘗試主鍵列,前提是是數字、字串、日期或時間戳記類型。 如果該欄位不適合,則會選擇唯一的鍵欄位。 為了平衡分割,欄位應具備:
- 高基數:對於接近 1 TB 的資料表,建議至少有 1,000 個不同的值。
- 低資料偏斜:避免欄位值集中在少數幾個值上。 偏斜的欄位會產生過大的分割區,可能導致查詢逾時,並在執行作業重新啟動時造成進度遺失。
如果自動選取的欄位不符合這些條件,請聯絡您的 Databricks 客戶團隊,申請覆寫分區欄位設定。
用 B 樹索引索引來源資料庫中的游標欄位。 在增量階段,連接器會對游標欄
cursor_column > last_value()進行過濾。 若游標欄位沒有 B 樹索引,每次增量讀取都會掃描整個資料表,隨著資料表成長,效能會下降。
僅 API 功能
以下功能支援基於查詢的連接器,但僅限使用 API:
- 行過濾
- 軟刪除追蹤(
deletion_condition) - 硬刪除追蹤(測試版)
- 僅附加匯入(
APPEND_ONLYSCD 模式) - 多目的地目錄與架構