湖流管線的最佳實務

無論你是開始新管線還是改善現有管線,設計、建造及營運管線時,都應用這些建議模式。

以下頁面將更深入探討具體的設計決策:

Topic Description
湖流管線中的維度建模 將黃金層資料建模為星型結構中的事實與維度,並將維度建模映射到管線資料集類型上。
Lakeflow 管道中的處理保障 了解冪等性,以及哪些情況下預設即可達成精確一次處理,哪些邊界情況則需要加入冪等寫入。
整理 Lakeflow 管線中的資料集 決定同一條管線中應有多少資料集,以及何時將工作拆分成獨立管線。
Lakeflow 管線的生產準備狀況 在讓管線於無人值守下執行之前,務必依照檢查清單逐一檢查資料品質、可靠性、可觀察性、部署、成本與治理。

選擇正確的資料集類型

管線提供三種資料集類型:串流資料表、實體化視圖與暫存視圖。 為管線的每一層選擇合適的類型,可以避免不必要的運算成本,也讓程式碼易於推理。

串流表 是資料擷取與低延遲串流轉換的理想選擇。 每個輸入列僅讀取與處理一次,因此非常適合僅附加型工作負載、大容量資料,以及來自雲端儲存或訊息匯流排的事件驅動式處理。

具體化視圖 是複雜轉換與分析查詢的正確選擇。 他們的結果是預先計算好的,並透過增量刷新保持最新,因此對它們的查詢速度很快。 你無法直接修改實體化視圖中的資料;查詢定義控制輸出。

暫存視圖 是針對管線的視圖,能組織你的轉換邏輯,且不會將資料具體化到儲存空間。 使用它們來完成不需要獨立表格的中間步驟。

下表總結了每種類型應何時使用:

應用案例 推薦類型 Reason
從雲端儲存或訊息匯流排導入数据 串流資料表 處理每筆記錄一次;處理高流量及僅新增資料的工作負載。
CDC 串流(插入、更新、刪除) 串流資料表 作為有序、去重複的 CDC 攝取目標 AUTO CDC ... INTO 。
複數聚合與連接 具現化視圖 逐步刷新;避免每次更新都必須完全重新計算。
儀表板查詢加速 具現化視圖 預先計算的結果使查詢速度比對原始資料表快。
中間轉換(無下游讀取器) 臨時視角 組織管道邏輯,但不產生儲存成本。

欲了解更多資訊,請參閱 串流資料表、 實體化視圖與 管線概念。

請使用宣告式 CDC 取代命令式 MERGE

使用命令式 SQL MERGE 語句實作變更資料擷取(CDC)需要大量自訂程式碼來正確處理事件排序、重複刪除、部分更新及架構演進。 這些問題必須獨立解決,導致程式碼難以維護與測試。

管線提供AUTO CDC ... INTO陳述式(SQL)與create_auto_cdc_flow()函式(Python),分別以宣告式方式處理排序、重複刪除、錯序事件及結構演化。 你描述變更饋源的形狀和目標表,剩下的由管線處理。 AUTO CDC 支援 SCD 類型 1(覆寫)與 SCD 類型 2(歷史保存)。

欲了解更多資訊,請參閱 變更資料擷取與快照 以及 AUTO CDC APIs:使用管線簡化變更資料擷取。

以期望來確保資料品質

期望值是對通過資料集的每一列套用真/假 SQL 表達式。 當某列未達標時,管線會依照你設定的違規政策做出回應。 無論政策為何,預期都會將指標傳送到管線事件日誌,因此你可以追蹤資料品質的趨勢。

選擇違規處理政策

有三種違規政策可供選擇。 選擇符合你對錯誤資料容忍度的那個:

  • warn (預設):無效紀錄會寫入目標資料表並在度量中標記。 當你需要收集所有資料,但又想看到品質問題時,請使用此政策。
  • 刪除:無效紀錄在寫入前會被丟棄。 預期會有錯誤行且不應向下游傳播時,使用此方法。
  • 失敗:管線更新在第一個無效紀錄時停止。 對於任何不良紀錄顯示嚴重上游問題的關鍵資料,都可使用此方法。

以下範例展示每個策略如何應用於串流表:

SQL

-- Warn: write invalid records but track them in metrics
CREATE OR REFRESH STREAMING TABLE orders_raw (
  CONSTRAINT valid_order_id EXPECT (order_id IS NOT NULL)
) AS SELECT * FROM STREAM read_files("/volumes/raw/orders", format => "json");

-- Drop: discard invalid records before writing
CREATE OR REFRESH STREAMING TABLE orders_clean (
  CONSTRAINT non_negative_amount EXPECT (amount >= 0) ON VIOLATION DROP ROW
) AS SELECT * FROM STREAM(orders_raw);

-- Fail: stop the pipeline on any invalid record
CREATE OR REFRESH STREAMING TABLE orders_critical (
  CONSTRAINT required_customer_id EXPECT (customer_id IS NOT NULL) ON VIOLATION FAIL UPDATE
) AS SELECT * FROM STREAM(orders_clean);

Python

from pyspark import pipelines as dp

# Warn: write invalid records but track them in metrics
@dp.table
@dp.expect("valid_order_id", "order_id IS NOT NULL")
def orders_raw():
    return spark.readStream.format("cloudFiles") \
        .option("cloudFiles.format", "json") \
        .load("/volumes/raw/orders")

# Drop: discard invalid records before writing
@dp.table
@dp.expect_or_drop("non_negative_amount", "amount >= 0")
def orders_clean():
    return spark.readStream.table("orders_raw")

# Fail: stop the pipeline on any invalid record
@dp.table
@dp.expect_or_fail("required_customer_id", "customer_id IS NOT NULL")
def orders_critical():
    return spark.readStream.table("orders_clean")

隔離無效記錄

當你想保留遺失紀錄以供調查,而非默默丟棄時,請使用隔離模式。 透過兩種流程將驗證失敗的資料列導向獨立的串流資料表:一種是從主資料表丟棄無效資料列,另一種則只將無效資料列寫入隔離資料表。 這讓你能調查、修正並重新處理錯誤資料,同時不會污染乾淨的資料集。

欲了解隔離模式的詳細範例,請參閱 期望建議與進階模式。

欲了解更多關於預期的資訊,請參閱 「以管線期望管理資料品質」。

參數化你的管線

管線有預設的目錄和架構設定,所以在同一目錄和架構內讀寫的程式碼可以在不同環境中無需參數即可運作。 不過,如果你的管線需要參考第二個目錄或結構(例如,從開發與生產間不同的共用原始碼目錄讀取),就避免直接在原始碼中硬編碼這些名稱。 相反地,將它們定義為管線設定參數(在管線設定中設定的鍵值對),並在程式碼中引用它們。 這讓單一程式碼庫能透過交換參數值,在不同環境中正確執行。

SQL

CREATE OR REFRESH MATERIALIZED VIEW transaction_summary AS
SELECT account_id, COUNT(txn_id) AS txn_count, SUM(amount) AS total_amount
FROM ${source_catalog}.sales.transactions
GROUP BY account_id;

Python

from pyspark import pipelines as dp
from pyspark.sql.functions import count, sum

@dp.materialized_view
def transaction_summary():
    source_catalog = spark.conf.get("source_catalog")
    return spark.read.table(f"{source_catalog}.sales.transactions") \
        .groupBy("account_id") \
        .agg(
            count("txn_id").alias("txn_count"),
            sum("amount").alias("total_amount")
        )

欲了解更多資訊,請參閱 使用管線參數。

可選擇觸發式與連續流水線模式

觸發模式 處理所有可用資料後停止。 這是絕大多數管線的正確選擇:那些按時程(小時、每日或隨需)運作,且不需要亞分鐘資料新鮮度的管道。

連續模式 讓叢集持續運作,並在新資料到達時處理。 只有當你的使用情境需要幾秒到幾分鐘的延遲時,才適合使用。 因為連續模式需要始終連線的叢集,因此比觸發模式貴很多。

即時模式 建立在連續模式之上,以達到亞秒、毫秒級的延遲,適用於如詐欺偵測或即時個人化等作業負載。 這需要額外的設定與計算規劃。 請參閱 在 Lakeflow 管線中使用即時模式。

更多資訊請參閱 觸發與連續管線模式 及 配置管線。

使用液態聚類來進行資料佈局

液態叢集取代了靜態分割,並 ZORDER 用於優化 Delta 表格的資料配置。 靜態分區需要你在前期選擇分區欄位並重構數據,這可能導致分布不均的值造成數據偏斜。 液體聚類具有自我調整、抗偏斜且漸進式,每次執行只重寫需要重新組織的資料。

隨著查詢模式演變,隨時更改分群欄位,無需重寫整個表格。

Databricks 建議自動液態叢集,讓 Databricks 能根據你的查詢工作量選擇並維護最佳叢集欄位。 使用 CLUSTER BY AUTO 啟用:

SQL

CREATE OR REFRESH STREAMING TABLE events
CLUSTER BY AUTO
AS SELECT * FROM STREAM read_files("/volumes/raw/events", format => "parquet");

Python

from pyspark import pipelines as dp

@dp.table(cluster_by_auto=True)
def events():
    return spark.readStream.format("cloudFiles") \
        .option("cloudFiles.format", "parquet") \
        .load("/volumes/raw/events")

要自行選擇群集欄位,請明確指定:

SQL

CREATE OR REFRESH STREAMING TABLE events
CLUSTER BY (event_date, region)
AS SELECT * FROM STREAM read_files("/volumes/raw/events", format => "parquet");

Python

from pyspark import pipelines as dp

@dp.table(cluster_by=["event_date", "region"])
def events():
    return spark.readStream.format("cloudFiles") \
        .option("cloudFiles.format", "parquet") \
        .load("/volumes/raw/events")

欲了解更多資訊,請參閱 串流資料表 及 使用液體叢集來獲取資料表。

使用 CI/CD 與宣告式自動化套件管理管線

對你的管線原始碼進行版本控制,並使用 宣告式自動化套件 來管理跨環境的部署。

更多資訊請參閱 「建立源控管線」、「 將管線轉換為套件專案」以及 「管線參數使用」。

將管線程式碼儲存在版本控制中

將所有管線原始碼檔案(Python 和 SQL)與你的 Bundle 配置一起存放在 Git 倉庫中。 對整個專案進行版本控制,能讓你掌握完整的變更歷史,讓協作更輕鬆,並且能在開發環境中驗證變更,然後再將變更推向生產環境。

Databricks 推薦 宣告式自動化套件 來管理此工作流程。 套件會用 YAML 定義你的管線設定,並附上原始碼, databricks bundle CLI 讓你能從終端機或 CI/CD 系統驗證、部署並執行管線。

使用捆綁目標來隔離環境

套件可啟用多個目標(例如dev、staging、prod),每個目標都有自己的目錄名稱、叢集政策、通知地址及其他設定的覆寫。 將 bundle 目標與管線參數結合,在部署時注入正確的環境特定值,保持原始碼無環境常數。

典型的工作流程如下:

  1. 開發者在功能分支上進行開發,並將其部署到開發資源目錄中的個人開發管道中。
  2. 合併到主分支時,CI 系統會運行 databricks bundle validate 和 databricks bundle deploy --target staging來驗證並將管線部署到暫存環境。
  3. 測試通過後,CI 系統會部署到生產環境。databricks bundle deploy --target prod

串流最佳實務

利用這些模式管理狀態、控制延遲資料,並保持串流管線的可靠性。

欲了解更多資訊,請參閱 「優化用浮水印的狀態處理」、「 從串流檢查點失敗中恢復管線」以及 「用管線回填歷史資料」。

使用水印來執行狀態操作

浮水印會限制管線在有狀態串流操作(如視窗聚合與重複刪除)中所保留的記憶體狀態。 如果沒有浮水印,隨著管線為每個可能的鍵累積資料,狀態會無限制地增長,最終可能會導致長時間運行的管線發生記憶體不足錯誤。

浮水印指定時間戳記欄位及延遲資料的容忍閾值。 超過門檻後收到的紀錄會被刪除。 選擇一個能平衡你對延遲資料容忍度與保持該狀態開啟記憶體成本的門檻。

以下範例計算出一個帶有三分鐘浮水印的一分鐘翻滾視窗聚合:

SQL

CREATE OR REFRESH STREAMING TABLE event_counts AS
SELECT window(event_time, '1 minute') AS time_window, region, COUNT(*) AS cnt
FROM STREAM(events_raw)
  WATERMARK event_time DELAY OF INTERVAL 3 MINUTES
GROUP BY time_window, region;

Python

from pyspark import pipelines as dp
from pyspark.sql.functions import window

@dp.table
def event_counts():
    return (
        spark.readStream.table("events_raw")
            .withWatermark("event_time", "3 minutes")
            .groupBy(window("event_time", "1 minute"), "region")
            .count()
    )

Note

為了確保聚合是逐步處理,而非每次更新時完全重新計算,你必須定義一個浮水印。

了解串流狀態和完整刷新

串流狀態是增量式的:管線會在更新間建立並維持狀態,而不是每次都從頭重新計算。 這正是有狀態串流效率的原因,但也代表如果你改變有狀態查詢的邏輯(例如修改浮水印閾值或修改聚合欄位),現有狀態將不再與新邏輯相容。 此時,您必須進行完整刷新,重新處理所有歷史資料並從頭重建狀態。

如果來源未保留歷史資料,完全刷新也可能導致資料遺失。 例如,保存期短的 Kafka 來源可能只保留刷新時最後幾分鐘的資料,導致資料表比之前少很多。 請謹慎規劃有狀態查詢邏輯的變更,特別是對於高吞吐量資料流,因為完整刷新成本高昂,或來源資料保留有限。 使用 獎牌架構 有助於建立幾乎不需轉換的青銅資料表,並允許銀資料表或金資料表從完整歷史的青銅資料表中重新運算。

Stream-Stream 聯結

串流-串流連接需要在連接的兩側皆有水印,並且有時間限制的連接條件。 加入條件中的時間區間告訴串流引擎何時無法再匹配,使其能剔除無法再匹配的狀態。 如果你省略浮水印或時間限制條件,狀態會無限制地成長。

以下範例將廣告曝光事件與點擊事件結合,要求點擊必須在曝光後三分鐘內發生:

SQL

CREATE OR REFRESH STREAMING TABLE impression_clicks AS
SELECT imp.ad_id, imp.impression_time, clk.click_time
FROM STREAM(ad_impressions)
    WATERMARK impression_time DELAY OF INTERVAL 3 MINUTES AS imp
JOIN STREAM(user_clicks)
    WATERMARK click_time DELAY OF INTERVAL 3 MINUTES AS clk
ON imp.ad_id = clk.ad_id
  AND clk.click_time BETWEEN imp.impression_time
    AND imp.impression_time + INTERVAL 3 MINUTES;

Python

from pyspark import pipelines as dp
from pyspark.sql.functions import expr

dp.create_streaming_table("impression_clicks")

@dp.append_flow(target="impression_clicks")
def join_impressions_and_clicks():
    impressions = spark.readStream.table("ad_impressions") \
        .withWatermark("impression_time", "3 minutes")
    clicks = spark.readStream.table("user_clicks") \
        .withWatermark("click_time", "3 minutes")
    return impressions.alias("imp").join(
        clicks.alias("clk"),
        expr("""
            imp.ad_id = clk.ad_id AND
            clk.click_time BETWEEN imp.impression_time AND imp.impression_time + INTERVAL 3 MINUTES
        """),
        "leftOuter"
    ).select("imp.ad_id", "imp.impression_time", "clk.click_time")

當你將串流與靜態資料表(快照連結)連結時,靜態資料表快照會在每個微批次開始時重新整理。 這表示晚到的維度紀錄不會追溯應用於已處理的事實。 若需追溯應用,請使用具體化檢視或重組管線。

優化管線效能

應用這些技術來降低計算成本並加速流水線更新。

更多資訊請參閱 「實體化檢視 」及 「以浮水印優化狀態處理」。

避免小檔案

在低容量來源上頻繁觸發管線,會將大量小型檔案寫入雲端儲存。 小型檔案會降低讀取效能,因為每個檔案都需要執行獨立的元資料查詢操作與 I/O 往返,而雲端儲存 API 對同時進行大量的清單操作進行限制。 為避免這種情況,請選擇與資料量相符的觸發間隔:在允許有意義的資料累積的排程中運行觸發管線,而非連續累積。

處理資料偏移

資料偏斜發生在當聯接鍵或 groupBy 鍵中的值在跨分割區間分佈不均時,導致少數任務需要處理大部分資料。 這會產生熱點,延長端到端更新時間。 使用液體叢集來解決儲存資料表中的偏移問題。 對於在執行中計算中發生的偏移,會在高度偏斜的金鑰中附加一個隨機桶後綴,然後再分組並分兩階段彙整。

欲了解更多資訊,請參閱 使用液態分群以進行資料佈局。

對於具體化視圖使用增量刷新

當你使用實體化視圖處理大型聚合時,管線會嘗試逐步刷新,只處理上次更新後的上游變更,而非重新計算完整結果集。 增量刷新比在每個管線觸發器上重新執行查詢便宜許多。 為了最大化物質化視圖能以增量方式刷新的機率,應撰寫簡單且確定性的聚合查詢,並避免使用阻礙增量處理的結構,例如非確定性函數。

如需具體化檢視 ,請參閱累加式重新整理。

優化連接

對於一邊是小型維度表的連接,請加入廣播提示,指示 Spark 將較小的表格廣播給所有執行者,而非執行洗牌連接:

SQL

CREATE OR REFRESH MATERIALIZED VIEW enriched_orders AS
SELECT /*+ BROADCAST(p) */ o.*, p.product_name, p.category
FROM orders o
JOIN products p ON o.product_id = p.product_id;

Python

from pyspark import pipelines as dp
from pyspark.sql.functions import broadcast

@dp.materialized_view
def enriched_orders():
    orders = spark.read.table("orders")
    products = spark.read.table("products")
    return orders.join(broadcast(products), "product_id")

對於時間序列的相鄰連接(例如,在時間範圍內尋找最近的事件),可以使用範圍連接條件,並確保在連接資料流時兩邊都有浮水印,或者考慮在加入前預先將事件分類到時間桶中。

監控你的管線

管線事件日誌是管線中的主要可觀測性基本要素。 每次管線執行都會將結構化紀錄寫入事件日誌,涵蓋執行進度、資料品質期望結果、資料沿緣及錯誤細節。 事件日誌是一個你可以直接查詢的 Delta 表格。

若要查詢事件日誌而不需知道底層儲存路徑,請使用 event_log() 共享叢集或 SQL 倉庫上的 table-value 函式:

SELECT * FROM event_log('<pipeline-id>')
WHERE event_type = 'flow_progress'
ORDER BY timestamp DESC
LIMIT 100;

透過查詢事件日誌中的預期指標來建立資料品質儀表板。 欄位 details 包含巢狀的 JSON 結構,包含每個約束的通過/失敗計數,你可以用來追蹤品質趨勢,並在迴歸時發出警示。

針對事件驅動警示,當管線失敗或資料品質門檻被突破時,可使用事件鉤子觸發自訂的 webhook 或通知服務(如 Slack 或 PagerDuty)。 事件鉤子是回應管線事件而執行的 Python 函式。

欲了解更多資訊,請參閱 監控管線、 管線事件日誌,以及 定義帶有事件鉤子的管線自訂監控。

使用無伺服器運算

Databricks 建議新管線採用無伺服器運算。 無伺服器則不需要手動叢集配置;Databricks 會自動管理基礎架構。 無伺服器管線採用增強型自動擴展,能在水平(更多執行器)及縱向(更大執行器大小)上因應工作負載需求而擴展。 無伺服器管線總是使用 Unity Catalog,因此治理和血統追蹤是預設內建的。

增量重新整理實體化視圖時,也需要使用無伺服器。 在經典計算中,實體化的視圖總是會被完全重新計算,這會增加刷新成本。 如果增量刷新對你的工作負載很重要,建議使用無伺服器運算。

如需比較無伺服器與傳統運算,請參閱 適用於管線的無伺服器與傳統運算比較。 欲了解更多關於無伺服器的資訊,請參閱 「配置無伺服器管線」。

以 Medallion 架構來組織管線

獎章架構將資料組織成三個邏輯層(青銅、銀、金),每個層都有不同的用途。 將管線資料集類型映射到正確層級,能清楚分明各層的職責,並讓管線更容易維護。

  • Bronze:使用串流資料表從雲端儲存、訊息匯流排或 CDC 來源引入原始資料。 青銅表以最小化轉換方式保存原始數據,當需求改變時,使銀層或金層能夠從青銅層重新處理這些來源資料。
  • Silver:使用串流表進行增量的列級轉換(過濾、清理和解析)。 當銀層邏輯涉及與維度表的豐富連接或複雜聚合,且這些內容需要增量刷新時,請使用具體化視圖。
  • 黃金:使用具象化視圖預先計算供應給儀表板、報告工具及下游消費者的彙整、指標與摘要。

盡可能將吸收(青銅)與轉化(銀與金)分開,形成不同的管線。 將層級解耦後,你可以獨立排程、監控並排除問題,轉換管道中的錯誤也不會阻擋新資料進入Bronze層。

如需詳細資訊,請參閱 串流資料表 和 具體化檢視。