湖流管線中的維度建模

維度建模是一種將黃金層資料組織成事實表與維度表的技術,讓分析師與商業智慧(BI)工具能有效率地查詢資料。 你在 Lakeflow pipelines 中,透過將事實資料表和維度資料表映射到管線資料集類型中來建立這個模型。

Overview

維度建模將資料分為兩種表格:

  • 事實表記錄 你關心的事件或衡量,例如訂單、點擊或銷售。 每一列代表該事件的一次發生,主要以鍵值和數值來描述。
  • 維度表則包含 這些事件的描述性上下文,例如客戶、產品或日期。 每一列代表一個商業實體。

星型架構是指將一個事實表置於中央,並透過各維度表各自的鍵與多個維度表聯結後所形成的形狀。 這種結構便於分析師和商業智慧工具查詢,也便於工程師理解,因為每個資料表都只有單一且明確的職責。

在 Lakeflow 管線中,星型結構自然地位於勳章架構的金色層。 青銅與白銀資料集負責資料攝取與清理,而黃金資料集則會將事實表與維度表實體化,讓下游使用者可直接查詢。 因為管線會讓這些資料表以增量方式更新,所以你就能在 BI 層有 star schema 查詢的簡單性,不需要另外的擷取、轉換、載入(ETL)步驟。

運作原理

你可以在管線中將維度和事實建構為資料集,並根據各自的變更方式選擇相應的資料集類型。 對於大多數黃金層模型:

  • 建立 維度表 作為具體化檢視(或在需要歷史時,作為帶有緩慢變化維度(SCD)類型 2 的串流資料表)。 實體化視圖會根據輸入變化,從清理過的銀資料中高效重新計算,為每個企業實體提供一列資料。
  • 建立 事實表,作為由銀層以增量方式持續提供資料的串流表,讓金層的彙總維持接近即時。 事實是以關鍵字來指稱其維度,而非重複描述屬性。

欲了解更多關於這兩種資料集類型的資訊,請參閱 實體化檢視 與 串流表格。 若要追蹤維度中的歷史記錄,請參閱 AUTO CDC API:使用管線簡化變更資料擷取。

金鑰與替代金鑰

偏好自然 鍵 (來源資料中已存在的識別碼,例如訂單號),當來源的自然鍵穩定且可用,因為它能很好地聚集並連接。 只有當來源重複使用或更改 ID 時,才會使用 替代金鑰 (由管線產生的替代識別碼)。

當你確實需要代理鍵時,避免使用像 sha2(natural_key) 這樣的 雜湊代理鍵。 雜湊值不保序,這對液體聚類和 Z 階效能不利,因為相鄰的列會分散在檔案中。 相反地,從穩定的自然鍵中決定性地推導出一個保持順序的代理,使同一商業實體始終映射到同一個代理。 決定性索引鍵在維度完全重新整理或重建後仍可保留,從而維持現有事實資料表與維度資料表之間的聯結不變。

或者,當上游資料表只追加資料,且從未進行完整重新整理時,你也可以使用 IDENTITY 欄位。 由於 IDENTITY 值是在插入資料列時指派的,因此重建可能會將不同的 ID 重新指派給同一個實體,並悄悄破壞依據舊值建立的事實表與維度表之間的聯結。

日期維度

將 dim_date 建立為一個簡單的具體化檢視,透過 sequence() 和 explode() 在某個日期範圍內產生,而不是從來源擷取資料。 它是靜態參考資料,計算成本低,且簡化了基於日期的連接和模型其他部分的視窗設定。

Examples

以下範例建立一個帶有客戶維度與訂單事實表的小星型結構。

維度資料表

維度表通常是由清理後的銀層資料建構而成的具體化檢視,每個商業實體各有一列,如下列程式碼所示:

Python

from pyspark import pipelines as dp

@dp.materialized_view(name="dim_customer", comment="Customer dimension")
def dim_customer():
    return (
        spark.read.table("customers_silver")
        .select("customer_id", "customer_name", "region", "signup_date")
    )

SQL

CREATE OR REFRESH MATERIALIZED VIEW dim_customer
COMMENT "Customer dimension"
AS SELECT customer_id, customer_name, region, signup_date
FROM customers_silver;

事實資料表

事實表儲存可度量的事件,並透過維度鍵參照各維度,而不是重複存放描述性屬性。 讓事實資料維持精簡(主要只包含鍵值和數值量測),並在查詢時使用聯結(joins)帶入描述性細節,如下列程式碼所示:

Python

from pyspark import pipelines as dp

@dp.table(name="fact_orders", comment="One row per order line, keyed to dimensions")
def fact_orders():
    return (
        spark.readStream.table("orders_silver")
        .select(
            "order_id",
            "customer_id",       # foreign key to dim_customer
            "product_id",        # foreign key to dim_product
            "order_date",        # foreign key to dim_date
            "quantity",
            "amount",
        )
    )

SQL

CREATE OR REFRESH STREAMING TABLE fact_orders
COMMENT "One row per order line, keyed to dimensions"
AS SELECT
  order_id,
  customer_id,   -- foreign key to dim_customer
  product_id,    -- foreign key to dim_product
  order_date,    -- foreign key to dim_date
  quantity,
  amount
FROM STREAM(orders_silver);

最佳實務

以下幾項做法可讓星型架構隨著擴展仍維持健全:

  • 將事實保留為串流表格,維度則以具體檢視形式呈現,除非你特別需要更改歷史紀錄,這時可以使用 AUTO CDC 。STORED AS SCD TYPE 2 請參閱 AUTOTO CDC API:使用管線簡化變更資料擷取。 對於需要定期重新處理一段時間範圍內的事實資料,例如為了修正延遲到達的紀錄,請使用 REPLACE WHERE 流程。
  • 使用下游的 BI 工具直接查詢金色實體化視圖。 Lakeflow 管線會持續更新這些資料,讓你幾乎即時獲得結果,無需額外報告 ETL 步驟。
  • 將維度與事實資料建模為流向同一黃金層的個別流程,因此每個資料集都能作為一個連貫 DAG 的一部分排程、設定檢查點並刷新。 請參閱 「隨湖流管線流量逐步載入與處理資料」。

其他資源