實施帶有實體化湖檢視的獎章式架構

這個教學教你如何在 Fabric 中利用湖屋中的實體化湖景來實作 medallion 架構。 最後,你會自動建立一個從青銅層到銀層再到金層的資料轉換流程。 本教學並非參考架構、詳盡功能指南或規範性最佳實務建議。

先決條件

開始之前,請先完成下列先決條件:

  1. 登入你的 Power BI 帳號,或者如果還沒有試用版,可以申請試用。
  2. 在您的租戶中啟用 Fabric。
  3. 建立一個支援 Fabric 的工作區。
  4. 建構一個具有架構的 Lakehouse,然後命名為 SalesLakehouse。

這些前置條件在整個教學中都會使用:工作區和 SalesLakehouse 在青銅、銀、金層階段,以及排程和監控中都是必備的。

案例概觀

本教學以一個虛構的零售組織 Contoso 作為範例情境。 Contoso 以獎牌架構組織銷售數據,透過將數據分為銅層(原始)、銀層(淨化與強化)及金層(彙總與分析)來提升分析結果。

下圖代表 SalesLakehouse 中每一層獎章架構中的不同實體:

顯示獎牌架構的螢幕快照。

劇本中的關鍵實體

以下實體對應於前一節獎章架構圖所示的實體。

  • 訂單:此實體包含每個客戶訂單的詳細數據,例如訂單日期、出貨詳細數據、產品類別和子類別。 深入解析可用來優化出貨策略、識別熱門產品類別,以及改善訂單管理。

  • 銷售:藉由分析銷售數據,Contoso 可以評估主要計量,例如總營收、獲利率、訂單優先順序和折扣。 這些因素之間的相互關聯可讓您更清楚地瞭解客戶購買行為,以及折扣策略的效率。

  • 位置:這會擷取銷售和訂單的地理維度,包括城市、州、區域和客戶區段。 其可協助 Contoso 找出高效能的區域、解決低效能區域,以及針對特定客戶區段的個人化策略。

  • 經紀人:透過經紀人管理交易、佣金及銷售數據的詳細資訊,Contoso 能評估個別代理人表現、激勵頂尖表現者,並設計有效的佣金結構。

  • 代理程式傭金:納入傭金數據可確保透明度,並提供更好的成本管理。 瞭解傭金率與代理程式效能之間的相互關聯有助於精簡獎勵系統。

範例資料與筆記本

這個教學使用了來自 Fabric 範例倉庫的範例資料集。 繼續前先下載完整 tutorial 資料夾。

你先用這些資產來建立青銅層,然後再創造銀色和金色的具體化湖景。

下載的 tutorial 資料夾包含:

  • CSV 資料夾:agent、、agent_commissions、 locationorderssales、 。
  • 筆記本檔案: Notebook。

建立獎章資料流程

在這個區塊中,你要為 SalesLakehouse 的獎章架構設計青銅、銀色和金色層。 這些層定義了你物化湖泊視圖的系譜性數據流。

高階步驟如下:

  1. 銅層:將原始數據以 CSV 檔案導入到資料湖倉。 請參見 建立銷售分析銅層獎章架構。
  2. 銀層與金層:利用實體化湖泊視圖淨化數據並整理數據,用於分析與報告。 請參見 創建徽章架構的銀色與金色層。

在這個教學後面,你會為這個血統排程刷新,讓流程自動執行。

建立銷售分析獎章架構的銅層

在這個區塊中,你要把下載資料夾 tutorial 的內容上傳到 SalesLakehouse,來建立青銅圖層。 這些檔案對應於本教學中先前描述的實體。

  1. 在你的工作區,打開 SalesLakehouse ,然後進入 檔案 區塊。

  2. 上傳下載資料夾 tutorial 的內容,保留資料夾結構:

    • agent
    • agent_commissions
    • location
    • orders
    • sales

    上傳後,會在檔案下建立一個名為教學的資料夾,裡面包含這些子資料夾。

  3. 接下來,從 [ 數據表 ] 區段建立它的快捷方式。 選取[...] 於數據表區段旁,然後選取新增架構捷徑,再選取Microsoft OneLake。 從數據源類型選擇 SalesLakehouse 。 展開 [ 檔案] 區段,然後選擇 教學課程 資料夾,然後選取 [ 建立]。 您也可以使用其他替代 選項將資料放入 Lakehouse。

    顯示如何建立將數據放入數據表的快捷方式的螢幕快照。

  4. 從 [ 數據表] 區段,將 tutorial 資料夾重新命名為 bronze。

建立獎章架構的銀層和金層

  1. 從下載的 tutorial 資料夾中,將 Notebook 檔案上傳到你的工作區。

    顯示一個湖景具象化的螢幕快照。

  2. 打開從 SalesLakehouse 上傳的筆記本。 如需更多資訊,請參閱 使用筆記本探索湖倉數據。

  3. 執行所有筆記本儲存格,以使用 Spark SQL 建立具資料品質約束的實體化湖泊視圖。

  4. 所有單元格運行成功後,刷新 SalesLakehouse ,以查看 silver 和 gold 模式下的新物化湖景。

    螢幕快照顯示正在運行的筆記本。

排程重新整理

  1. 在 SalesLakehouse 中,打開 「Materialized lake views 」標籤,選擇 「管理 」以開啟血統。

    譜系視圖顯示自動生成的依賴圖,每個相依的物質化湖泊視圖都以節點形式呈現。

    顯示譜系建立的螢幕快照。

  2. 在色帶上選擇 「管理排程」 ,然後在排程窗格中選擇 「新排程 」。

  3. 開啟行程表,輸入名稱,並選擇具體化的湖景以刷新。 排程建立的截圖。

  4. 選擇想要的 刷新類型,設定在刷新時使用,然後選擇 套用。

  5. 要立即執行排程,請從排程窗格選擇已建立排程的 「執行 」。

監視與疑難排解

  1. 在 「最近運行 」標籤中,檢視運行狀態。

  2. 選擇一個 Run ID 以開啟該次 run 的詳細資訊。

    最近執行的截圖。

  3. 在執行詳情分頁中,請查看右側的詳細資料面板和底部活動面板的執行狀態。

  4. 在 lineage 中選擇一個實體化的湖泊視圖節點,以查看執行細節、其 ABFS 路徑,以及詳細日誌的連結。

  5. 如果節點狀態為 失敗,請檢視顯示的錯誤訊息。

    截圖顯示執行細節。

  6. 選擇 詳細日誌 以開啟 監控中心 並檢視 Spark 錯誤日誌。

    顯示 Spark 記錄的螢幕快照。

  7. 選擇「實體化湖泊景觀」中的 「資料品質報告 」標籤,以建立或瀏覽自動產生的資料品質報告。