什麼是管道?

管線是 Lakeflow 中 Apache Spark™ 宣告式管線(SDP)開發與執行的主要單元。 管線是一組原始碼檔案和設定。 原始檔案宣告資料集(串流資料表、實體化檢視與檢視),以及產生資料集的查詢與流程。 該配置會指定管線的運作方式以及資料的存放位置。

管線是用來容納你所定義的流程、串流資料表、實體化檢視和接收端的容器。 管線運行時會分析這些物件之間的依賴關係,並自動協調執行與平行化的順序。 關於管線所包含的物件細節,請參見 管線概念。 欲比較 Lakeflow 管線與 Apache Spark™ 宣告式管線,請參見 Apache Spark 宣告式管線。

管線原始碼

管線原始碼以 Python 或 SQL 撰寫。 單一管線可以混合 Python 和 SQL 原始碼檔案,但每個檔案只能包含一種語言。 由於管線會分析所有原始檔案的資料集依賴關係,你可以以任意順序組織檔案間的原始碼。

關於語言特定的開發指引,請參閱《用 Python 開發管線程式碼》和《用 SQL 開發 Lakeflow 管線程式碼》。

管線圖

管線會自動推斷資料集間的依賴關係,並將其排列成有向無環圖(DAG)。 該圖決定評估順序:上游資料集會先計算,然後才進行下游資料集。 你可以在 Lakeflow 管線編輯器中查看並互動管線圖。

管線更新

管線更新會透過以下方式計算每個資料集的當前狀態:

  1. 用正確設定啟動叢集。
  2. 分析原始檔案並建立相依關係圖。
  3. 計算或以依賴順序逐步更新每個資料集。

管線運行於兩種模式:

  • 觸發:管線會執行一次,並在所有資料集皆為最新狀態後停止。
  • 連續性:管線會無限期運作,並在新資料到達時處理。

你在編輯器中以互動方式觸發的更新,會針對快速迭代進行最佳化,重複使用叢集,並停用自動重試。 請參見 更新執行行為。

管線類型

作業與管線清單不只包含使用 Lakeflow 管線建立的管線。 Azure Databricks 會執行多種不同類型的管線,而 Jobs & Pipelines 清單和管線監控頁面會以類型標示各個項目,讓您能分辨各自是哪一種。 下表顯示每種管線類型與 pipeline_type中記錄的 值之間的對應關係:

輸入 職缺與管線 pipeline_type 位於事件記錄中 Description
ETL WORKSPACE 一條湖流管線。 請參見 Lakeflow 上的 Spark 宣告式管線。
攝入 MANAGED_INGESTION 這是一條由 Lakeflow Connect 建立的管理式吞併管線。 詳見 Lakeflow Connect 連接器概念。
MV/ST DBSQL 一條獨立的管道。 請參閱 獨立實體化視圖與串流表。
資料庫資料表同步 DATABASE_TABLE_SYNC 一個將資料表同步到 Lakebase 資料庫的管線。 請參見 「提供與同步資料表的湖屋資料服務」。

獨立管線

你可以在 Lakeflow 管線之外建立和管理串流表和實體化視圖,作為 獨立管線。 你可以使用 Databricks、SQL 或 Python 來建立和刷新獨立的串流資料表和實體化檢視。 它們運行在相同的 Azure Databricks 基礎架構上,且處理語意與 Lakeflow 管線相同。 當你定義獨立串流表或實體化視圖時,流程會隱含地作為串流表或具體化視圖定義的一部分。

詳情請參見 獨立實體化視圖與串流資料表。

Lakeflow 管線編輯器

Lakeflow 管線編輯器是一個專為管線開發而設計的集成開發環境(IDE)。 這提供了以下內容:

  • 一個多檔案的 Python 與 SQL 原始碼編輯器
  • 一個用於組織檔案與資料夾的管線資產瀏覽器
  • 一個互動式管線圖,顯示資料集的相依關係與狀態
  • 串流資料表與實體化視圖的資料預覽
  • 執行洞察與問題面板,顯示最新執行結果
  • 選擇性執行,可在不執行完整管線的情況下刷新個別檔案或資料表

該編輯器可與 Azure Databricks 平台整合,並支援透過 Git 資料夾進行版本控制。 如需逐步指引,請參閱 使用 Lakeflow Pipelines 編輯器開發與除錯 ETL 管線。

其他資源