在管線中建立和執行使用者資料函式活動

透過在 Fabric 管線中新增使用者資料函數活動,將自訂的 Python 函式作為自動化資料工作流程的一部分來執行。 這種整合讓你能將業務邏輯集中在函式中,並在排程的 ETL 流程中呼叫,免除了在筆記本和腳本間重複程式碼的需求。

何時在管道中使用函數

根據需要,將使用者數據函數活動加入至你的流程中:

  • 在資料傳輸過程中套用商業規則:在資料流經管線時,驗證、清理或轉換資料。 例如,標準化產品類別或在裝貨前套用定價規則。
  • 排程可重用邏輯:在排程上執行相同的業務邏輯,無需維護獨立的基礎設施。

先決條件

開始之前,必須先滿足以下先決條件:

將函數活動添加到管線中

織體管線提供一種視覺化的方式來協調資料流動與轉換活動。 在這個部分中,你會建立一個管線,並在其中加入一個 Functions 活動。 在後面的章節中,你會針對使用者資料功能專門設定活動。

要建立一個包含函數活動的管線:

  1. 在工作區中選取 [+ 新增項目]。

  2. 在 新項目 對話框中搜尋「 管線 」並選擇它。

  3. 在 「新管線 」對話框中,輸入管線名稱並選擇 「建立」。

  4. 在管線首頁,選擇 「活動 」標籤。

  5. 在活動功能區中,選擇 ...... (省略號)圖示以查看更多活動。

  6. 在 Orchestrate 的活動清單中搜尋功能,然後選擇該功能,將功能活動加入管線畫布。

    螢幕擷取畫面顯示如何尋找函式活動。

為使用者資料功能設定活動

在你把函式活動加入畫布後,設定它呼叫你的使用者資料函式。

設定一般設定

  1. 在畫布上選擇功能活動。

  2. 選取 [ 一般] 索引標籤。

  3. 輸入 活動名稱 。

    顯示函數活動一般設定的螢幕擷取畫面。

  4. 可選擇設定重試設定,並指定你傳遞的是安全輸入還是輸出。

配置功能設定

  1. 選取 [設定] 索引標籤。

  2. 選擇 Fabric 使用者資料功能 作為 類型。

  3. 在 「連線 」下拉選單中,選擇你想使用的連線。 如果你找不到想要的連結,請選擇「 全部瀏覽」。

  4. 在「 選擇資料來源開始 」對話框中,搜尋 「使用者資料功能 」並選擇它。 你應該會在 新來源中看到它。

  5. 在 「連接資料來源 」對話框中,你可以保留預設的連線名稱和憑證。 確認你已登入,然後選擇 連接。

    在連線面板中選擇使用者資料功能時的截圖。

    備註

    如果你已經有連線,對話框中可能會預先選擇。 你可以保留現有連線,或從下拉選單選擇 建立新連線 來建立新連線。

  6. 回到活動設定,從連接下拉選單選擇 UserDataFunctions。 這就是你剛建立的連結。

    選取 UserDataFunctions 連線的截圖。

  7. 選擇包含你使用者資料功能項目的工作 區 。

  8. 選擇 使用者資料功能 項目名稱。

  9. 選擇你想呼叫的功能。

  10. 提供你所選函數的輸入參數。 你可以使用來自管線表達式的靜態值或動態內容。

    顯示函數活動設定的螢幕擷取畫面。

    備註

    要輸入動態內容,選擇你想填入的欄位,然後按 Alt+Shift+D 開啟表達式建構器。

傳遞動態參數

要將其他管線活動或變數的值傳給你的函式:

  1. 選擇支援動態內容的欄位,例如先前所示參數的 Value 欄位 name 。

  2. 按 Alt+Shift+D 開啟表達式建構器。

  3. 使用管線表達式來參考先前活動的變數、參數或輸出。 例如,使用 @pipeline().parameters.PipelineName 傳入管線參數至你的函式。

    顯示表達式建構器的截圖。

欲了解更多關於管線表達式的資訊,請參見 表達式與函式。

在下游活動中使用函數輸出

你的函式的回傳值會在活動輸出中取得。 為了在後續活動中參考輸出:

  1. 在 Functions 活動之後,將另一個活動加入至你的管線。

  2. 選擇功能活動,並將其 成功結果( 活動右側的綠色勾選標記)拖曳到新的活動。 這會產生依賴關係,使得新活動會在函式成功完成後執行。

  3. 選擇新活動,並找到支援動態內容的欄位。

  4. 按 Alt+Shift+D 開啟表達式建構器。

  5. 使用表達 @activity('YourFunctionActivityName').output 式來參考函式的回傳值。 例如,函式活動名稱為 Functions1,你可以用 @activity('Functions1').output 來參考其輸出。

    截圖顯示下游活動的表達式建構器。

輸出的具體結構取決於你的函式回傳什麼。 例如,如果你的函式回傳字典物件,你可以存取特定屬性,例如 @activity('YourFunctionActivityName').output.propertyName。

保存並運行流水線

在你設定 Functions 活動以及管線的其他活動之後:

  1. 在管線編輯器頂端選擇 「Home 」標籤。
  2. 選取 [儲存] 以儲存您的管線。
  3. 選擇 執行 立即執行流程,或選擇 排程 設定定期排程。

執行後,你可以監控管線執行,並從畫布下方的 輸出 標籤查看執行歷史。 如需詳細資訊,請參閱 監視管線執行過程。