在管線中使用資料流程

在本教學課程中,您會建置管線,將 OData 從 Northwind 來源移至 Lakehouse 目的地,並在管線完成時傳送電子郵件通知。

必要條件

若要開始使用,您必須滿足下列必要條件:

建立湖倉

若要開始,您需要先建立 Lakehouse。 湖倉是針對分析用途最佳化的資料湖。 在本教學中,您將建立一個作為資料流程目的地的 Lakehouse。

  1. 前往你已啟用 Fabric 的工作區。

    強調已啟用 Fabric 的工作區的螢幕擷取畫面。

  2. 在 [建立] 功能表中選取 [Lakehouse]。

    [建立] 功能表的螢幕快照,其中強調 Create Lakehouse。

  3. 為湖倉輸入名稱。

  4. 選取 建立。

現在您已建立 Lakehouse(湖倉),現在就可以設定資料流程。

建立資料流程

資料流是一種可重複使用的資料轉換,可以在管線中使用。 在本教學中,您將建立資料流程,從 OData 來源擷取資料,並將資料寫入 Lakehouse 目的地。

  1. 前往您已啟用 Fabric 的工作區。

    已啟用 Fabric 工作區的螢幕擷取畫面。

  2. 在 [建立] 功能表中選取 [Dataflow Gen2]。

    新功能表下 Dataflow Gen2 選取項目的螢幕快照。

  3. 從 OData 來源擷取資料。

    1. 選取 [取得資料],然後選取 [更多...]。

      [取得資料] 功能表的螢幕擷取畫面,其中強調了 [更多]。

    2. 從 [選擇資料來源],搜尋 [OData],然後選取 [OData 連接器]。

      醒目標示 OData 的 [取得資料] 選單螢幕擷取畫面。

    3. 輸入 OData 來源的 URL。 對於本教學課程,請使用 OData 範例服務。

    4. 選取 [下一步]。

    5. 選取您要擷取的 實體。 在本教學中,請使用 Orders 實體。

      OData 預覽的螢幕擷取畫面。

    6. 選取 建立。

現在您已經從 OData 來源擷取了資料,可以設定 Lakehouse 目的地。

若要將資料內嵌至 Lakehouse 目的地:

  1. 選取 新增資料目的地。

  2. 選取 Lakehouse。

    [新增輸出目的地] 功能表的螢幕擷取畫面,其中強調 Lakehouse。

  3. 設定您要用來連線到 Lakehouse 的連線。 預設設定無誤。

  4. 選取 [下一步]。

  5. 瀏覽至您建立 Lakehouse 的工作區。

  6. 選取您在前面步驟中建立的 Lakehouse。

    所選湖倉的螢幕擷取畫面。

  7. 確認資料表名稱。

  8. 選取 [下一步]。

  9. 確認更新方法,然後選取 儲存設定。

    更新方法的螢幕擷取畫面,其中已選取 [取代]。

  10. 發佈資料流程。

    重要

    當在工作區中建立第一個 Dataflow Gen2 時,系統會一併佈建 Lakehouse 和 Warehouse 項目,以及其相關的 SQL 分析端點和語意模型。 這些項目會由工作區中的所有資料流程共用,而且 Dataflow Gen2 必須運作、不應該刪除,而且不適合由使用者直接使用。 這些項目皆為 Dataflow Gen2 的實作詳細資料。 在工作區中不會顯示這些項目,但可能可在如 Notebook、SQL 端點、Lakehouse 和倉儲體驗等其他體驗中存取。 您可以使用名稱中的項目前置詞來辨識項目。 項目的前置詞為 `DataflowsStaging'。

現在您已將資料載入到 Lakehouse 目的地,您可以設定您的管線。

建立管線

管線是可用來自動化資料處理的工作流程。 在本教學課程中,您將建立一個管線,以運行您在前一個步驟中建立的 Dataflow Gen2。

  1. 返回工作區總覽頁面,然後在建立選單中選取Pipelines。

    管線選取的螢幕擷取畫面。

  2. 提供管線的 名稱 。

  3. 選取 資料流程 活動。

    強調資料流程活動的螢幕擷取畫面。

  4. 在 [設定] 底下的 [資料流程] 下拉式清單中,選取您在上個程序中建立的 [資料流程]。

    資料流程下拉式清單的螢幕截圖。

  5. 新增 [Office 365 Outlook] 活動。

    強調如何選取 Office 365 Outlook 活動的螢幕擷取畫面。

  6. 設定 [Office 365 Outlook] 活動以傳送電子郵件通知。

    1. 使用 Office 365 帳戶進行驗證。

    2. 選取您要將通知傳送到的 [電子郵件地址]。

    3. 輸入電子郵件的 [主旨]。

    4. 輸入電子郵件本文。

      顯示 Office 365 Outlook 活動設定的螢幕擷取畫面。

執行和排程管線

在本節中,您會執行並排程管線。

  1. 前往工作區。

  2. 開啟您在上一個程序中建立之管線的下拉選單,然後選取排程。

    管線功能表的螢幕擷取畫面,其中強調顯示排程。

  3. 在 排程執行 中,選取 開啟。

    排程執行設定為 [開啟] 的螢幕擷取畫面。

  4. 提供您要用來執行管線的排程。

    1. 例如,每天或每分鐘重複一次。
    2. 選取 [每日] 時,您也可以選取 [時間]。
    3. 從特定 [日期] 開始。
    4. 於特定日期結束。
    5. 選取 [時區]。
  5. 選取 [套用] 以套用變更。

您現在已建立依排程執行的管線;重新整理數據湖倉中的資料,並傳送電子郵件通知給您。 您可以前往 監視器中樞來檢查管線的狀態。 您也可以移至 [管線] ,然後選取下拉式功能表中的 [執行歷程記錄] 索引標籤,以檢查管線的狀態。