這很重要
將 Azure Data Factory Mapping Data Flows 升級至 Fabric 目前處於公開預覽階段,可能會有所變動。
利用 Azure Data Factory 內建的升級體驗,將包含映射資料流的合格管線升級至 Microsoft Fabric Data Factory。 升級過程中,支援的映射資料流會轉換為 Dataflow Gen2 中的映射資料流(MDF)轉換,相關管線則升級為 Fabric 管線。
本文說明升級後 MDF 轉換所需的額外驗證、執行與監控步驟。 欲了解完整的 Azure Data Factory 升級體驗,請參閱「將您的 Azure Data Factory 管線升級至 Fabric Data Factory」。
先決條件
在開始升級之前,請確保你具備以下事項:
- 一個至少有一個包含 Mapping Data Flow 的 Azure Data Factory 實例。
- 存取 Azure Data Factory 實例及其管線的權限。
- 存取支援 Microsoft Fabric 的租戶。
- Fabric 授權。 如果你沒有授權,若租戶啟用自助註冊,則 View in Fabric(預覽)入職體驗會提示你註冊免費授權。
- 存取 Fabric 容量,例如 Trial 容量。
- 需具備貢獻者或更高權限,才能在 Fabric 工作區建立和更新項目。
- 在升級期間不會自動建立的來源與目的地資料儲存 Fabric 連線
升級體驗會自動建立支援的 Fabric 連線,當 Azure Data Factory 認證設定能安全映射時。 對於其他連線,請選擇現有的 Fabric 連線,或在開始升級前先建立一個。
支援的升級情境
內建升級功能支援包含 Mapping Data Flows 的合格 Azure Data Factory 管線。 升級過程中:
- 所選的 Azure Data Factory 管線已升級至 Fabric 管線。
- 支援的映射資料流在 Dataflow Gen2 中轉換為 MDF 轉換。
- 管線及其參考的映射資料流會一起升級。
- 支援的連結服務會映射到新的或現有的 Fabric 連線。
- 原始的 Azure Data Factory 管線與映射資料流保持不變。
升級前,請先檢視 MDF 轉換的限制、支援的連接器、轉換方式、認證方法及網路需求。
升級包含對應資料流程的管線
透過 在 Fabric 中檢視 (預覽) 在 Azure Data Factory 開始升級。 在 Fabric 中查看你的處理站並不會升級或改變你的管線。 升級只會在你檢視準備狀況、選擇管線,並明確選擇「開始升級(預覽)」後才開始。
步驟 1:在 Fabric 中查看你的 Azure Data Factory
打開你的 Azure Data Factory 入口網站。
選擇 View in Fabric (Preview)。
如果這是您第一次使用此體驗,請先檢視並接受條款與條件,然後選擇「試用 Fabric Data Factory」。
請依照開始使用步驟進行:
- 請驗證或取得 Fabric 授權。
- 選擇 Fabric 容量。
- 建立或重用與你的 Azure Data Factory 相關的 Fabric 工作區。
- 將 Azure Data Factory 顯示為工作區中的項目。
- 可選擇性地與現有的 Azure Data Factory 使用者及群組共享工作空間存取權。
設定完成後,你的 Azure Data Factory 會在 Fabric 中顯示。 不會升級任何項目,管線執行和計費仍在 Azure Data Factory 中進行。
如需完整導入詳細資訊,請參閱「將 Azure Data Factory 管線升級至 Fabric Data Factory」。
步驟二:檢視準備狀況
在 Fabric 的 Azure Data Factory 項目中,選擇「評估與升級」。
檢閱準備度評估。
找出包含你想升級的 Mapping Data Flow 的管線。
在升級前,檢視任何歸類為 Review 的管線,並處理未支援或部分支援的功能。
選擇你想升級的合格管道。
評估為唯讀,不會修改或升級所選管線。
步驟三:檢視連結
- 選擇 檢視連結。
- 檢視所選管線與映射資料流所使用的 Azure Data Factory 連結服務。
- 驗證自動建立的連線。
- 對於未自動建立的連線,請選擇現有的 Fabric 連線或建立新的連線。
- 確認每個所需的來源與目的地都映射到有效的 Fabric 連線。
Note
即使某些連接未被映射,管線仍可升級。 依賴未映射連線的活動會被停用。 在執行升級管線前,先設定必要的 Fabric 連線並重新啟用這些活動。
步驟四:開始升級
- 檢視所選的管道與連線對應。
- 選擇開始升級(預覽)。
- 等待升級完成。
- 檢視每件升級物品的狀態。
升級過程中:
- 所選 Azure Data Factory 管線已升級至 Fabric 管線。
- 所選管線所參考的受支援對應資料流程,會在 Dataflow Gen2 中轉換為 MDF 轉換。
- 管線及其映射資料流會一起升級。
- 升級後的項目會被放在以來源 Azure Data Factory 名稱為前綴的資料夾中。
- 來源 Azure Data Factory 的管線與 Mapping Data Flows 保持不變。
驗證升級版的映射資料流轉換
升級完成後,打開升級結果或包含升級項目的資料夾,並在執行管線前驗證 MDF 轉換。
打開升級版的 Dataflow Gen2 項目物件
儲存升級版的映射資料流程轉換
打開 「儲存並執行 」選單。
選取 [儲存]。
Note
在公開預覽期間,MDF 轉換目前僅支援 儲存 動作。
執行已升級的管線
驗證後,執行升級後的 Fabric 管線。
設定管線運行
開啟升級版的 Fabric 管線。
選擇 資料流程活動。
檢視所選的 MDF 轉換查詢。
如果需要,請設定 Spark 執行時的設定。
啟動已升級的管道
驗證管線。
確認所有必要的連線都已映射並通過驗證。
重新啟用因未映射連線而停用的活動。
手動執行管線。
將其結果與原始 Azure Data Factory 管線做比較。
驗證後,執行或設定,並視需要重新啟用排程與觸發器。
驗證升級結果
在生產切換前,請在非生產環境中驗證升級後的工作負載:
- 確認你已經映射並已完成驗證身分所有必要的 Fabric 連線。
- 將來源與接收端的資料列計數與原始 Azure Data Factory 執行進行比較。
- 驗證結構描述、資料型別、空值處理及結構描述漂移行為。
- 驗證 Mapping Data Flow 表達式及轉換結果。
- 驗證插入、更新、更新或插入和刪除行為。
- 驗證參數與動態內容。
- 確認在重新執行管線時具有冪等行為。
- 檢視錯誤處理與監控。
- 比較執行時行為與效能,但不必假設執行時間相同。
- 完成端對端驗證後,請重新啟用並設定觸發器。
原始的 Azure Data Factory 管線與映射資料流仍可並排驗證。
監視升級後的對應資料流程轉換執行情況
您可以透過以下方式監控升級的管線與 MDF 轉換執行:
- 管線輸出窗格
- 監控中心
- 活動執行
- 資料流程活動執行細節
回顧執行細節:
Limitations
Azure Data Factory 升級的一般限制同樣適用於包含 Mapping Data Flows 的管線。 在選擇升級管線前,請先檢視 已知限制 。
目前公開預覽期間,MDF 轉換所面臨以下限制:
| 適用範圍 | 限度 |
|---|---|
| Flowlets | 不支援。 |
| Data Flow 函式庫 | 不支援。 |
| 使用者定義函數(UDF) | 不支援。 |
| 資料流執行 | MDF 轉換只能透過管線資料流活動執行。 不支援 Direct Dataflow Gen2 刷新。 |
| 受控虛擬網路 | 不支援受控虛擬網路。 |
| Spark 執行階段執行 | MDF 轉換目前使用的 Spark 執行階段基礎結構,類似於 Azure Data Factory 和 Azure Synapse Analytics Mapping Data Flows。 |
| 功能一致性 | 目前預覽版並非所有 Azure Data Factory Mapping Data Flow 功能皆可用。 |