本指南涵蓋升級策略、決策標準及逐步將 Azure Data Factory(ADF)管線遷移至 Fabric Data Factory 的方法。 關於每個升級元件的實作層級最佳實務,請參見 升級最佳實務。
為何要升級?
從 ADF 和 Synapse 管線升級到 Fabric Data Factory 不僅僅是一次搬運:這是簡化治理、標準化模式,並利用新功能改善資料整合策略的機會。
Fabric 提供許多新功能,包括:
- 整合管道活動如 電子郵件 與 Teams 用於訊息路由
- 內建 CI/CD(部署管線),無需依賴外部 Git 來源
- 與 OneLake、 Warehouse 及 Lakehouse 無縫整合工作空間,實現統一分析
- 精簡的 語意資料模型更新, 能同時擴展以滿足自助服務與企業資料需求
- 內建 Copilot 的 AI 功能,協助你建立和管理管線
詳細比較請參閱 Azure Data Factory 與 Fabric Data Factory 比較指南。
關鍵的架構差異
在您從 Azure Data Factory 升級到 Fabric Data Factory 之前,請考慮以下幾個對升級規劃影響最大的架構差異:
| Category | Azure Data Factory | Fabric 數據處理站 | 升級影響 |
|---|---|---|---|
| 自訂程式碼 | 自訂活動 | Azure Batch 活動 | 活動名稱不同,但支援相同的功能。 |
| Dataflows | 使用以 Spark 為基礎的執行方式進行資料流程對應 | Dataflow Gen2 支援基於 Spark 執行的 Mapping Data Flow(MDF)轉換。 MDF 轉換目前處於預覽階段。 | 符合資格的 Azure Data Factory 和 Azure Synapse Analytics Mapping Data Flows,可使用 內建移轉功能 移轉至 Dataflow Gen2 中的 MDF 轉換。 在遷移前,請檢視支援的連接器、轉換方式、認證方法及預覽限制。 對於不支援的情境,請透過 Dataflow Gen2 中的 Power Query、Fabric Warehouse SQL、筆記本或其他 Fabric 功能重新設計轉換。 |
| 資料集 | 分離且可重複使用的資料集物件 | 屬性在活動中內聯定義 | 當你從 ADF 轉換到 Fabric 時,「資料集」資訊會包含在每個活動中。 |
| 動態連接 | 連結服務屬性可透過參數動態呈現 | 連線屬性不支援動態屬性,但管線活動可以為連線物件使用動態內容 | 對於依賴參數化連接的元資料驅動架構解決方案,請在 Fabric 中參數化連接物件。 |
| 全域參數 | 全域參數 | Fabric 變數函式庫 | 不同的實作模式和資料類型,不過我們有 升級指南。 |
| HDInsight 活動 | 五種獨立活動(蜂巢、豬、MapReduce、Spark、串流) | 單一 HDInsight 活動 | 轉換時只需要一種活動類型,但所有功能都支援。 |
| Identity | 受控識別 | Fabric 工作區識別碼 | 不同的身份模式,需要一些規劃來轉變。 |
| 金鑰保管庫 | 成熟整合所有身份驗證類型 | 透過 Fabric 金鑰保存庫 Reference 限制性集成 | 比較 目前支援的金鑰庫來源與認證 與你現有的設定。 |
| 管線執行 | 執行管線活動 | 使用 FabricDataPipeline 連線類型呼叫管線活動 | 轉換時活動名稱和連線需求會改變。 |
| Scheduling | 多個管線用一個觸發器,或是每個管線有多個觸發器,並由集中管理 | 每條管線一個排程,或是多個排程,且沒有排程重用或中央樞紐 | Fabric 目前需要每條管線進行排程管理。 |
升級路徑
升級路徑取決於你的 ADF 資產及其功能一致性。 這些選項包括:
- 在 Fabric 中的 Azure Data Factory 項目以保持連續性。 - 在 Fabric 中即時檢視您現有的 Azure Data Factory 實例,方便逐步升級與測試。 這段經驗也是使用轉換工具或重平台化前的良好第一步。
- 利用 Azure Data Factory 管線內建升級體驗——直接在 Azure Data Factory 評估管線準備度,檢視相容性結果,並透過引導式 UX 將支援的管線升級至 Fabric 工作區。
- 複雜環境的手動升級——在 Fabric 中重建管線,以利用新功能並優化效能。 對於對等性較低或具有自訂邏輯的管線而言,這種做法是必要的,但同時也是讓您的架構現代化的機會。
Fabric 工作區中的 Azure Data Factory 項目
在你的 Fabric 工作空間中新增現有的 ADF,這樣在逐步升級時能立即獲得可視性和治理。 這種方法非常適合用於盤點、指派擁有權及平行測試,因為團隊可以看見各條管線、在 Fabric 工作區下加以組織,並按網域規劃切換作業。 使用 Azure Data Factory 項目來編目現有的資源,優先排序價值最高或風險最低的管線,並建立規範(命名、資料夾、連線重用),讓轉換腳本和合作夥伴工具能一致遵守。
可透過 Azure Data Factory 項目類型:Bring your Azure Data Factory to Fabric,在 Fabric 中掛載。
利用內建體驗升級 Azure Data Factory 管線
Fabric 提供內建的、先評估的升級體驗,您可以直接透過 Azure Data Factory 和 Fabric 使用者體驗來評估和升級 Azure Data Factory 的管線,無需腳本或自訂工具。 這段經驗對你有幫助:
- 直接在 Azure Data Factory 評估管線與活動準備度。
- 升級前要了解相容性差距。
- 將您的 Azure Data Factory 掛載到 Fabric 工作區,以便並排檢視。
- 從已掛接的 Data Factory,將支援的管線逐步升級至 Fabric。
- 將所選管線中支援的對應資料流程升級為 Dataflow Gen2 中的 MDF 轉換。
- 規劃針對需要更新、使用未支援功能或即將推出的項目進行修復或重新設計。
每個管線與活動都有明確分類(準備就緒、需求審查、即將推出或不相容),幫助團隊有意識地規劃升級並在切換生產工作負載前驗證結果。 這種做法非常適合希望有引導、低風險且漸進式升級路徑的客戶,同時保持對未支援功能及後續步驟的可視性。 如需逐步指引,請參閱「將你的 Azure Data Factory 管線升級至 Fabric」。
內建升級體驗也支援包含對應資料流程的合格管線。 支援的映射資料流在 Dataflow Gen2 中升級為 MDF 轉換,保留其轉換邏輯及基於 Spark 的執行模型。 這項功能目前為預覽狀態。 關於需求、限制及升級指引,請參閱將 Azure Data Factory Mapping Data Flow pipelines 升級至 Fabric。
手動升級
對於擁有低奇偶性且複雜的管線,手動升級是必要的,但這同時也是現代化架構並採用 Fabric 整合功能的好機會。 這條路徑需要更事前的規劃與開發,但能帶來長期的維護性、效能與成本效益。
要有效升級,請遵循以下步驟:
- 評估與盤點:編目所有 ADF 資產,包括管線、資料集、連結服務及整合執行時。 辨識相依關係與使用模式。
- 識別重複與未使用的項目:清理 ADF 中的未使用或冗餘項目,以簡化升級流程及資料整合環境。
- 識別缺口:使用管線評估工具,檢視連接器對等性與活動對等性,找出 ADF 管線與 Fabric 管線之間的缺口,並規劃替代方案。
- 檢視新功能:請參考我們的 資料移動決策指南 與 資料整合決策指南 ,決定哪些 Fabric 工具最適合您的需求。
- 計畫:檢閱升級最佳做法,了解您的每個項目的考量事項,以及充分運用 Fabric 增強功能的指引。
- 如果你在 ADF 中使用全域參數,建議升級到 Fabric 變數庫。 詳細步驟請參見「 將 ADF 全域參數轉換為 Fabric 變數庫 」。
- ADF 轉換:考慮在 Microsoft Fabric 中新增 Azure Data Factory 項目作為升級的第一步,允許在單一平台中逐步過渡。
- 優先排序:根據業務影響、複雜度及升級便利性來排名你的管線。
- 能自動化的地方:利用內建的升級體驗,逐步評估、升級與驗證管線,然後再移動生產工作負載。 欲了解更多資訊,請參閱 升級工具。
-
考慮工具:使用這些工具讓休閒活動更輕鬆:
- 使用 Fabric 範本 作為具有常見資料整合情境的管線起點。
- 利用 參數化 來建立可重複使用的管線
- 在 Fabric Data Factory 中使用 Copilot 來協助建立管線
- 使用 部署管線 來管理 CI/CD 和版本控制
-
手動升級:對於其他升級方法不支援的情境,請在 Fabric 中重建:
- 重建連線:在 Fabric 中設定 連線 以取代 ADF 中的連結服務
- 活動重建:在你的管線中設定活動,將不支援的活動替換為Fabric的替代方案或使用Invoke管線活動。
- 排程並設定觸發器:在 Fabric 中重建排程與事件觸發 器,使其符合你的 ADF 排程
- 徹底測試:驗證升級管線是否符合預期輸出、效能基準及合規要求。
升級情境範例
從 ADF 轉換到 Fabric 會根據你的使用情境採取不同策略。 本節將說明常見的升級路徑與考量,幫助您有效規劃。
情境 1:ADF 管線和資料流程
透過升級管線和資料流到 Fabric,現代化你的 ETL 環境。 規劃這些元素:
- 在內建升級體驗中,將連結服務重新建立為 Fabric 連線,或將連結服務映射到現有的 Fabric 連線。
- 將全域參數重新建立為變數函式庫。
- 在管線活動中內嵌定義資料集屬性。
- 將 SHIR(自我裝載整合執行階段)取代為 OPDG(內部部署資料閘道),並將 VNet IR 取代為虛擬網路資料閘道。
- 對於包含 Mapping Data Flows 的合格管線,請使用內建升級體驗,將支援的 Mapping Data Flows 升級為 Dataflow Gen2 中的 MDF 轉換。
- 升級前請檢視 MDF 轉換的限制、支援連接器、轉換方式、認證方法及網路需求。
- 對於使用目前預覽版未支援功能的資料流對應,請透過修正未支援的元件,或使用 Dataflow Gen2 中的 Power Query、Fabric Warehouse SQL、Spark 筆記本或其他適當的 Fabric 功能重新設計轉換。
- 使用 Fabric 替代方案或 Invoke 管線活動重建 未支援的 ADF 活動 。 不支援的活動包括:
- Data Lake Analytics (U-SQL),已棄用的 Azure 服務。
- 驗證活動,你可以透過取得元資料、管線迴圈和 If 活動來重建。
- Power Query 已完全整合到 Fabric 中,作為可重複使用 M 程式碼的資料流程。
- 筆記本、Jar 和 Python 活動,你可以用 Fabric 裡的 Databricks 活動來取代。
- Hive、Pig、MapReduce、Spark 和 Streaming 活動,這些活動都可以用 Fabric 裡的 HDInsight 活動來取代。
欲了解需求及逐步說明,請參閱將 Azure Data Factory Mapping Data Flow pipelines 升級至 Fabric。
舉例來說,這是 ADF 資料集設定頁面,附有檔案路徑和壓縮設定:
以下是在 Fabric 中 Data Factory 的複製活動,其中壓縮和檔案路徑是內嵌於活動內容中的:
情境 2:具有 CDC、SSIS 和 Airflow 的 ADF
將 CDC 重新建立為 複製工作 項目。 對於 Airflow,請將您的 DAG 複製到 Fabric 的 Apache Airflow 服務。 使用 ADF 管線執行 SSIS 套件,並從 Fabric 呼叫它們。
情境三:利用內建體驗升級管線
這種以評估為先的引導式體驗,幫助你評估準備度、識別相容性缺口,並逐步將支援的管線升級到 Fabric 工作空間——全程無需腳本。
內建升級體驗也支援包含映射資料流的合格管線。 支援的映射資料流在 Dataflow Gen2 中升級為 MDF 轉換,保留其轉換邏輯及基於 Spark 的執行模型。 這項功能目前為預覽狀態。
欲了解更多資訊,請參閱:
情境四:Fabric 工作區中的 ADF 項目
你可以在 Fabric 工作區中新增整個 ADF 工廠作為原生項目。 這可讓您在相同介面中管理 ADF 工廠以及 Fabric 成品。 ADF 介面依然完全可存取,讓你能直接從 Fabric 工作區監控、管理及編輯你的 ADF 工廠項目。 不過,管線、活動和整合執行階段的執行仍會發生在您的 Azure 資源內。
此功能對於正在轉換至 Fabric 的組織非常有用,因為它提供統一的 ADF 與 Fabric 資源視圖,簡化升級的管理與規劃。
更多資訊請參閱 「將您的 Azure Data Factory 帶入 Fabric」。