การวางแผนอัปเกรดจาก Azure Data Factory เป็น Fabric Data Factory

คู่มือนี้ครอบคลุมกลยุทธ์การอัปเกรด เกณฑ์การตัดสินใจ และแนวทางทีละขั้นตอนสําหรับการย้ายท่อส่งข้อมูล Azure Data Factory (ADF) ไปยัง Fabric Data Factory สําหรับแนวปฏิบัติที่ดีที่สุดในระดับการติดตั้งสําหรับแต่ละส่วนประกอบการอัปเกรด โปรดดูที่ แนวปฏิบัติที่ดีที่สุดสําหรับการอัปเกรด

ทําไมต้องอัปเกรด?

การอัปเกรดจาก ADF และ Synapse pipelines เป็น Fabric Data Factory ไม่ใช่แค่การยกระดับและเปลี่ยนทิศทาง แต่เป็นโอกาสในการทําให้การกํากับดูแลง่ายขึ้น มาตรฐานรูปแบบ และใช้ความสามารถใหม่ ๆ เพื่อปรับปรุงกลยุทธ์การบูรณาการข้อมูลของคุณ

Fabric นําเสนอคุณสมบัติใหม่มากมาย ได้แก่ :

  • กิจกรรมไปป์ไลน์แบบบูรณาการ เช่น อีเมล และ Teams สําหรับการกําหนดเส้นทางข้อความ
  • CI/CD ในตัว (ไปป์ไลน์การปรับใช้) โดยไม่ต้องพึ่งพา Git ภายนอก
  • การผสานรวมพื้นที่ทํางานที่ราบรื่นกับ OneLake, Warehouse และ Lakehouse สําหรับการวิเคราะห์แบบครบวงจร
  • โมเดลข้อมูลความหมายที่คล่องตัว จะรีเฟรชที่ ปรับขนาดเพื่อตอบสนองความต้องการทั้งแบบบริการตนเองและข้อมูลขององค์กร
  • ความสามารถ AI ในตัวพร้อม Copilot เพื่อช่วยคุณสร้างและจัดการไปป์ไลน์

สําหรับการเปรียบเทียบโดยละเอียด โปรดดู คู่มือการเปรียบเทียบ Azure Data Factory และ Fabric Data Factory

ความแตกต่างทางสถาปัตยกรรมที่สําคัญ

ก่อนที่คุณจะอัปเกรดจาก Azure Data Factory เป็น Fabric Data Factory โปรดพิจารณาความแตกต่างทางสถาปัตยกรรมที่สําคัญเหล่านี้ซึ่งมักส่งผลกระทบมากที่สุดต่อการวางแผนอัปเกรด:

ประเภท โรงงานข้อมูล Azure Fabric โรงงานข้อมูล ผลกระทบจากการอัปเกรด
รหัสที่กําหนดเอง กิจกรรมที่กําหนดเอง กิจกรรม Azure Batch ชื่อกิจกรรมแตกต่างกัน แต่สนับสนุนฟังก์ชันการทํางานเดียวกัน
กระแสข้อมูล การทําแผนที่การไหลของข้อมูลด้วยการทํางานแบบ Spark Dataflow Gen2 รองรับการแปลง Mapping Data Flow (MDF) ด้วยการประมวลผลแบบ Spark การแปลง MDF กําลังอยู่ในขั้นตอนทดลองใช้งาน Eligible Azure Data Factory และ Azure Synapse Analytics Mapping Data Flows สามารถย้ายไปยัง MDF transforms ใน Dataflow Gen2 ได้โดยใช้ประสบการณ์การย้ายข้อมูลที่มีอยู่ในตัว ตรวจสอบตัวเชื่อมต่อที่รองรับ การแปลง วิธีการยืนยันตัวตน และข้อจํากัดของการแสดงตัวอย่างก่อนการย้ายข้อมูล สําหรับสถานการณ์ที่ไม่รองรับ ให้ออกแบบการเปลี่ยนแปลงใหม่โดยใช้ Power Query ใน Dataflow Gen2, Fabric Warehouse SQL, โน้ตบุ๊ก หรือความสามารถ Fabric อื่น ๆ
ชุดข้อมูล แยกออบเจ็กต์ชุดข้อมูลที่นํากลับมาใช้ใหม่ได้ คุณสมบัติถูกกําหนดแบบอินไลน์ภายในกิจกรรม เมื่อคุณแปลงจาก ADF เป็น Fabric ข้อมูล 'ชุดข้อมูล' จะอยู่ในแต่ละกิจกรรม
การเชื่อมต่อแบบไดนามิก คุณสมบัติบริการที่เชื่อมโยงสามารถเป็นแบบไดนามิกได้โดยใช้พารามิเตอร์ คุณสมบัติการเชื่อมต่อไม่สนับสนุนคุณสมบัติแบบไดนามิก แต่กิจกรรมไปป์ไลน์สามารถใช้เนื้อหาแบบไดนามิกสําหรับออบเจ็กต์การเชื่อมต่อ สําหรับโซลูชันที่ใช้สถาปัตยกรรมที่ขับเคลื่อนด้วยข้อมูลเมตาที่อาศัยการเชื่อมต่อที่มีพารามิเตอร์ ให้กําหนดพารามิเตอร์ออบเจ็กต์การเชื่อมต่อใน Fabric
พารามิเตอร์ส่วนกลาง พารามิเตอร์ส่วนกลาง Fabric ไลบรารีตัวแปร รูปแบบการใช้งานและประเภทข้อมูลต่างกัน แม้ว่าเราจะมีคู่มือการอัปเกรด
กิจกรรม HDInsight ห้ากิจกรรมแยกกัน (Hive, Pig, MapReduce, Spark, Streaming) กิจกรรม HDInsight เดียว คุณต้องการกิจกรรมเพียงชนิดเดียวเมื่อแปลง แต่รองรับฟังก์ชันทั้งหมด
ข้อมูลประจําตัว ข้อมูลเฉพาะตัวที่มีการจัดการ Fabric ข้อมูลประจําตัวของพื้นที่ทํางาน โมเดลอัตลักษณ์ที่แตกต่างกัน โดยต้องมีการวางแผนบางอย่างเพื่อเปลี่ยนไป
<ค 0>Key Vault การผสานรวมกับการตรวจสอบสิทธิ์ทุกประเภท การผสานรวมที่จํากัดผ่าน Fabric Key Vault อ้างอิง เปรียบเทียบ แหล่งที่มาของ Key Vault และการรับรองความถูกต้อง ที่รองรับในปัจจุบันกับการกําหนดค่าที่มีอยู่ของคุณ
การดําเนินการไปป์ไลน์ ดําเนินการกิจกรรมไปป์ไลน์ เรียกใช้กิจกรรมไปป์ไลน์ ด้วยชนิดการเชื่อมต่อ FabricDataPipeline ชื่อกิจกรรมและข้อกําหนดการเชื่อมต่อจะเปลี่ยนไปเมื่อทําการแปลง
การจัดตารางเวลา ทริกเกอร์เดียวสําหรับไปป์ไลน์จํานวนมากหรือทริกเกอร์หลายรายการต่อไปป์ไลน์ด้วยการจัดการแบบรวมศูนย์ หนึ่งกําหนดการต่อไปป์ไลน์หรือหลายกําหนดการต่อไปป์ไลน์โดยไม่มีการนํากลับมาใช้ใหม่ตามกําหนดการหรือฮับส่วนกลาง ปัจจุบัน Fabric ต้องการการจัดการกําหนดการต่อไปป์ไลน์

เส้นทางการอัปเกรด

เส้นทางการอัปเกรดขึ้นอยู่กับทรัพย์สิน ADF ของคุณและคุณสมบัติที่เทียบเท่ากัน ตัวเลือกได้แก่:

รายการ Azure Data Factory ในพื้นที่ทํางาน Fabric ของคุณ

เพิ่ม ADF ที่มีอยู่แล้วลงในพื้นที่ทํางาน Fabric ของคุณเพื่อให้เห็นภาพและกํากับดูแลทันทีในขณะที่คุณอัปเกรดแบบค่อยเป็นค่อยไป แนวทางนี้เหมาะสําหรับการค้นหา การกําหนดเจ้าของ และการทดสอบแบบเคียงข้างกัน เพราะทีมสามารถเห็น pipeline จัดระเบียบภายใต้ Fabric workspaces และวางแผน cutover ตามโดเมนได้ ใช้รายการ Azure Data Factory เพื่อจัดทําแค็ตตาล็อกสิ่งที่มีอยู่ จัดลําดับความสําคัญของไปป์ไลน์ที่มีมูลค่าสูงสุด/ความเสี่ยงต่ําที่สุดก่อน และสร้างแบบแผน (การตั้งชื่อ โฟลเดอร์ การนําการเชื่อมต่อกลับมาใช้ใหม่) ที่สคริปต์การแปลงและเครื่องมือคู่ค้าของคุณสามารถปฏิบัติตามได้อย่างสม่ําเสมอ

คุณสามารถติดตั้งใน Fabric ผ่านประเภทรายการ Azure Data Factory: นํา Azure Data Factory ของคุณไปยัง Fabric

อัปเกรด pipeline ของ Azure Data Factory โดยใช้ประสบการณ์ที่ติดตั้งมา

Fabric มอบประสบการณ์การอัปเกรดแบบประเมินผลเป็นอันดับแรกในตัว ซึ่งคุณสามารถใช้ประเมินและอัปเกรด pipeline ของ Azure Data Factory โดยตรงผ่านประสบการณ์ผู้ใช้ Azure Data Factory และ Fabric โดยไม่ต้องใช้สคริปต์หรือเครื่องมือเฉพาะ ประสบการณ์นี้ช่วยให้คุณ:

  • ประเมินความพร้อมของไปป์ไลน์และกิจกรรมโดยตรงใน Azure Data Factory
  • เข้าใจช่องว่างด้านความเข้ากันได้ก่อนอัปเกรด
  • ติดตั้ง Azure Data Factory ของคุณลงในพื้นที่ทํางาน Fabric เพื่อตรวจสอบแบบเคียงข้างกัน
  • อัปเกรด pipeline ที่รองรับทีละน้อยไปยัง Fabric จากโรงงานข้อมูลที่ติดตั้งของคุณ
  • การอัปเกรด Mapping Data Flows ในสายงานที่เลือกเป็น MDF transform ใน Dataflow Gen2
  • วางแผนการแก้ไขหรือออกแบบใหม่สําหรับรายการที่ต้องการการอัปเดต ใช้ความสามารถที่ไม่รองรับ หรือกําลังจะมาถึงเร็ว ๆ นี้

แต่ละ pipeline และกิจกรรมจะถูกจัดหมวดหมู่อย่างชัดเจน (พร้อม, ต้องการทบทวน, กําลังจะมาเร็ว ๆ นี้ หรือไม่เข้ากัน) ช่วยให้ทีมวางแผนการอัปเกรดอย่างตั้งใจและตรวจสอบผลลัพธ์ก่อนเปลี่ยนงานในการผลิต แนวทางนี้เหมาะสําหรับลูกค้าที่ต้องการเส้นทางการอัปเกรดที่มีแนวทาง ความเสี่ยงต่ํา และค่อยเป็นค่อยไป พร้อมทั้งยังคงมองเห็นฟีเจอร์และขั้นตอนถัดไปที่ยังไม่รองรับ สําหรับคําแนะนําทีละขั้นตอน โปรดดู อัปเกรดไปป์ไลน์ Azure Data Factory ของคุณเป็น Fabric

ประสบการณ์การอัปเกรดในตัวยังรองรับ pipeline ที่มีคุณสมบัติเหมาะสมซึ่งมี Mapping Data Flows การไหลของข้อมูลแผนที่ที่รองรับได้รับการอัปเกรดเป็นการแปลง MDF ใน Dataflow Gen2 โดยรักษาตรรกะการแปลงและโมเดลการทํางานที่ใช้ Spark ไว้ ความสามารถนี้กําลังอยู่ในขั้นตอนทดลองใช้งาน สําหรับข้อกําหนด ข้อจํากัด และคําแนะนําการอัปเกรด ดูที่ Upgrade Azure Data Factory Mapping Data Flow pipelines to Fabric

การอัปเกรดด้วยตนเอง

การอัปเกรดด้วยตนเองเป็นสิ่งจําเป็นสําหรับท่อส่งที่ซับซ้อนและมีพาริตี้ต่ํา แต่ก็เป็นโอกาสในการปรับปรุงสถาปัตยกรรมของคุณและนําฟีเจอร์ที่ผสานรวมของ Fabric มาใช้ เส้นทางนี้ต้องมีการวางแผนและพัฒนาล่วงหน้ามากขึ้น แต่สามารถให้ประโยชน์ในระยะยาวในด้านการบํารุงรักษา ประสิทธิภาพ และต้นทุน

เพื่ออัปเกรดอย่างมีประสิทธิภาพ ให้ทําตามขั้นตอนเหล่านี้:

  1. ประเมินและสินค้าคงคลัง: จัดทําแค็ตตาล็อกสินทรัพย์ ADF ทั้งหมด รวมถึงไปป์ไลน์ ชุดข้อมูล บริการที่เชื่อมโยง และรันไทม์การรวม ระบุการขึ้นต่อกันและรูปแบบการใช้งาน
  2. ระบุรายการที่ซ้ํากันและรายการที่ไม่ได้ใช้งาน: ทําความสะอาดรายการที่ไม่ได้ใช้งานหรือซ้ําซ้อนใน ADF เพื่อทําให้การอัปเกรดและสภาพแวดล้อมการรวมข้อมูลของคุณเป็นไปอย่างราบรื่น
  3. ระบุช่องว่าง: ใช้เครื่องมือประเมิน pipeline และตรวจสอบความเท่าเทียมของตัวเชื่อมต่อและ activity parity เพื่อระบุช่องว่างระหว่าง ADF pipeline กับ Fabric pipeline ของคุณ และวางแผนทางเลือกอื่น
  4. ตรวจสอบฟีเจอร์ใหม่: ใช้ คู่มือการตัดสินใจเกี่ยวกับการย้ายข้อมูล และ คู่มือการตัดสินใจเกี่ยวกับการรวมข้อมูล เพื่อตัดสินใจว่าเครื่องมือ Fabric ใดที่เหมาะกับความต้องการของคุณมากที่สุด
  5. แผน: ทบทวนแนวทางปฏิบัติที่ดีที่สุดในการอัปเกรดสําหรับแต่ละรายการของคุณ และแนวทางในการใช้ประโยชน์จากความสามารถที่พัฒนาขึ้นของ Fabric ให้เต็มที่
  6. หากคุณใช้พารามิเตอร์ระดับโลกใน ADF วางแผนที่จะอัปเกรดเป็นไลบรารีตัวแปร Fabric ดู แปลงพารามิเตอร์ส่วนกลาง ADF เป็นไลบรารีตัวแปร Fabric สําหรับขั้นตอนโดยละเอียด
  7. การเปลี่ยนผ่าน ADF: พิจารณาเพิ่มรายการ Azure Data Factory ใน Microsoft Fabric เป็นขั้นตอนแรกในการอัปเกรด เพื่อให้สามารถเปลี่ยนผ่านอย่างค่อยเป็นค่อยไปในแพลตฟอร์มเดียว
  8. จัดลําดับความสําคัญ: จัดอันดับสายงานของคุณตามผลกระทบทางธุรกิจ ความซับซ้อน และความง่ายในการอัปเกรด
  9. ทําให้อัตโนมัติเมื่อทําได้: ใช้ประสบการณ์การอัปเกรดที่มีอยู่ในระบบเพื่อประเมิน อัปเกรด และตรวจสอบความถูกต้องของสายงานทีละขั้นตอนก่อนย้ายงานในการผลิต สําหรับข้อมูลเพิ่มเติม ให้ดูที่ เครื่องมือปรับรุ่น
  10. พิจารณาการใช้เครื่องมือ: ใช้เครื่องมือเหล่านี้เพื่อทําให้การพักผ่อนหย่อนใจง่ายขึ้น:
  11. การอัปเกรดด้วยตนเอง: สําหรับสถานการณ์ที่ไม่รองรับโดยวิธีอัปเกรดอื่น ให้สร้างใหม่ใน Fabric:
    1. สร้างการเชื่อมต่อใหม่: ตั้งค่า Connections ใน Fabric เพื่อแทนที่บริการที่เชื่อมโยงใน ADF
    2. สร้างกิจกรรมใหม่: ตั้งค่า activities ในไปป์ไลน์ของคุณ โดยแทนที่ กิจกรรมที่ไม่รองรับ ด้วยทางเลือก Fabric หรือใช้กิจกรรมไปป์ไลน์เรียกใช้
    3. กําหนดเวลาและตั้งค่าทริกเกอร์: สร้างกําหนดการและทริกเกอร์เหตุการณ์ใหม่ใน Fabric เพื่อให้ตรงกับกําหนดการ ADF ของคุณ
  12. ทดสอบอย่างละเอียด: ตรวจสอบสายงานที่อัปเกรดแล้วให้สอดคล้องกับผลลัพธ์ที่คาดหวัง มาตรฐานประสิทธิภาพ และข้อกําหนดด้านการปฏิบัติตามข้อกําหนด

ตัวอย่างสถานการณ์การอัปเกรด

การเปลี่ยนจาก ADF เป็น Fabric อาจเกี่ยวข้องกับกลยุทธ์ที่แตกต่างกันไปตามกรณีการใช้งานของคุณ ส่วนนี้สรุปเส้นทางการอัปเกรดทั่วไปและข้อควรพิจารณาเพื่อช่วยให้คุณวางแผนได้อย่างมีประสิทธิภาพ

สถานการณ์สมมติที่ 1: ไปป์ไลน์ ADF และโฟลว์ข้อมูล

ปรับปรุงสภาพแวดล้อม ETL ของคุณให้ทันสมัยด้วยการอัปเกรด pipeline และการไหลของข้อมูลเป็น Fabric วางแผนสําหรับองค์ประกอบเหล่านี้:

  • สร้างบริการที่เชื่อมโยงกันใหม่เป็นการเชื่อมต่อ Fabric หรือแมปบริการที่เชื่อมโยงกับการเชื่อมต่อ Fabric ที่มีอยู่ในระหว่างประสบการณ์การอัปเกรดในตัว
  • สร้างพารามิเตอร์ทั่วโลกใหม่เป็นไลบรารีตัวแปร
  • กําหนดคุณสมบัติของชุดข้อมูลแบบอินไลน์ในกิจกรรมไปป์ไลน์
  • แทนที่ SHIRs (รันไทม์การรวมระบบแบบโฮสต์เอง) ด้วย OPDGs (เกตเวย์ข้อมูลภายในองค์กร) และ VNet IRs ด้วยเกตเวย์ข้อมูลเครือข่ายเสมือน
  • สําหรับท่อส่งที่มีคุณสมบัติรองรับซึ่งมี Mapping Data Flows ให้ใช้ประสบการณ์การอัปเกรดที่ติดตั้งมาเพื่ออัปเกรด Mapping Data Flows ที่รองรับเป็น MDF transforms ใน Dataflow Gen2
  • ตรวจสอบข้อจํากัดของการ แปลง MDF, ตัวเชื่อมต่อที่รองรับ, การแปลง, วิธีการยืนยันตัวตน และข้อกําหนดเครือข่ายก่อนอัปเกรด
  • สําหรับการแมปโฟลว์ข้อมูลที่ใช้ความสามารถที่ไม่รองรับในตัวอย่างปัจจุบัน ให้แก้ไขส่วนประกอบที่ไม่รองรับหรือออกแบบการแปลงใหม่โดยใช้ Power Query ใน Dataflow Gen2, Fabric Warehouse SQL, สมุดโน้ต Spark หรือความสามารถ Fabric ที่เหมาะสมอื่น ๆ
  • สร้าง กิจกรรม ADF ที่ไม่รองรับ ใหม่โดยใช้ทางเลือก Fabric หรือกิจกรรมไปป์ไลน์เรียกใช้ กิจกรรมที่ไม่รองรับ ได้แก่
    • Data Lake Analytics (U-SQL) ซึ่งเป็นบริการ Azure ที่เลิกใช้แล้ว
    • กิจกรรมการตรวจสอบความถูกต้อง ซึ่งคุณสามารถสร้างใหม่ได้โดยใช้ Get Metadata, pipeline loops และกิจกรรม If
    • Power Query ซึ่งรวมเข้ากับ Fabric อย่างสมบูรณ์เป็นกระแสข้อมูลที่สามารถใช้โค้ด M ซ้ําได้
    • กิจกรรม Notebook, Jar และ Python ซึ่งคุณสามารถแทนที่ด้วยกิจกรรม Databricks ใน Fabric ได้
    • กิจกรรม Hive, Pig, MapReduce, Spark และ Streaming ซึ่งคุณสามารถแทนที่ด้วยกิจกรรม HDInsight ใน Fabric ได้

สําหรับข้อกําหนดและคําแนะนําทีละขั้นตอน ดูที่ การอัปเกรด Azure Data Factory Mapping Data Flow pipelines เป็น Fabric

ตัวอย่างเช่น นี่คือหน้าการกําหนดค่าชุดข้อมูล ADF พร้อมเส้นทางไฟล์และการตั้งค่าการบีบอัด:

สกรีนช็อตของหน้าการกําหนดค่าชุดข้อมูล ADF

และนี่คือกิจกรรม Copy activity สําหรับ Data Factory ใน Fabric ซึ่งการบีบอัดและเส้นทางไฟล์เป็นแบบอินไลน์ในกิจกรรม:

ภาพหน้าจอของการกําหนดค่าการบีบอัด Fabric Copy activity

สถานการณ์ที่ 2: ADF ที่มี CDC, SSIS และ Airflow

สร้าง CDC ใหม่เป็น คัดลอกรายการงาน สําหรับ Airflow ให้คัดลอก DAG ของคุณลงในข้อเสนอ Apache Airflow ของ Fabric เรียกใช้แพ็คเกจ SSIS โดยใช้ไปป์ไลน์ ADF และเรียกใช้จาก Fabric

สถานการณ์ที่ 3: อัปเกรดท่อส่งโดยใช้ประสบการณ์ในตัว

ประสบการณ์แบบแนะนําที่เน้นการประเมินผลเป็นอันดับแรกนี้ช่วยให้คุณประเมินความพร้อม ระบุช่องว่างด้านความเข้ากันได้ และอัปเกรด pipeline ที่รองรับทีละขั้นเป็น Fabric workspace—ทั้งหมดนี้โดยไม่ต้องใช้สคริปต์

ประสบการณ์การอัปเกรดที่ติดตั้งมายังรองรับ pipeline ที่มีคุณสมบัติรองรับซึ่งมี Mapping Data Flows การไหลของข้อมูลแผนที่ที่รองรับได้รับการอัปเกรดเป็นการแปลง MDF ใน Dataflow Gen2 โดยรักษาตรรกะการแปลงและโมเดลการทํางานที่ใช้ Spark ไว้ ความสามารถนี้กําลังอยู่ในขั้นตอนทดลองใช้งาน

สําหรับข้อมูลเพิ่มเติม โปรดดู:

สถานการณ์สมมติที่ 4: รายการ ADF ในพื้นที่ทํางาน Fabric

คุณสามารถเพิ่มโรงงาน ADF ทั้งหมดในพื้นที่ทํางาน Fabric เป็นรายการเนทีฟได้ วิธีนี้ช่วยให้คุณจัดการโรงงาน ADF ควบคู่ไปกับสิ่งประดิษฐ์ Fabric ภายในอินเทอร์เฟซเดียวกัน UI ของ ADF ยังคงสามารถเข้าถึงได้อย่างเต็มที่ ช่วยให้คุณสามารถตรวจสอบ จัดการ และแก้ไขสินค้าจากโรงงาน ADF ได้โดยตรงจากพื้นที่ทํางาน Fabric อย่างไรก็ตาม การดําเนินการไปป์ไลน์ กิจกรรม และรันไทม์การรวมยังคงเกิดขึ้นภายในทรัพยากร Azure ของคุณ

ฟีเจอร์นี้มีประโยชน์สําหรับองค์กรที่กําลังเปลี่ยนไปใช้ Fabric เพราะให้มุมมองรวมของทรัพยากร ADF และ Fabric ช่วยให้ง่ายต่อการจัดการและวางแผนสําหรับการอัปเกรด

สําหรับข้อมูลเพิ่มเติม โปรดดู นํา Azure Data Factory ของคุณเข้าสู่ Fabric

เนื้อหาที่เกี่ยวข้อง

  • อัปเดตล่าสุดเมื่อ