อัปเกรดท่อส่งข้อมูล Azure Data Factory ด้วยการแมปโฟลว์ข้อมูลไปยัง Fabric (ตัวอย่าง)

ใช้ประสบการณ์การอัปเกรดที่ติดตั้งใน Azure Data Factory เพื่ออัปเกรด pipeline ที่มีคุณสมบัติเหมาะสมซึ่งมี Mapping Data Flows เป็น Microsoft Fabric Data Factory ระหว่างการอัปเกรด Mapping Data Flows ที่รองรับจะถูกแปลงเป็นการแปลง Mapping Data Flow (MDF) ใน Dataflow Gen2 และ pipeline ที่เกี่ยวข้องจะถูกอัปเกรดเป็น Fabric pipelines

บทความนี้อธิบายขั้นตอนการตรวจสอบเพิ่มเติม การดําเนินการ และการตรวจสอบสําหรับการแปลง MDF ที่อัปเกรดแล้ว สําหรับภาพรวมของประสบการณ์การอัปเกรด Azure Data Factory ทั้งหมด โปรดดูที่ อัปเกรด pipeline Azure Data Factory ของคุณเป็น Fabric Data Factory

ข้อกำหนดเบื้องต้น

ก่อนที่คุณจะเริ่มการปรับรุ่น ตรวจสอบให้แน่ใจว่าคุณมีสิ่งต่อไปนี้:

• อินสแตนซ์ Azure Data Factory ที่มีอย่างน้อยหนึ่งท่อส่งข้อมูลซึ่งประกอบด้วย Mapping Data Flow
• สิทธิ์ในการเข้าถึงอินสแตนซ์ Azure Data Factory และ pipeline ของมัน
• การเข้าถึงผู้เช่าที่เปิดใช้งาน Microsoft Fabric
• ใบอนุญาต Fabric หากคุณยังไม่มี ประสบการณ์การเริ่มต้นใช้งาน View in Fabric (Preview) จะขอให้คุณสมัครรับใบอนุญาตฟรี หากเปิดใช้งานการลงทะเบียนด้วยตนเองสําหรับ tenant ของคุณ
• การเข้าถึงความจุ Fabric เช่น ความจุทดลอง
• สิทธิ์ผู้มีส่วนร่วมหรือสูงกว่าในการสร้างและอัปเดตรายการในพื้นที่ทํางาน Fabric
• การเชื่อมต่อ Fabric สําหรับที่เก็บข้อมูลต้นทางและปลายทางที่ไม่ได้ถูกสร้างขึ้นโดยอัตโนมัติในระหว่างการอัปเกรด

ประสบการณ์การอัปเกรดจะสร้างการเชื่อมต่อ Fabric ที่รองรับโดยอัตโนมัติเมื่อสามารถแมปการตั้งค่าการตรวจสอบสิทธิ์ Azure Data Factory ได้อย่างปลอดภัย สําหรับการเชื่อมต่ออื่น ๆ ให้เลือกการเชื่อมต่อ Fabric ที่มีอยู่หรือสร้างใหม่ก่อนเริ่มการอัปเกรด

สถานการณ์การอัปเกรดที่รองรับ

ประสบการณ์การอัปเกรดที่ติดตั้งมารองรับ pipeline Azure Data Factory ที่มีคุณสมบัติเหมาะสมซึ่งมี Mapping Data Flows ระหว่างกระบวนการอัปเกรด:

• pipeline ของ Azure Data Factory ที่เลือกจะถูกอัปเกรดเป็น Fabric pipelines
• การไหลของข้อมูลการแมปที่รองรับจะถูกแปลงเป็นการแปลง MDF ใน Dataflow Gen2
• ท่อส่งข้อมูลและ Mapping Data Flow ที่อ้างอิงจะถูกอัปเกรดพร้อมกัน
• บริการที่เชื่อมโยงที่รองรับจะถูกแมปไปยังการเชื่อมต่อ Fabric ใหม่หรือที่มีอยู่
• ท่อส่งข้อมูลและ Mapping Data Flows ของ Azure Data Factory ดั้งเดิมยังคงไม่เปลี่ยนแปลง

ก่อนอัปเกรด ให้ตรวจสอบ ข้อจํากัดของการแปลง MDF, ตัวเชื่อมต่อที่รองรับ, การแปลง, วิธีการยืนยันตัวตน และข้อกําหนดด้านเครือข่าย

อัปเกรดท่อส่งข้อมูลที่มีการแมปโฟลว์ข้อมูล

เริ่มการอัปเกรดใน Azure Data Factory ผ่าน View in Fabric (Preview) การดูโรงงานของคุณใน Fabric ไม่ได้อัปเกรดหรือเปลี่ยนแปลงท่อส่งของคุณ การอัปเกรดจะเริ่มขึ้นหลังจากที่คุณตรวจสอบความพร้อมใช้งาน เลือก pipeline และเลือก Start upgrade (Preview) อย่างชัดเจน

ขั้นตอนที่ 1: ดู Azure Data Factory ของคุณใน Fabric

1. เปิดพอร์ทัล Azure Data Factory ของคุณ

2. เลือก View in Fabric (Preview)

   

3. หากนี่เป็นครั้งแรกที่คุณใช้ประสบการณ์นี้ โปรดตรวจสอบและยอมรับข้อกําหนดและเงื่อนไข จากนั้นเลือก ลองใช้ Fabric Data Factory

   

4. ทําตามขั้นตอนการเริ่มต้นใช้งานเพื่อ:

   • ตรวจสอบหรือขอใบอนุญาต Fabric
   • เลือกความจุของ Fabric
   • สร้างหรือใช้ซ้ําพื้นที่ทํางาน Fabric ที่เกี่ยวข้องกับ Azure Data Factory ของคุณ
   • Surface Azure Data Factory เป็นรายการใน workspace
   • สามารถแชร์การเข้าถึงพื้นที่ทํางานกับผู้ใช้และกลุ่ม Azure Data Factory ที่มีอยู่ได้ตามต้องการ

   

หลังจากตั้งค่าเสร็จ Azure Data Factory ของคุณจะแสดงใน Fabric ไม่มีการอัปเกรดใด ๆ และการดําเนินการท่อส่งและการเรียกเก็บเงินยังคงอยู่ใน Azure Data Factory

สําหรับรายละเอียดการเริ่มต้นใช้งานอย่างครบถ้วน ดูที่ การอัปเกรด pipeline ของ Azure Data Factory ของคุณเป็น Fabric Data Factory

ขั้นตอนที่ 2: ทบทวนความพร้อม

1. ในรายการ Azure Data Factory ใน Fabric ให้เลือก ประเมินและอัปเกรด

   

2. ตรวจสอบการประเมินความพร้อม

3. ระบุท่อส่งข้อมูลที่มีการแมปโฟลว์ข้อมูลที่คุณต้องการอัปเกรด

4. ตรวจสอบท่อส่งข้อมูลที่จัดอยู่ในประเภท Review และแก้ไขความสามารถที่ไม่ได้รับการสนับสนุนหรือรองรับบางส่วนก่อนอัปเกรด

5. เลือกท่อส่งที่มีสิทธิ์ที่คุณต้องการอัปเกรด

การประเมินนี้เป็นแบบอ่านอย่างเดียวและไม่แก้ไขหรืออัปเกรด pipeline ที่เลือก

ขั้นตอนที่ 3: ตรวจสอบการเชื่อมต่อ

1. เลือกตรวจสอบการเชื่อมต่อ
2. ตรวจสอบบริการที่เชื่อมโยงกับ Azure Data Factory ซึ่งใช้โดยท่อส่งข้อมูลที่เลือกและ Mapping Data Flows
3. ตรวจสอบการเชื่อมต่อที่สร้างขึ้นโดยอัตโนมัติ
4. สําหรับการเชื่อมต่อที่ไม่ได้ถูกสร้างโดยอัตโนมัติ ให้เลือกการเชื่อมต่อ Fabric ที่มีอยู่แล้วหรือสร้างการเชื่อมต่อใหม่
5. ยืนยันว่าทุกแหล่งที่มาและปลายทางที่จําเป็นถูกแมปกับการเชื่อมต่อ Fabric ที่ถูกต้อง

ขั้นตอนที่ 4: เริ่มอัปเกรด

1. ตรวจสอบท่อส่งที่เลือกและแผนที่การเชื่อมต่อ
2. เลือก เริ่มอัปเกรด (ตัวอย่าง)
3. รอให้การอัปเกรดเสร็จสมบูรณ์
4. ตรวจสอบสถานะของแต่ละรายการที่อัปเกรดแล้ว

ระหว่างการอัปเกรด:

• ท่อส่งข้อมูลบางส่วนของ Azure Data Factory จะถูกอัปเกรดเป็น Fabric pipelines
• การไหลของข้อมูลแมปที่รองรับซึ่งอ้างอิงโดยท่อส่งที่เลือกจะถูกแปลงเป็นการแปลง MDF ใน Dataflow Gen2
• ท่อส่งข้อมูลและ Mapping Data Flow จะถูกอัปเกรดพร้อมกัน
• รายการที่อัปเกรดจะถูกวางไว้ในโฟลเดอร์ที่มีชื่อ Azure Data Factory ต้นทาง
• ท่อส่งข้อมูลต้นทางและ Mapping Data Flows ของ Azure Data Factory ยังคงไม่เปลี่ยนแปลง

ตรวจสอบความถูกต้องของการแปลงโฟลว์ข้อมูลแผนที่ที่อัปเกรดแล้ว

หลังจากอัปเกรดเสร็จสิ้น ให้เปิดผลลัพธ์การอัปเกรดหรือโฟลเดอร์ที่มีรายการที่อัปเกรดแล้ว และตรวจสอบความถูกต้องของการแปลง MDF ก่อนรันท่อส่ง

เปิดรายการ Dataflow Gen2 ที่อัปเกรดแล้ว

1. เปิดรายการ Dataflow Gen2 ที่อัปเกรดแล้ว

2. ตรวจสอบตรรกะการแปลง MDF ที่อัปเกรดแล้ว

3. ตรวจสอบความถูกต้องของกราฟการแปลง

   

บันทึกการแปลงโฟลว์ข้อมูลแผนที่ที่อัปเกรดแล้ว

1. เปิดเมนู บันทึกและเรียกใช้

2. เลือก บันทึก

   

รันท่อส่งที่อัปเกรดแล้ว

หลังจากตรวจสอบแล้ว ให้รันท่อ Fabric ที่อัปเกรดแล้ว

กําหนดค่าการเรียกใช้ไปป์ไลน์

1. เปิดท่อส่ง Fabric ที่อัปเกรดแล้ว

2. เลือกกิจกรรมกระแสข้อมูล

3. ตรวจทานแบบสอบถามการแปลง MDF ที่เลือก

4. กําหนดการตั้งค่ารันไทม์ของ Spark หากจําเป็น

   

รันท่อส่งข้อมูลที่อัปเกรดแล้ว

1. ตรวจสอบไปป์ไลน์

2. ตรวจสอบว่าการเชื่อมต่อที่จําเป็นทั้งหมดถูกแมปและตรวจสอบสิทธิ์แล้ว

3. เปิดใช้งานกิจกรรมใด ๆ ที่คุณปิดใช้งานเนื่องจากการเชื่อมต่อที่ไม่ได้แมปอีกครั้ง

4. รันสายงานด้วยตนเอง

5. เปรียบเทียบผลลัพธ์กับสายงาน Azure Data Factory ดั้งเดิม

6. หลังจากตรวจสอบแล้ว ให้รันหรือกําหนดค่า และเปิดใช้งานตารางเวลาและทริกเกอร์ใหม่ตามความจําเป็น

   

ตรวจสอบผลลัพธ์การอัปเกรด

ก่อนการตัดงานในการผลิต ให้ตรวจสอบงานที่อัปเกรดในสภาพแวดล้อมที่ไม่ใช่การผลิต:

• ยืนยันว่าคุณได้แมปและยืนยันตัวตนการเชื่อมต่อ Fabric ที่จําเป็นทั้งหมดแล้ว
• เปรียบเทียบจํานวนแถวต้นทางและแถว sink กับการรัน Azure Data Factory ดั้งเดิม
• ตรวจสอบความถูกต้องของสคีมา ชนิดข้อมูล การจัดการ null และพฤติกรรมการลอยตัวของสคีมา
• ตรวจสอบความถูกต้องของนิพจน์ Data Flow และผลลัพธ์การแปลง
• ตรวจสอบพฤติกรรมการแทรก อัปเดต อัพเซิร์ต และลบ
• ตรวจสอบพารามิเตอร์และเนื้อหาแบบไดนามิก
• ยืนยันพฤติกรรม idempotent เมื่อมีการรันท่อส่งใหม่
• ตรวจสอบการจัดการและตรวจสอบข้อผิดพลาด
• เปรียบเทียบพฤติกรรมและประสิทธิภาพระหว่างรันไทม์โดยไม่สมมติว่าระยะเวลาการทํางานเหมือนกัน
• เปิดใช้งานและกําหนดค่าทริกเกอร์ใหม่ได้หลังจากตรวจสอบข้อมูลครบวงจรแล้ว

pipeline และ Mapping Data Flows ของ Azure Data Factory ดั้งเดิมยังคงพร้อมใช้งานสําหรับการตรวจสอบแบบเคียงข้างกัน

ตรวจสอบการแปลงการไหลของข้อมูลแผนที่ที่อัปเกรดแล้ว

คุณสามารถติดตามการรันงาน pipeline และ MDF transform ที่อัปเกรดแล้วได้ผ่าน:

• บานหน้าต่างเอาต์พุตไปป์ไลน์
• ฮับการตรวจสอบ
• กิจกรรมที่ทํางาน
• รายละเอียดการดําเนินการกิจกรรมกระแสข้อมูล

วิธีตรวจสอบรายละเอียดการดําเนินการ

1. เปิดรายละเอียดการเรียกใช้ไปป์ไลน์

2. เลือกกิจกรรมกระแสข้อมูลจากการเรียกใช้กิจกรรม

3. ตรวจสอบสถานะการดําเนินการและรายละเอียดรันไทม์

   

   

Limitations

ข้อจํากัดทั่วไปของการอัปเกรด Azure Data Factory ยังใช้กับท่อส่งที่มีการแมปข้อมูลโฟลว์ด้วย ตรวจสอบ ข้อจํากัดที่ทราบ ก่อนเลือกท่อส่งเพื่ออัปเกรด

ข้อจํากัดต่อไปนี้ใช้กับการแปลง MDF ในระหว่างการแสดงตัวอย่างสาธารณะ:

เนื้อหาที่เกี่ยวข้อง

• อัปเกรดท่อส่งข้อมูล Azure Data Factory ของคุณเป็น Fabric Data Factory
• การแมปการแปลงโฟลว์ข้อมูลใน Dataflow Gen2 (พรีวิว)
• การวางแผนอัปเกรดจาก Azure Data Factory เป็น Fabric Data Factory
• อัปเกรดแนวปฏิบัติที่ดีที่สุดสําหรับ Azure Data Factory เป็น Fabric Data Factory
• ราคาสําหรับกระแสข้อมูล Gen2