หมายเหตุ
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลอง ลงชื่อเข้าใช้หรือเปลี่ยนไดเรกทอรีได้
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลองเปลี่ยนไดเรกทอรีได้
บทความนี้แสดงแนวทางปฏิบัติที่ดีที่สุดระดับการใช้งานสําหรับแต่ละส่วนประกอบของการโยกย้าย Azure Data Factory (ADF) ไปยัง Fabric Data Factory: การเชื่อมต่อ รันไทม์การรวม กิจกรรม กระแสข้อมูล พารามิเตอร์ส่วนกลาง และเครื่องมือ สําหรับการวางแผนการโยกย้ายระดับสูง รวมถึงการเลือกเส้นทางการโยกย้ายและการจัดลําดับความสําคัญของไปป์ไลน์ โปรดดู วางแผนการโยกย้ายของคุณจาก Azure Data Factory ไปยัง Fabric
ข้อควรพิจารณาก่อนย้ายข้อมูล
ก่อนย้ายข้อมูล ให้ประเมินสิ่งที่จะนํากลับมาใช้ใหม่ แปล หรือออกแบบใหม่ ทําตามขั้นตอนเหล่านี้เพื่อให้แน่ใจว่าการเปลี่ยนผ่านเป็นไปอย่างราบรื่น:
- ระบุรูปแบบการรับรองความถูกต้อง เช่น ข้อมูลประจําตัวที่มีการจัดการหรือการรับรองความถูกต้องตามคีย์
- ตรวจสอบข้อกําหนดของเครือข่าย รวมถึงปลายทางและเกตเวย์ส่วนตัว
- วางแผนการตั้งเวลาและทริกเกอร์ความหมาย และจัดตําแหน่งการตั้งค่าการตรวจสอบและการแจ้งเตือน
- เปรียบเทียบคุณสมบัติ ADF กับคู่หูของ Fabric โดยสังเกตช่องว่างใดๆ เช่น SSIS หรือโฟลว์ข้อมูล
- กําหนดเป้าหมายที่ไม่ทํางาน เช่น SLA ปริมาณงาน ขีดจํากัดต้นทุน และความสามารถในการสังเกตการณ์
- สร้างสถานการณ์ทดสอบด้วยชุดข้อมูลตัวอย่างและผลลัพธ์ที่คาดหวังเพื่อเปรียบเทียบการเรียกใช้ ADF และ Fabric อย่างเป็นกลาง
- วางแผนสําหรับการหมุนเวียนข้อมูลลับ แบบแผนการตั้งชื่อ และการจัดหมวดหมู่พื้นที่ทํางาน เพื่อให้การย้ายข้อมูลของคุณปรับปรุง ไม่ใช่แค่ทําซ้ํา - กลยุทธ์การรวมข้อมูลปัจจุบันของคุณ
แนวทางแบบค่อยเป็นค่อยไปพร้อมการตรวจสอบความถูกต้องและแผนย้อนกลับแบบเคียงข้างกันช่วยลดความเสี่ยงในขณะที่เปิดใช้งานการดําเนินการที่รวดเร็วขึ้นการตรวจสอบแบบรวมศูนย์และการผสานรวมกับ Microsoft Fabric ที่ลึกซึ้งยิ่งขึ้น
สําหรับการโยกย้ายขนาดใหญ่ ให้พิจารณาทํางานร่วมกับคู่ค้า Microsoft ที่ผ่านการรับรองหรือทีมบัญชี บัญชี Microsoft ของคุณเพื่อขอคําแนะนํา
แนวทางปฏิบัติที่ดีที่สุดสําหรับการโยกย้ายบริการและชุดข้อมูลที่เชื่อมโยงกับ ADF ไปยังการเชื่อมต่อ Fabric
ใน Azure Data Factory (ADF) บริการและชุดข้อมูลที่เชื่อมโยงจะกําหนดการเชื่อมต่อและโครงสร้างข้อมูล ใน Fabric สิ่งเหล่านี้จะจับคู่กับ connections และ activity settings โดยมุ่งเน้นไปที่การนํากลับมาใช้ใหม่ในระดับพื้นที่ทํางานและข้อมูลประจําตัวที่มีการจัดการ วิธีปรับองค์ประกอบ ADF มีดังนี้
- ตรวจสอบ ความต่อเนื่องของตัวเชื่อมต่อระหว่าง Azure Data Factory และ Fabric เพื่อยืนยันการสนับสนุนสําหรับแหล่งข้อมูลและซิงก์ของคุณ
- รวมการเชื่อมต่อที่ซ้ําซ้อนเพื่อปรับปรุงการจัดการ
- นําข้อมูลประจําตัวที่มีการจัดการมาใช้เพื่อการรับรองความถูกต้องที่ปลอดภัยและสอดคล้องกัน
- กําหนดมาตรฐานการกําหนดพารามิเตอร์โฟลเดอร์และตารางโดยใช้แบบแผน
conn-sql-warehouse-salesการตั้งชื่อที่ชัดเจน เช่น หรือds-lh-raw-orders.
เพื่อให้มั่นใจถึงความสอดคล้องและความสามารถในการปรับขนาด ให้จัดทําเอกสารแต่ละแหล่งที่มาและปลายทางอย่างครบถ้วนด้วย:
- เจ้า
- ระดับความไว
- ลองการตั้งค่าอีกครั้ง
เอกสารนี้ช่วยสร้างเทมเพลตการดําเนินงานข้ามไปป์ไลน์และปรับปรุงการกํากับดูแล
รันไทม์การรวมและ OPDG เกตเวย์เครือข่ายเสมือน
Azure Data Factory (ADF) ใช้ Integration Runtimes (IR) เพื่อกําหนดทรัพยากรการประมวลผลสําหรับการประมวลผลข้อมูล ซึ่งประกอบด้วย:
- Cloud IRs สําหรับการประมวลผลที่โฮสต์ Azure
- IR ที่โฮสต์เอง (SHIR) สําหรับแหล่งที่มาในองค์กรหรือเครือข่ายส่วนตัว
- SSIS IRs สําหรับ SQL Server Integration Services
- IR ที่เปิดใช้งาน VNet สําหรับการเชื่อมต่อเครือข่ายที่ปลอดภัย
ใน Fabric ตัวเลือกเหล่านี้แมปกับตัวเลือก การดําเนินการบนระบบคลาวด์, เกตเวย์ข้อมูลภายในองค์กร (OPDG) และ เครือข่ายเสมือน Data Gateway วิธีวางแผนการย้ายข้อมูลมีดังนี้
- ระบุไปป์ไลน์ที่อาศัย SHIR และวางแผนการแมปเกตเวย์และขนาดปริมาณงาน
- ตรวจสอบความถูกต้องของ DNS, ขาออก, กฎไฟร์วอลล์ และการรับรองความถูกต้องสําหรับตัวเชื่อมต่อแต่ละตัว
- ฝึกซ้อมสถานการณ์การเปลี่ยนระบบเมื่อเกิดข้อผิดพลาดเพื่อให้มั่นใจถึงความน่าเชื่อถือ
- หากเป็นไปได้ ให้ย้ายไปยังปลายทางส่วนตัวหรือเกตเวย์ข้อมูลเครือข่ายเสมือนเพื่อลดความซับซ้อนของการตรวจสอบความปลอดภัยและลดค่าใช้จ่ายในการดําเนินงาน
Fabric ช่วยลดความยุ่งยากในการจัดการการประมวลผลโดยใช้ทรัพยากรบนระบบคลาวด์ภายในความจุ Fabric ของคุณ IR ของ SSIS ไม่พร้อมใช้งานใน Fabric สําหรับการเชื่อมต่อภายในองค์กร ให้ใช้ เกตเวย์ข้อมูลภายในองค์กร (OPDG) สําหรับการเชื่อมต่อเครือข่ายที่ปลอดภัย ให้ใช้เกตเวย์ข้อมูล เครือข่ายเสมือน
เมื่อย้ายข้อมูล:
- ไม่จําเป็นต้องย้าย IR Azure ของเครือข่ายสาธารณะ
- สร้าง SHIR ใหม่เป็น OPDG
- แทนที่ Azure IR ที่เปิดใช้งาน VNet ด้วย เครือข่ายเสมือน Data Gateways
แนวทางปฏิบัติที่ดีที่สุดสําหรับการโยกย้ายกิจกรรมไปป์ไลน์ ADF ไปยัง Fabric
กิจกรรมหลักทั้งหมดใน Azure Data Factory (ADF) เช่น การคัดลอก การค้นหา กระบวนงานที่เก็บไว้/สคริปต์ SQL เว็บ และโฟลว์การควบคุม มีสิ่งที่เทียบเท่าโดยตรงใน Fabric อย่างไรก็ตาม มีคุณสมบัติ ไวยากรณ์นิพจน์ และขีดจํากัดแตกต่างกันบางประการ เมื่อย้ายข้อมูล ให้ตรวจสอบสิ่งต่อไปนี้:
- นโยบายการลองใหม่และการหมดเวลา
- การตั้งค่าการแบ่งหน้าสําหรับแหล่งข้อมูล REST
- การกําหนดค่าการคัดลอกแบบไบนารีเทียบกับแบบตาราง
- รูปแบบ Foreach และตัวกรอง
- ตัวแปรระบบที่ใช้ในเนื้อหาแบบไดนามิก
Fabric มักจะมีตัวเลือกดั้งเดิมสําหรับงานบางอย่าง ตัวอย่างเช่น ใช้สคริปต์ SQL ในคลังสินค้าแทนการเรียกกระบวนงานที่เก็บไว้ทั่วไปเพื่อการสืบเชื้อสายและการตรวจสอบที่ดีขึ้น หากต้องการปรับปรุงการย้ายข้อมูล ให้รวมศูนย์นิพจน์ทั่วไป เช่น เส้นทาง วันที่ และ URI เฉพาะผู้เช่าลงในพารามิเตอร์ไปป์ไลน์ สิ่งนี้ช่วยลดการดริฟท์และเพิ่มความเร็วในการทดสอบ
สําหรับข้อมูลเพิ่มเติม ให้ดูที่ ความต่อเนื่องของกิจกรรมระหว่าง Azure Data Factory และ Fabric
ความแตกต่างของกระแสข้อมูล
Azure Data Factory (ADF) การแมปโฟลว์ข้อมูล ไม่ได้แมปกับ Fabric โดยตรง โดยปกติแล้ว คุณจะทําใหม่โดยใช้ตัวเลือกใดตัวเลือกหนึ่งต่อไปนี้แทน:
- กระแสข้อมูล Gen2 สําหรับการแปลงชุดแถวและการแปลงแบบใช้โค้ดน้อยที่มีการควบคุม
- Fabric คลังสินค้า SQL สําหรับงาน ELT ตามชุด เช่น การดําเนินการ MERGE หรือ ELT ที่ใกล้เคียงกับข้อมูล
- สมุดบันทึก Spark สําหรับการแปลงขั้นสูง ตรรกะที่ซับซ้อน หรือการประมวลผลขนาดใหญ่
เมื่อย้ายข้อมูล ให้ตรวจสอบความถูกต้องต่อไปนี้:
- ชนิดข้อมูลและการจัดการ Null
- กุญแจตัวแทนและขนาดที่เปลี่ยนไปอย่างช้าๆ
- รูปแบบ ELT ที่สมบูรณ์แบบ เช่น การแสดงละครและ MERGE เพื่อให้แน่ใจว่ามีการฉายซ้ําที่คาดเดาได้
สําหรับสถานการณ์การโยกย้าย โปรดดู โยกย้ายจากกระแสข้อมูล Gen1 ไปยังกระแสข้อมูล Gen2
พารามิเตอร์ส่วนกลางใน Azure Data Factory
Fabric ใช้ระดับพื้นที่ทํางาน Variable Libraries เพื่อกําหนดค่าคงที่ในรายการ Fabric รายการ เมื่อโยกย้ายไปยัง Microsoft Fabric Data Factory คุณจะต้องแปลงพารามิเตอร์ส่วนกลางของ Azure Data Factory เป็นไลบรารีตัวแปร
สําหรับคําแนะนําการแปลงฉบับเต็ม โปรดดู แปลงพารามิเตอร์ส่วนกลาง ADF เป็นไลบรารีตัวแปร Fabric
ข้อเสนอของคู่ค้า Azure Marketplace
พันธมิตรการโยกย้ายที่เชื่อถือได้ เช่น Bitwise Global มีเครื่องมือที่จะช่วยในการโยกย้ายของคุณ เครื่องมือเหล่านี้สามารถ:
- สแกนสภาพแวดล้อม Azure Data Factory (ADF) ของคุณ
- สร้างสิ่งประดิษฐ์ Fabric เป้าหมาย
- ทําการวิเคราะห์ผลกระทบและการติดตามสายข้อมูล
- สร้างแผนการทดสอบอัตโนมัติ
วิธีแก้ปัญหาเหล่านี้มีประโยชน์อย่างยิ่งหากคุณมี:
- ไปป์ไลน์หลายร้อยท่อ
- ตัวเชื่อมต่อที่หลากหลาย
- ข้อกําหนดการหยุดทํางานที่เข้มงวด
เครื่องมือของพาร์ทเนอร์สร้างมาตรฐานกฎการแมป สร้างรายงานคอนเวอร์ชั่น และเรียกใช้การทดสอบการตรวจสอบความถูกต้องแบบคู่ขนาน วิธีนี้ช่วยให้คุณสามารถเปรียบเทียบจํานวนแถว เช็คซัม และประสิทธิภาพระหว่างสภาพแวดล้อมเก่าและใหม่ของคุณ แม้ว่าคุณจะไม่ได้ใช้คู่ค้าในการย้ายข้อมูลทั้งหมด แต่โมดูลการค้นพบและการประเมินของพวกเขาสามารถช่วยคุณเริ่มต้นการวางแผนภายในและลดความไม่แน่นอนได้
ใช้เครื่องมือ Copilot และ AI เพื่อเร่งการโยกย้าย ADF-to-Fabric
โมเดลภาษาขนาดใหญ่ (LLM) เช่น Microsoft Copilot, ChatGPT และ Claude สามารถเพิ่มความเร็วในการโยกย้ายได้ เครื่องมือเหล่านี้มีประโยชน์สําหรับ:
- การปรับโครงสร้างนิพจน์
- การแปลง Azure Data Factory (ADF) JSON เป็นไวยากรณ์ Fabric
- การเขียนคําสั่ง MERGE
- การสร้างเทมเพลตการเชื่อมต่อ
- การร่างสคริปต์การตรวจสอบความถูกต้อง
คุณยังสามารถใช้เพื่อสร้างเอกสารประกอบ เช่น รันบุ๊ก พจนานุกรมข้อมูล และรายการตรวจสอบการย้ายข้อมูล เพื่อให้มั่นใจว่าวิศวกรและผู้ปฏิบัติงานจะสอดคล้องกัน อย่างไรก็ตาม ให้เก็บเครื่องมือเหล่านี้ ไว้ในวง ไม่ใช่ในความรับผิดชอบ:
- หลีกเลี่ยงการวางข้อมูลที่ละเอียดอ่อนลงในเครื่องมือ AI
- ตรวจสอบความถูกต้องของรายการทั้งหมดในสภาพแวดล้อมการพัฒนา
- ใช้การทดสอบอัตโนมัติ เช่น การนับแถว การเปรียบเทียบ Schema และการตรวจสอบกฎทางธุรกิจ เพื่อตรวจจับปัญหาที่ละเอียดอ่อน เช่น ประเภทไม่ตรงกันหรือการแยกวิเคราะห์วันที่เฉพาะตําแหน่งที่ตั้ง
สําหรับข้อมูลเพิ่มเติม โปรดดู ใช้ Copilot ใน Data Factory และ AI ใน Microsoft Fabric
เส้นทางการย้ายข้อมูล
สําหรับคําแนะนําโดยละเอียดเกี่ยวกับตัวเลือกเส้นทางการโยกย้าย (รวมถึงการติดตั้งรายการ ADF เพื่อความต่อเนื่อง โดยใช้ประสบการณ์การอัปเกรดที่มีอยู่แล้วภายใน การแปลง PowerShell และกลยุทธ์การย้ายแพลตฟอร์มใหม่) โปรดดู เส้นทางการโยกย้าย ในคู่มือการวางแผนการโยกย้าย