Modern Evaluator สําหรับ Dataflow Gen2 พร้อม CI/CD

กลไกการประเมินคิวรีสมัยใหม่ (หรือที่เรียกว่า "ตัวประเมินสมัยใหม่") มีกลไกจัดการการดําเนินการคิวรีใหม่ที่ทํางานบน .NET core เวอร์ชัน 8 ซึ่งสามารถปรับปรุงประสิทธิภาพของการเรียกใช้กระแสข้อมูลในบางสถานการณ์ได้อย่างมาก

ตัวประเมินผลสมัยใหม่รองรับฟังก์ชัน Power Query ทั้งหมดและแหล่งข้อมูลส่วนใหญ่ที่มีใน Dataflow Gen2 (CI/CD)

กระแสข้อมูลที่เรียกใช้ตัวประเมินสมัยใหม่อาจเห็นประโยชน์หลักบางประการเหล่านี้:

• การดําเนินการกระแสข้อมูลที่เร็วขึ้น: กลไกจัดการที่ทันสมัยสามารถลดเวลาในการประเมินคิวรีได้อย่างมาก กระแสข้อมูลจํานวนมากทํางานเร็วขึ้นอย่างเห็นได้ชัด ทําให้คุณสามารถรีเฟรชข้อมูลได้บ่อยขึ้นหรือตอบสนองกรอบเวลาการรีเฟรชที่แน่นหนา

• การประมวลผลที่มีประสิทธิภาพมากขึ้น: เอ็นจิ้นได้รับการปรับให้เหมาะสมเพื่อประสิทธิภาพ โดยใช้อัลกอริทึมที่ได้รับการปรับปรุงและรันไทม์ที่ทันสมัย ซึ่งหมายความว่าสามารถจัดการการแปลงที่ซับซ้อนโดยมีค่าใช้จ่ายน้อยลง ซึ่งช่วยรักษาประสิทธิภาพเมื่อปริมาณข้อมูลของคุณเพิ่มขึ้น

• ความสามารถในการปรับขนาดและความน่าเชื่อถือ: ด้วยการเร่งการดําเนินการและลดปัญหาคอขวด Modern Evaluator ช่วยให้กระแสข้อมูลปรับขนาดเป็นปริมาณที่มากขึ้นและมีเสถียรภาพมากขึ้น ลูกค้าสามารถคาดหวังระยะเวลาการรีเฟรชที่สอดคล้องกันมากขึ้นและปัญหาการหมดเวลาน้อยลงในกระแสข้อมูลขนาดใหญ่เมื่อใช้กลไกจัดการใหม่

วิธีเปิดหรือปิดใช้งาน Modern Evaluator

ทําตามขั้นตอนเหล่านี้เพื่อเปิดกลไกการประเมินคิวรีสมัยใหม่สําหรับกระแสข้อมูล:

1. เปิดกระแสข้อมูลของคุณเพื่อแก้ไข: ใน Fabric Data Factory ให้นําทางไปยังรายการ Dataflow Gen2 (CI/CD) ของคุณและเปิดในตัวแก้ไข Power Query

2. ไปที่ ตัวเลือก (การตั้งค่ามาตราส่วน): ในตัวแก้ไขกระแสข้อมูล ให้เลือกเมนู ตัวเลือก ในกล่องโต้ตอบ ตัวเลือก ให้เลือกแท็บ มาตราส่วน

3. เปิดใช้งาน Modern Evaluator: ค้นหาการตั้งค่าสําหรับกลไกการประเมินแบบสอบถามสมัยใหม่ ตรวจสอบว่าเปิดใช้งานตัวเลือกนี้แล้ว

   

4. บันทึกและเรียกใช้: บันทึกการตั้งค่ากระแสข้อมูล ครั้งถัดไปที่คุณรันการไหลของข้อมูล มันจะใช้ตัวประเมินผลแบบทันสมัย ยกเว้นคําขอที่ใช้ฐานข้อมูล IBM Db2, Informix หรือ MQ connector ซึ่งจะถูกส่งต่อชั่วคราวไปยังเอนจินประเมินผลมาตรฐาน

ข้อควรพิจารณาเกี่ยวกับประสิทธิภาพการทำงาน

เมื่อใช้กลไกการประเมินที่ทันสมัย คุณควรสังเกตเวลารีเฟรชที่เร็วขึ้น โดยเฉพาะอย่างยิ่งสําหรับโฟลว์ที่เน้นข้อมูล ตัวอย่างเช่น การแปลงข้อมูลที่ก่อนหน้านี้ใช้เวลาหนึ่งชั่วโมงอาจเสร็จสมบูรณ์ในเวลาประมาณครึ่งหนึ่งเมื่อเปิดใช้งาน Modern Evaluator (ผลลัพธ์จริงจะแตกต่างกันไปตามสถานการณ์ของคุณ) การเพิ่มประสิทธิภาพนี้ช่วยในสถานการณ์ต่างๆ เช่น:

• ปริมาณข้อมูลขนาดใหญ่: เมื่อต้องจัดการกับแถวนับล้านหรือไฟล์ขนาดใหญ่ การเพิ่มประสิทธิภาพของกลไกใหม่สามารถลดระยะเวลาในการประมวลผลและลดการใช้หน่วยความจําได้

• การแปลงที่ซับซ้อน: กระแสข้อมูลที่มีขั้นตอนการแปลงจํานวนมากหรือการดําเนินการที่หนักหน่วง (เช่น การรวมในตารางขนาดใหญ่) ได้รับประโยชน์จากแผนการดําเนินการที่ได้รับการปรับปรุงของกลไกจัดการ ซึ่งนําไปสู่การดําเนินการที่ราบรื่นและรวดเร็วยิ่งขึ้น

• กําหนดการเรียกใช้บ่อย: หากกระแสข้อมูลของคุณทํางานหลายครั้งต่อวัน การประหยัดเวลาต่อการรีเฟรชจะสะสม ซึ่งช่วยให้คุณสามารถส่งข้อมูลวันที่ up-toไปยังผู้ใช้ได้รวดเร็วยิ่งขึ้น

Benchmarks

ส่วนนี้ใช้ชุดข้อมูลขนาดใหญ่ในโลกแห่งความเป็นจริงเพื่อแสดงให้เห็นว่าการเปลี่ยนแปลงทางสถาปัตยกรรมในรุ่นกระแสข้อมูลและการแนะนํากลไกการประเมินคิวรีสมัยใหม่ส่งผลต่อเวลาดําเนินการอย่างไร

การเปรียบเทียบข้ามผลิตภัณฑ์

เกณฑ์มาตรฐานนี้เปรียบเทียบ Dataflow Gen1, Dataflow Gen2 และ Dataflow Gen2 (CI/CD) โดยใช้สถานการณ์การนําเข้าและการแปลงที่เหมือนกัน

สถานการณ์สมมติ

• แหล่งที่มา: ชุดข้อมูล NYC Taxi ที่เก็บไว้ในที่เก็บข้อมูล Azure Blob
• ปริมาณข้อมูล: ~110 ล้านแถว
• การแปลง: การแปลงแบบแถวต่อแถวระหว่างการนําเข้า
• จุดหมายปลายทาง:
  • รุ่นที่ 1: CSV
  • Gen2 / Gen2 (CI/CD): เลคเฮาส์ (เอาต์พุตเริ่มต้น)

ผลลัพธ์

ข้อสังเกต

• กระแสข้อมูล Gen1 และกระแสข้อมูล Gen2 แสดงเวลาดําเนินการที่เปรียบเทียบได้สําหรับสถานการณ์การแปลงแบบแถวต่อแถวนี้
• กระแสข้อมูล Gen2 (CI/CD) ทํางานปริมาณงานเดียวกันให้เสร็จสมบูรณ์ในเวลาประมาณครึ่งหนึ่ง
• การปรับปรุงประสิทธิภาพขับเคลื่อนโดยกลไกการประเมินคิวรีสมัยใหม่ ซึ่งช่วยลดค่าใช้จ่ายในการประมวลผลต่อแถวและปรับการดําเนินการให้เหมาะสมสําหรับปริมาณงานการนําเข้าขนาดใหญ่

ผู้ประเมินมรดกกับผู้ประเมินสมัยใหม่

เกณฑ์มาตรฐานนี้เปรียบเทียบกลไกการประเมินแบบดั้งเดิมและกลไกการประเมินคิวรีสมัยใหม่ภายใน Dataflow Gen2 (CI/CD) ภายใต้รูปแบบคิวรีทั่วไปสองรูปแบบ

สถานการณ์สมมติ

• แหล่งข้อมูล: ชุดข้อมูล NYC Taxi ที่จัดเก็บไว้ใน SQL
• ปริมาณข้อมูล: ~110 ล้านแถว
• ที่หมายปลายทาง: Fabric Lakehouse

ผลลัพธ์

ข้อสังเกต

กลไกการประเมินคิวรีสมัยใหม่ให้การปรับปรุงประสิทธิภาพอย่างมีนัยสําคัญเนื่องจากรันไทม์ที่มีประสิทธิภาพมากขึ้นและค่าใช้จ่ายในการดําเนินการที่ลดลงโดยไม่คํานึงว่าคิวรีจะพับหรือไม่

เนื้อหาที่เกี่ยวข้อง

• เกณฑ์มาตรฐานต้นทุนและประสิทธิภาพของ Dataflow Gen2
• ราคาของ Dataflow Gen2