แนวทางปฏิบัติที่ดีที่สุดสําหรับการทํางานที่ดีที่สุดด้วย Dataflow Gen2

บทความนี้ให้แนวทางปฏิบัติที่ดีที่สุดสําหรับการปรับประสิทธิภาพการทํางานของ Dataflow Gen2 ใน Fabric Data Factory ให้เหมาะสม ด้วยการปฏิบัติตามหลักเกณฑ์เหล่านี้ คุณสามารถเพิ่มประสิทธิภาพและความเร็วของกระบวนการรวมข้อมูลของคุณ

สิ่งที่คุณจะได้เรียนรู้

ในบทความนี้ คุณจะพบ:

• พื้นที่การปรับประสิทธิภาพให้เหมาะสมหลัก: การทําความเข้าใจองค์ประกอบที่สําคัญสามอย่าง (แหล่งข้อมูล กลไกจัดการกระแสข้อมูล และปลายทางของข้อมูลที่ส่งผลกระทบต่อประสิทธิภาพการทํางานของกระแสข้อมูลของคุณ)
• เทคนิคการปรับให้เหมาะสมหลัก: วิธีการใช้ประโยชน์จากสําเนาด่วน การพับคิวรี และการกําหนดระยะเพื่อเพิ่มประสิทธิภาพสูงสุด
• สถานการณ์จริง: ความท้าทายด้านประสิทธิภาพทั่วไปและโซลูชันเฉพาะ
• แนวทางปฏิบัติที่ดีที่สุด: คําแนะนําที่นําไปใช้ได้จริงสําหรับรูปแบบการรวมข้อมูลและกรณีการใช้งานที่แตกต่างกัน

อะไรคือประเด็นสําคัญที่ต้องเน้นเพื่อการปรับประสิทธิภาพให้เหมาะสมที่สุด

ภายในประสบการณ์กระแสข้อมูลสิ้นสุดมีหลายพื้นที่สําคัญที่จะมุ่งเน้นเพื่อการปรับประสิทธิภาพให้เหมาะสมที่สุด พื้นที่เหล่านี้รวมถึงการเคลื่อนไหวของข้อมูล กลไกกระแสข้อมูล และการแปลงข้อมูล แต่ละองค์ประกอบเหล่านี้และเส้นทางในระหว่างมีบทบาทสําคัญในประสิทธิภาพโดยรวมของกระแสข้อมูลของคุณ และการปรับให้เหมาะสมอาจนําไปสู่การปรับปรุงที่สําคัญในเวลาการดําเนินการและการใช้ประโยชน์จากทรัพยากร

การเคลื่อนไหวของข้อมูล

การเคลื่อนไหวข้อมูลเป็นส่วนสําคัญของประสิทธิภาพกระแสข้อมูล ซึ่งเกี่ยวข้องกับการถ่ายโอนข้อมูลระหว่างส่วนประกอบต่าง ๆ เช่น แหล่งข้อมูล พื้นที่จัดเตรียม และปลายทางสุดท้าย การเคลื่อนไหวของข้อมูลที่มีประสิทธิภาพสามารถลดเวลาการดําเนินการและการใช้ทรัพยากรได้อย่างมาก ใน Dataflow Gen2 การเคลื่อนไหวข้อมูลถูกปรับให้เหมาะสมที่สุดผ่านเทคนิคต่าง ๆ เช่น Fast Copy ซึ่งช่วยให้สามารถถ่ายโอนข้อมูลอัตราความเร็วสูงได้โดยไม่ต้องเสียค่าใช้จ่ายในการแปลงที่ไม่ได้พับไปยังระบบต้นทาง เรียนรู้เพิ่มเติมเกี่ยวกับการทําสําเนาด่วน

การแปลงข้อมูล

การแปลงข้อมูลคือกระบวนการในการแปลงข้อมูลจากโครงสร้างหนึ่งไปเป็นอีกโครงสร้างหนึ่ง ซึ่งมักจะเกี่ยวข้องกับการดําเนินการ เช่น การกรอง การรวม และการเข้าร่วม ใน Dataflow Gen2 การแปลงข้อมูลถูกออกแบบมาเพื่อให้มีประสิทธิภาพและใช้ความสามารถในการพับคิวรีเมื่อใดก็ตามที่เป็นไปได้ การพับคิวรีช่วยให้สามารถผลักดันการแปลงไปยังระบบต้นทางลดจํานวนข้อมูลที่ถ่ายโอนและประมวลผลใน Dataflow Gen2 การลดนี้มีความสําคัญอย่างยิ่งสําหรับชุดข้อมูลขนาดใหญ่ เนื่องจากจะลดปริมาณงานในกลไกกระแสข้อมูลและเพิ่มความเร็วในการดําเนินการ เมื่อต้องการเรียนรู้เพิ่มเติมเกี่ยวกับการพับคิวรี ไปที่ การพับคิวรี นอกจากนี้ยังปฏิบัติตามแนวทางปฏิบัติที่ดีที่สุดอื่น ๆ สําหรับการปรับคิวรีให้เหมาะสม เช่น การกรองตั้งแต่ต้นและบ่อยครั้ง การใช้การกําหนดพารามิเตอร์เพื่อจํากัดการแสดงตัวอย่างข้อมูล และหลีกเลี่ยงการแปลงที่ไม่จําเป็นในกระแสข้อมูลของคุณ หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับการเพิ่มประสิทธิภาพการค้นหา ให้ไปที่ การเพิ่มประสิทธิภาพการค้นหา

ข้อมูลการแบ่งระยะและการคํานวณคลังสินค้า

ข้อมูลการแบ่งระยะเป็นเทคนิคที่ใช้เพื่อปรับปรุงประสิทธิภาพการทํางานโดยการจัดเก็บผลลัพธ์ขั้นกลางชั่วคราวในพื้นที่การจัดเตรียม กระแสข้อมูล Gen2 มาพร้อมกับเลคเฮ้าส์จัดเตรียมและคลังสินค้าจัดเตรียมซึ่งสามารถใช้เพื่อทําการแปลงข้อมูลได้อย่างมีประสิทธิภาพมากขึ้น ด้วยการแสดงข้อมูล คุณสามารถใช้ทรัพยากรการคํานวณของพื้นที่จัดเตรียมเหล่านี้เพื่อแบ่งกระแสข้อมูลที่ซับซ้อนออกเป็นขั้นตอนที่จัดการได้ ซึ่งลดเวลาการประมวลผลโดยรวม รายละเอียดนี้มีประโยชน์อย่างยิ่งสําหรับชุดข้อมูลขนาดใหญ่หรือการแปลงที่ซับซ้อน ซึ่งอาจใช้เวลานานในการดําเนินการในขั้นตอนเดียว คุณสามารถพิจารณาให้ตําแหน่งที่ตั้งจัดเตรียมเป็นพื้นที่เก็บชั่วคราวที่ช่วยให้คุณสามารถพับการแปลงได้ วิธีการนี้เป็นประโยชน์โดยเฉพาะอย่างยิ่งเมื่อทํางานกับแหล่งข้อมูลที่ไม่สนับสนุนการพับคิวรีหรือเมื่อการแปลงข้อมูลซับซ้อนเกินไปที่จะผลักดันลงไปที่ระบบต้นทาง หากต้องการใช้สเตจจิ้งอย่างมีประสิทธิภาพ คุณสามารถเฝ้าดูตัวบ่งชี้การพับในตัวแก้ไขกระแสข้อมูลเพื่อให้แน่ใจว่าการแปลงข้อมูลของคุณจะถูกผลักลงไปที่แหล่งข้อมูล ถ้าคุณสังเกตเห็นว่าการแปลงไม่ใช่การพับ ให้ลองแยกคิวรีออกเป็นสองคิวรี และใช้การแปลงในคิวรีที่สอง เปิดใช้งานการจัดเตรียมบนคิวรีแรกเพื่อดําเนินการแปลงในการคํานวณ staging Lakehouse หรือ Warehouse วิธีนี้ช่วยให้คุณสามารถใช้ประโยชน์จากทรัพยากรการคํานวณที่มีอยู่ในพื้นที่จัดเตรียมในขณะที่ทําให้แน่ใจว่ากระแสข้อมูลของคุณยังคงมีประสิทธิภาพและตอบสนองได้

เมื่อคุณมีข้อมูลที่จัดเตรียมไว้แล้วใน Lakehouse หรือ Warehouse และคุณใช้การแปลงเพิ่มเติมที่พับอย่างสมบูรณ์ในคิวรีต่อไปนี้ วิธีนี้อาจเร็วกว่าการเขียนไปยัง Lakehouse การแสดง เนื่องจากชุดข้อมูลสามารถเขียนแบบขนานโดย DW และจะผ่านการกระโดดเครือข่ายน้อยลงด้วยขั้นตอนการทําให้เป็นอนุกรมที่สอดคล้องกัน

สถานการณ์และการปรับให้เหมาะสมที่ต้องพิจารณา

เมื่อทํางานกับกระแสข้อมูล Gen2 คุณจําเป็นต้องทําความเข้าใจสถานการณ์ต่าง ๆ ที่คุณอาจพบและวิธีการปรับประสิทธิภาพให้เหมาะสมในแต่ละกรณี ข้อควรพิจารณาต่อไปนี้ให้คําแนะนําในทางปฏิบัติเกี่ยวกับวิธีการใช้แนวทางปฏิบัติที่ดีที่สุดกับสถานการณ์จริง ด้วยการปรับแต่งวิธีการของคุณตามลักษณะเฉพาะของข้อมูลและการแปลงของคุณ คุณสามารถบรรลุประสิทธิภาพที่เหมาะสมที่สุดในเวิร์กโฟลว์การรวมข้อมูลของคุณ ต่อไปนี้เป็นสถานการณ์ทั่วไปที่คุณอาจพบเมื่อทํางานกับ Dataflow Gen2 พร้อมกับการดําเนินการที่แนะนําเพื่อปรับประสิทธิภาพให้เหมาะสม โปรดทราบว่าการปรับประสิทธิภาพให้เหมาะสมเป็นกระบวนการที่ดําเนินอยู่และมีความเฉพาะเจาะจงมากกับสถานการณ์ของคุณ คุณอาจจําเป็นต้องปรับวิธีการของคุณตามลักษณะเฉพาะของข้อมูลและการแปลงของคุณเอง

ข้อควรพิจารณา 1: ปรับปรุงการเคลื่อนไหวข้อมูลด้วยสําเนาด่วน

ในสถานการณ์นี้ คุณสังเกตเห็นว่าการเคลื่อนย้ายข้อมูลระหว่างแหล่งข้อมูลของคุณและพื้นที่จัดเตรียมข้อมูล หรือปลายทางสุดท้ายของคุณใช้เวลานานกว่าที่คาดไว้ อาจมีหลายปัจจัยที่เกี่ยวข้อง เช่น เวลาแฝงของเครือข่าย ขนาดชุดข้อมูลขนาดใหญ่ หรือวิธีการถ่ายโอนข้อมูลที่ไม่มีประสิทธิภาพ

ในกรณีนี้ ให้พิจารณาประเมินเส้นทางการเคลื่อนไหวของข้อมูลและปรับให้เหมาะสมเพื่อประสิทธิภาพการทํางานที่ดีขึ้น วิธีหนึ่งคือการใช้ Fast Copy สําหรับการถ่ายโอนข้อมูลอัตราความเร็วสูงซึ่งสามารถลดรันไทม์ได้อย่างมาก Fast Copy ได้รับการออกแบบมาเพื่อจัดการข้อมูลจํานวนมากได้อย่างมีประสิทธิภาพ ลดค่าใช้จ่ายที่เชื่อมโยงกับวิธีการถ่ายโอนข้อมูลแบบดั้งเดิม อย่างไรก็ตาม โปรดระมัดระวัง: ถ้าคุณเพิ่มการแปลงในคิวรีเดียวกันกับการดําเนินการสําเนาด่วน การดําเนินการนี้สามารถปิดใช้งานสําเนาด่วนถ้าการแปลงไม่พับไปยังระบบต้นทาง ในกรณีดังกล่าว ให้ลองแยกคิวรีออกเป็นสองขั้นตอน: ขั้นตอนแรกสําหรับการดําเนินการ คัดลอกอย่างรวดเร็ว และอีกขั้นตอนสําหรับการแปลงโดยใช้การคํานวณ staging Lakehouse หรือ Warehouse วิธีนี้ช่วยให้คุณสามารถใช้ประโยชน์จากสําเนาด่วนสําหรับการเคลื่อนไหวข้อมูลอัตราความเร็วสูงในขณะที่ดําเนินการแปลงที่จําเป็นในขั้นตอนแยกต่างหาก เรียนรู้เพิ่มเติมเกี่ยวกับการทําสําเนาด่วน

คุณสามารถเปิดใช้งานสําเนาด่วนในการตั้งค่ากระแสข้อมูล การตั้งค่านี้เปิดใช้งานโดยค่าเริ่มต้น แต่คุณยังสามารถกําหนดให้ใช้สําเนาด่วนสําหรับคิวรีเฉพาะในกระแสข้อมูลของคุณได้ เมื่อต้องการทําเช่นนี้ ให้เลือกตัวเลือก ต้องมีการคัดลอกอย่างรวดเร็ว ในการตั้งค่าคิวรี การดําเนินการนี้ช่วยให้แน่ใจว่า Fast Copy ถูกใช้สําหรับแบบสอบถามที่เลือก และละเว้นเกณฑ์ขนาดต่ําสุดสําหรับ Fast Copy การตั้งค่านี้มีประโยชน์อย่างยิ่งเมื่อคุณต้องการให้แน่ใจว่า 'สําเนาด่วน' ถูกใช้สําหรับแบบสอบถามที่เฉพาะเจาะจง โดยไม่คํานึงถึงขนาดข้อมูลหรือเงื่อนไขอื่นๆ ถ้าคุณต้องการ Fast Copy ตรวจสอบให้แน่ใจว่า แหล่งข้อมูลเข้ากันได้กับ Fast Copy และการแปลงในแบบสอบถามสามารถผลักดันลงไปยังระบบต้นทางได้ ถ้าคุณต้องการ Fast Copy ในแบบสอบถามที่เข้ากันไม่ได้กับ Fast Copy กระแสข้อมูลจะล้มเหลว ถ้าคุณไม่ต้องการ Fast Copy กระแสข้อมูลจะยังคงทํางาน แต่สามารถย้อนกลับไปใช้วิธีการย้ายข้อมูลเริ่มต้น ซึ่งอาจไม่มีประสิทธิภาพเท่ากับ Fast Copy ความยืดหยุ่นนี้ช่วยให้คุณสามารถเพิ่มประสิทธิภาพกระแสข้อมูลของคุณตามข้อกําหนดเฉพาะของกระบวนการรวมข้อมูลของคุณ

ข้อควรพิจารณา 2: ปรับปรุงเวลาการดําเนินการสําหรับการแปลงข้อมูลที่ซับซ้อนโดยใช้การจัดเตรียม

ในสถานการณ์นี้ คุณมีกระแสข้อมูลที่มีการแปลงที่ซับซ้อนหลายรายการ เช่น การรวม การรวม และการกรอง เวลาการดําเนินการใช้เวลานานกว่าที่ต้องการ และคุณต้องการปรับประสิทธิภาพของการแปลงเหล่านี้ให้เหมาะสม

ในกรณีนี้ พิจารณาแบ่งกระแสข้อมูลออกเป็นขั้นตอนที่เล็กลงและสามารถจัดการได้มากขึ้น แทนที่จะดําเนินการแปลงทั้งหมดในคิวรีเดียว คุณสามารถจัดลําดับขั้นข้อมูลในจัดเตรียมเลคเฮ้าส์หรือคลัง ข้อมูล จากนั้นใช้การแปลงข้อมูลในคิวรีต่อ ๆ ไปในภายหลัง วิธีนี้ช่วยให้คุณสามารถใช้ทรัพยากรการคํานวณของพื้นที่จัดเตรียมข้อมูลสําหรับการแปลงที่ซับซ้อนซึ่งช่วยลดเวลาการดําเนินการโดยรวม นอกจากนี้ ตรวจสอบให้แน่ใจว่าการแปลงของคุณได้รับการออกแบบมาเพื่อพับไปยังระบบต้นทางเมื่อใดก็ตามที่เป็นไปได้ เนื่องจากสิ่งนี้สามารถปรับปรุงประสิทธิภาพการทํางานได้อย่างมากโดยลดจํานวนข้อมูลที่ถ่ายโอนและประมวลผลใน Dataflow Gen2 หากคุณสังเกตเห็นว่าการแปลงข้อมูลบางอย่างไม่ได้พับให้พิจารณาแยกออกเป็นคิวรีที่แยกต่างหากและนําไปใช้หลังจากจัดเตรียมข้อมูล

ในรูปต่อไปนี้ ให้สังเกตว่าตัวบ่งชี้การพับในตัวแก้ไขกระแสข้อมูลสามารถช่วยให้คุณระบุการแปลงที่กําลังถูกผลักลงไปที่ระบบต้นทางได้อย่างไร

หากต้องการใช้การจัดเตรียมอย่างมีประสิทธิภาพ คุณสามารถแยกกระแสข้อมูลออกเป็นสองคิวรีได้ คุณทําได้โดยคลิกขวาที่ขั้นตอนแรกที่ไม่พับไปยังระบบต้นทาง และเลือกตัวเลือก แยกข้อมูลก่อนหน้า การดําเนินการนี้จะสร้างคิวรีใหม่ที่จัดรูปแบบข้อมูลในเลคเฮ้าส์หรือการคํานวณ Warehouse เพื่อให้คุณสามารถดําเนินการแปลงในขั้นตอนที่แยกต่างหากได้ วิธีนี้ช่วยให้คุณใช้ประโยชน์จากทรัพยากรการคํานวณที่มีอยู่ในพื้นที่จัดเตรียมในขณะที่ทําให้แน่ใจว่ากระแสข้อมูลของคุณยังคงมีประสิทธิภาพและตอบสนองได้

จากนั้นใส่ชื่อสําหรับคิวรีใหม่และเลือก "ตกลง"

ในตอนนี้ด้วยคิวรีใหม่ที่สร้างขึ้น คุณสามารถตรวจสอบว่ามีการเปิดใช้งานการกําหนดระยะสําหรับคิวรีแรกหรือไม่ หากไม่ได้เปิดใช้งานการจัดเตรียม คุณสามารถเปิดใช้งานได้โดยเลือกตัวเลือก เปิดใช้งานการจัดเตรียม ในการตั้งค่าการสอบถาม การดําเนินการนี้ช่วยให้คุณสามารถดําเนินการแปลงข้อมูลในการคํานวณจัดเตรียมของเลคเฮ้าส์หรือคลังสินค้า ปรับประสิทธิภาพของกระแสข้อมูลของคุณให้เหมาะสม การจัดเตรียมคิวรีที่สองเป็นตัวเลือก แต่สามารถปรับปรุงประสิทธิภาพการทํางานเพิ่มเติมโดยช่วยให้คุณสามารถดําเนินการแปลงเพิ่มเติมในพื้นที่จัดเตรียมก่อนที่จะเขียนผลลัพธ์สุดท้ายไปยังปลายทางได้

ถ้าคุณดูที่ตัวบ่งชี้การพับในตัวแก้ไขกระแสข้อมูล การแปลงในคิวรีแรกจะถูกผลักลงไปที่ระบบต้นทาง คิวรีที่สองอาจไม่แสดงตัวบ่งชี้การพับแบบเดียวกัน เนื่องจากเป็นเพียงในระหว่างการรันไทม์เท่านั้นที่จะทราบถึงพื้นที่จัดเตรียมและการแปลงข้อมูลที่สามารถผลักลงไปที่พื้นที่จัดเตรียม

หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับวิธีเพิ่มประสิทธิภาพการแปลงกระแสข้อมูลของคุณ และตรวจสอบให้แน่ใจว่ามีการผลักดันลงไปยังระบบต้นทาง ไปที่ การพับคิวรี

ข้อควรพิจารณา 3: เพิ่มประสิทธิภาพการเคลื่อนย้ายข้อมูลการจัดเตรียมไปยัง Lakehouse สําหรับปลายทาง Lakehouse

ในสถานการณ์นี้ ให้ใช้ปลายทาง Lakehouse สําหรับกระแสข้อมูลของคุณ และเปิดใช้งานการจัดเตรียมเพื่อเรียกใช้การแปลงก่อนที่จะเขียนผลลัพธ์สุดท้าย ตรวจสอบให้แน่ใจว่าขั้นตอนที่ย้ายข้อมูลที่จัดลําดับขั้นไปยัง Lakehouse ไม่ได้เพิ่มค่าใช้จ่ายที่ไม่จําเป็นให้กับเวลารีเฟรชโดยรวม

เลคเฮาส์เป็นจุดหมายปลายทางที่มีประสิทธิภาพสูงและได้รับการสนับสนุนอย่างเต็มที่สําหรับรูปแบบนี้ การเคลื่อนย้ายข้อมูลจากคลังสินค้าจัดเตรียมไปยังปลายทาง Lakehouse ได้รับการปรับให้เหมาะสม คุณจึงไม่จําเป็นต้องเปลี่ยนปลายทางของคุณเป็นคลังสินค้าอีกต่อไปเพื่อให้ได้ประสิทธิภาพที่ดี แนวทางที่แนะนําคือรูปแบบ ELT: ใช้ Fast Copy เพื่อลงจอดข้อมูลอย่างรวดเร็ว รันการแปลงข้อมูลของคุณบนข้อมูลที่จัดเตรียมโดยใช้การคํานวณการจัดเตรียม Fabric และเขียนผลลัพธ์สุดท้ายไปยัง Lakehouse สําหรับชุดข้อมูลขนาดใหญ่ การคัดลอกด่วนยังคงเป็นวิธีที่แนะนําในการย้ายข้อมูลอย่างมีประสิทธิภาพ

เพื่อให้ได้ประโยชน์สูงสุดจากรูปแบบนี้ในวันนี้ ให้แยก Fast Copy และงานการแปลงออกเป็นสองคิวรี: คิวรีหนึ่งที่ทําการย้ายข้อมูล Fast Copy และคิวรีที่สองที่ใช้การแปลงกับข้อมูลที่จัดลําดับขั้นก่อนที่จะเขียนไปยังปลายทาง Lakehouse การรวมการดําเนินการ Fast Copy กับการแปลงแบบไม่พับในแบบสอบถามเดียวกันจะปิดใช้งาน Fast Copy ดังนั้นการเก็บไว้ในแบบสอบถามที่แยกจากกันจึงเป็นสิ่งสําคัญที่ต้องระวัง หากการแปลงของคุณพับไปยังแหล่งที่มาอย่างสมบูรณ์ คุณยังสามารถเขียนโดยตรงไปยัง Lakehouse โดยปิดใช้งานการแสดงละคร

เมื่อคุณจัดเตรียมข้อมูลและเขียนไปยังปลายทางของ Lakehouse ให้เปิดตัวเลือก คัดลอกที่ปรับให้เหมาะสมไปยัง Lakehouse (พรีวิว) บนแท็บ มาตราส่วน เพื่อกําหนดเส้นทางข้อมูลที่จัดเตรียมไปยัง Lakehouse ผ่านเส้นทางการคัดลอกที่เร็วขึ้น ซึ่งจะช่วยลดค่าใช้จ่ายของการกระโดดจากการจัดฉากไปยัง Lakehouse สําหรับข้อมูลเพิ่มเติม โปรดดู ตัวเลือกข้อมูลที่เป็นระยะสําหรับกระแสข้อมูล Gen2

ข้อควรพิจารณา 4: ตัวอย่างข้อมูลขนาดใหญ่ในระหว่างเวลาการออกแบบ

ในสถานการณ์นี้ คุณกําลังทํางานบนกระแสข้อมูลที่มีชุดข้อมูลขนาดใหญ่ และประสบการณ์ในการออกแบบช้าเนื่องจากขนาดของการแสดงตัวอย่างข้อมูล กระบวนการนี้สามารถทําให้ยากต่อการเขียนและทดสอบกระแสข้อมูลของคุณอย่างมีประสิทธิภาพ

ในกรณีนี้ ให้พิจารณาใช้มุมมอง Schema หรือการกําหนดพารามิเตอร์เพื่อจํากัดขนาดของการแสดงตัวอย่างข้อมูล การใช้ตัวกรองที่ยึดตามพารามิเตอร์ เช่น ช่วงวันที่หรือรหัสเฉพาะ คุณสามารถลดจํานวนข้อมูลที่แสดงในสภาพแวดล้อมเวลาการออกแบบได้ วิธีนี้ช่วยให้สภาพแวดล้อมการออกแบบสามารถตอบสนองและมีประสิทธิภาพได้อย่างต่อเนื่อง ช่วยให้คุณสามารถมุ่งเน้นไปที่การเขียนและทดสอบกระแสข้อมูลของคุณโดยไม่ต้องถูกขัดขวางจากการแสดงตัวอย่างข้อมูลขนาดใหญ่ นอกจากนี้ คุณสามารถปรับพารามิเตอร์ในระหว่างรันไทม์เพื่อเรียกใช้ชุดข้อมูลทั้งหมดเมื่อจําเป็น

ตัวอย่างเช่น ถ้าคุณกําลังทํางานกับชุดข้อมูลทรานแซคชันขนาดใหญ่ คุณสามารถสร้างพารามิเตอร์ที่กรองข้อมูลตามช่วงวันที่ที่ระบุได้ ด้วยวิธีนี้ ในระหว่างเวลาการออกแบบ คุณจะเห็นเฉพาะชุดย่อยของข้อมูลที่เกี่ยวข้องกับงานปัจจุบันของคุณเท่านั้น เมื่อคุณพร้อมที่จะเรียกใช้กระแสข้อมูล คุณสามารถปรับพารามิเตอร์ให้รวมชุดข้อมูลทั้งหมดเพื่อให้แน่ใจว่ากระบวนการรวมข้อมูลของคุณยังคงมีประสิทธิภาพและตอบสนองได้ ตัวอย่างต่อไปนี้แสดงวิธีการตั้งค่าพารามิเตอร์ใน Dataflow Gen2:

1. เลือกตัวเลือก จัดการพารามิเตอร์ ในตัวแก้ไขกระแสข้อมูล

2. เลือกปุ่ม เพิ่มพารามิเตอร์ เพื่อเพิ่มพารามิเตอร์ใหม่

   

3. กรอกรายละเอียดพารามิเตอร์ เช่น ชื่อ ชนิด และค่า ตัวอย่างเช่น คุณสามารถสร้างพารามิเตอร์ที่ชื่อ DesignDateFilter ของชนิด DateTime ที่มีค่าเริ่มต้นที่จํากัดการแสดงตัวอย่างข้อมูลไว้ที่ช่วงวันที่ที่ระบุ

   

4. ใช้พารามิเตอร์ในคิวรีกระแสข้อมูลของคุณโดยใช้ในเงื่อนไขตัวกรอง ตัวอย่างเช่น คุณสามารถกรองข้อมูลตามพารามิเตอร์ DesignDateFilter เพื่อจํากัดการแสดงตัวอย่างข้อมูลไว้ที่ช่วงวันที่ที่ระบุ ในกรณีนี้ เราจะกรองข้อมูลเพื่อรวมเฉพาะระเบียนที่คอลัมน์ "วันที่" มากกว่าพารามิเตอร์ DesignDateFilter

   

5. ตอนนี้คุณสามารถใช้พารามิเตอร์ DesignDateFilter ในคิวรีกระแสข้อมูลของคุณเพื่อจํากัดการแสดงตัวอย่างข้อมูลระหว่างเวลาออกแบบ เมื่อคุณพร้อมที่จะเรียกใช้กระแสข้อมูล คุณสามารถปรับค่าพารามิเตอร์ให้รวมชุดข้อมูลทั้งหมดเพื่อให้แน่ใจว่ากระบวนการรวมข้อมูลของคุณยังคงมีประสิทธิภาพและตอบสนองได้

   

อีกทางเลือกหนึ่งคือการใช้มุมมองสคีมา ซึ่งช่วยให้คุณดูโครงสร้างของข้อมูลได้โดยไม่ต้องโหลดชุดข้อมูลทั้งหมด มุมมองนี้แสดงภาพรวมระดับสูงของชนิดข้อมูลและคอลัมน์ในชุดข้อมูลของคุณ ซึ่งช่วยให้คุณสามารถออกแบบและทดสอบกระแสข้อมูลของคุณได้โดยไม่ได้รับผลกระทบจากการแสดงตัวอย่างข้อมูลขนาดใหญ่ เมื่อต้องการสลับไปยังมุมมอง Schema ให้เลือกตัวเลือก มุมมอง Schema ในตัวแก้ไขกระแสข้อมูล

ข้อควรพิจารณา 5: ลักษณะรันไทม์กระแสข้อมูล gen2 เมื่อเทียบกับกระแสข้อมูลรุ่น 1

ในสถานการณ์นี้ คุณสังเกตเห็นว่าประสิทธิภาพการทํางานของ Dataflow Gen2 ช้ากว่า Dataflow Gen1 โดยเฉพาะอย่างยิ่งในแง่ของเวลาการดําเนินการและการใช้ทรัพยากร ความแตกต่างของประสิทธิภาพการทํางานนี้อาจเกิดจากหลายปัจจัย รวมถึงความแตกต่างในเทคนิคการปรับให้เหมาะสมและรูปแบบเอาต์พุตที่ใช้ใน Dataflow Gen2

กระแสข้อมูล Gen2 ปล่อยข้อมูลในรูปแบบ Delta Parquet เมื่อคุณใช้ปลายทางสเตจจิ้งหรือเลคเฮ้าส์ ซึ่งแตกต่างจากผลลัพธ์ CSV ของกระแสข้อมูล Gen1 แม้ว่า Delta Parquet อาจส่งผลให้รันไทม์ ETL นานกว่าเมื่อเทียบกับ CSV แต่มันทําให้สามารถประมวลผลได้มีประสิทธิภาพเช่น Direct Lake, Lakehouses และ Warehouses ทําให้บริการเหล่านี้สามารถใช้ข้อมูลได้อย่างมีประสิทธิภาพโดยไม่มีการประมวลผลหรือค่าใช้จ่ายเพิ่มเติม ความแตกต่างนี้ในวิธีการจัดเก็บข้อมูลหมายความว่าในขณะที่เวลาการดําเนินการเริ่มต้นอาจนานกว่าประสิทธิภาพโดยรวมและประสิทธิภาพของกระบวนการปลายทางสามารถปรับปรุงได้อย่างมากและสามารถนําไปสู่ประสิทธิภาพในระยะยาวที่ดีขึ้นของเวิร์กโฟลว์การรวมข้อมูลของคุณ เรียนรู้เพิ่มเติมเกี่ยวกับ รูปแบบ Delta Parquet

ข้อควรพิจารณา 6: การปรับเวลาการรีเฟรชให้เหมาะสมสําหรับชุดข้อมูลทรานแซคชันขนาดใหญ่โดยใช้การรีเฟรชแบบเพิ่มหน่วย

ในสถานการณ์นี้ คุณกําลังจัดการกับชุดข้อมูลทรานแซคชันขนาดใหญ่ที่มีการอัปเดตบ่อยครั้ง และคุณต้องการปรับเวลาการรีเฟรชของกระแสข้อมูลของคุณให้เหมาะสม การปรับให้เหมาะสมนี้อาจเป็นเรื่องยาก เนื่องจากปริมาณของข้อมูลและความจําเป็นในการประมวลผลเฉพาะระเบียนใหม่หรือระเบียนที่เปลี่ยนแปลง

ในกรณีนี้ ให้พิจารณาใช้การรีเฟรชแบบเพิ่มหน่วยหรือรูปแบบเพื่อเพิ่มข้อมูล amass การรีเฟรชแบบเพิ่มหน่วยช่วยให้คุณสามารถประมวลผลเฉพาะข้อมูลใหม่หรือข้อมูลที่เปลี่ยนแปลงได้ตั้งแต่การรีเฟรชครั้งล่าสุด ลดปริมาณข้อมูลที่ประมวลผลและเร่งเวลาการดําเนินการโดยรวม วิธีการนี้มีประโยชน์อย่างยิ่งสําหรับสถานการณ์ที่มีการอัปเดตข้อมูลบ่อยครั้ง เช่น ในระบบทรานแซคชัน โดยการใช้การรีเฟรชแบบเพิ่มหน่วย คุณสามารถปรับประสิทธิภาพการทํางานของกระแสข้อมูลของคุณให้เหมาะสมและทําให้แน่ใจว่ากระบวนการรวมข้อมูลของคุณยังคงมีประสิทธิภาพและตอบสนองได้ เรียนรู้เพิ่มเติมเกี่ยวกับการรีเฟรชแบบเพิ่มหน่วยหรือเรียนรู้เกี่ยวกับรูปแบบการสะสมข้อมูลแบบเพิ่มหน่วย

ข้อควรพิจารณา 7: ฉันกําลังใช้เกตเวย์เพื่อเชื่อมต่อกับแหล่งข้อมูลภายในองค์กรของฉัน และฉันต้องการปรับประสิทธิภาพของกระแสข้อมูลให้เหมาะสม

ในสถานการณ์นี้ คุณกําลังใช้เกตเวย์เพื่อเชื่อมต่อกับแหล่งข้อมูลภายในองค์กรของคุณ และคุณต้องการปรับประสิทธิภาพของกระแสข้อมูลของคุณให้เหมาะสม เกตเวย์สามารถเพิ่มเวลาแฝงและค่าใช้จ่ายเพิ่มเติม ซึ่งสามารถส่งผลกระทบต่อประสิทธิภาพโดยรวมของกระแสข้อมูลของคุณ

ในกรณีนี้ พิจารณาแยกกระแสข้อมูลของคุณออกเป็นกระแสข้อมูลที่แยกจากกันสองรายการ: หนึ่งสําหรับการย้ายข้อมูลจากแหล่งข้อมูลในองค์กรไปยังปลายทางข้อมูล (เช่น Lakehouse หรือ Warehouse) และอีกกระแสสําหรับการแปลงและผลลัพธ์สุดท้าย วิธีนี้ช่วยให้คุณสามารถปรับขั้นตอนการเคลื่อนไหวข้อมูลให้เหมาะสมโดยการใช้ประโยชน์จาก Fast Copy เพื่อการถ่ายโอนข้อมูลปริมาณงานสูงในขณะที่ยังคงขั้นตอนการแปลงที่มุ่งเน้นไปที่การประมวลผลข้อมูลอย่างมีประสิทธิภาพและลดเวลาการดําเนินการโดยรวม คุณสามารถลดผลกระทบของเวลาแฝงเกตเวย์และข้อจํากัดของความจุ ได้โดยแยกขั้นตอนการย้ายข้อมูลและการแปลงข้อมูล เหตุผลสําหรับเรื่องนี้คือเกตเวย์กําลังทํางานกระแสข้อมูลทั้งหมดและหากกระแสข้อมูลซับซ้อนหรือมีการแปลงหลายอย่างอาจทําให้ประสิทธิภาพการทํางานช้าลงเมื่อเกตเวย์ประมวลผลการแปลงทั้งหมดบนคอมพิวเตอร์ที่โฮสต์เกตเวย์ โดยการแยกกระแสข้อมูล คุณสามารถมั่นใจได้ว่าเกตเวย์จะรับผิดชอบเฉพาะขั้นตอนการย้ายข้อมูลเท่านั้น ซึ่งสามารถปรับปรุงประสิทธิภาพการทํางานและลดเวลาการดําเนินการได้อย่างมาก

ข้อควรพิจารณา 8: ฉันกําลังใช้ตัวเชื่อมต่อกระแสข้อมูลเพื่อใช้ข้อมูลจากกระแสข้อมูลจากกระแสข้อมูลและต้องการปรับกระบวนการรวมข้อมูลของฉันให้เหมาะสม

ในสถานการณ์นี้ คุณกําลังใช้ตัวเชื่อมต่อกระแสข้อมูลเพื่อใช้ข้อมูลจากกระแสข้อมูลของคุณ และคุณต้องการปรับกระบวนการรวมข้อมูลของคุณให้เหมาะสม ตัวเชื่อมต่อกระแสข้อมูลสามารถให้วิธีที่สะดวกในการเข้าถึงและใช้ข้อมูล

ในกรณีนี้ ให้พิจารณาใช้ปลายทางของข้อมูลแทนตัวเชื่อมต่อกระแสข้อมูลสําหรับการใช้งานข้อมูลจากกระแสข้อมูลของคุณ ปลายทางของข้อมูลเช่นเลคเฮ้าส์และคลังสินค้าได้รับการออกแบบมาเพื่อจัดเก็บและให้บริการข้อมูลอย่างมีประสิทธิภาพช่วยให้คุณสามารถใช้ความสามารถของพวกเขาสําหรับการบริโภคปลายทาง ข้อดีสําคัญของการใช้ปลายทางข้อมูลคือมักจะให้บริการวิธีการเชื่อมต่อข้อมูลทั่วไป เช่น ปลายทางวิเคราะห์ SQL หรือใช้ความสามารถของ Direct Lake ซึ่งช่วยปรับปรุงประสิทธิภาพและลดการใช้ทรัพยากรได้อย่างมาก

ข้อควรพิจารณา 9: เปิดใช้งาน Modern Evaluator เพื่อปรับปรุงประสิทธิภาพการดําเนินการคิวรี

ในสถานการณ์นี้ คุณต้องการปรับปรุงประสิทธิภาพโดยรวมของกระแสข้อมูลของคุณ โดยเฉพาะอย่างยิ่งสําหรับการแปลงที่ซับซ้อน หรือเมื่อทํางานกับตัวเชื่อมต่อที่ไม่สนับสนุนการพับคิวรี

ในกรณีนี้ ให้พิจารณาเปิดใช้งานกลไกการประเมินคิวรีสมัยใหม่ (Modern Evaluator) สําหรับกระแสข้อมูล Gen2 ของคุณด้วย CI/CD Modern Evaluator เป็นกลไกการดําเนินการคิวรีใหม่ที่ทํางานบน .NET Core 8 ที่สามารถปรับปรุงประสิทธิภาพของการเรียกใช้กระแสข้อมูลได้อย่างมาก ขอแนะนําให้เปิดใช้งานคุณลักษณะนี้เสมอสําหรับสถานการณ์ที่ได้รับการสนับสนุน เนื่องจากมีประโยชน์หลักหลายประการ:

• การดําเนินการกระแสข้อมูลที่เร็วขึ้น: กลไกจัดการที่ทันสมัยสามารถลดเวลาในการประเมินคิวรีได้อย่างมาก กระแสข้อมูลจํานวนมากทํางานเร็วขึ้นอย่างเห็นได้ชัด ทําให้คุณสามารถรีเฟรชข้อมูลได้บ่อยขึ้นหรือตอบสนองกรอบเวลาการรีเฟรชที่แน่นหนา
• การประมวลผลที่มีประสิทธิภาพมากขึ้น: เอ็นจิ้นได้รับการปรับให้เหมาะสมเพื่อประสิทธิภาพ โดยใช้อัลกอริทึมที่ได้รับการปรับปรุงและรันไทม์ที่ทันสมัย ซึ่งหมายความว่าสามารถจัดการการแปลงที่ซับซ้อนโดยมีค่าใช้จ่ายน้อยลง ซึ่งช่วยรักษาประสิทธิภาพเมื่อปริมาณข้อมูลของคุณเพิ่มขึ้น
• ความสามารถในการปรับขนาดและความน่าเชื่อถือ: ด้วยการเร่งการดําเนินการและลดปัญหาคอขวด Modern Evaluator ช่วยให้กระแสข้อมูลปรับขนาดเป็นปริมาณที่มากขึ้นและมีเสถียรภาพมากขึ้น คุณสามารถคาดหวังระยะเวลาการรีเฟรชที่สอดคล้องกันมากขึ้นและปัญหาการหมดเวลาน้อยลงในกระแสข้อมูลขนาดใหญ่

Modern Evaluator มีประโยชน์อย่างยิ่งเมื่อ:

• คุณกําลังทํางานกับขั้วต่อแบบพับไม่ได้หรือพับได้บางส่วน
• คุณกําลังใช้ตัวกรอง การสืบทอดคอลัมน์ หรือการดําเนินการล้างข้อมูล
• คุณกําลังจัดการกับปริมาณข้อมูลขนาดใหญ่หรือการแปลงที่ซับซ้อน
• กระแสข้อมูลของคุณทํางานหลายครั้งต่อวัน และคุณต้องประหยัดเวลาสะสม

เมื่อต้องการเปิดใช้งาน Modern Evaluator:

1. เปิดกระแสข้อมูลของคุณในตัวแก้ไข Power Query
2. เลือก ตัวเลือก จากเมนู
3. ไปที่แท็บมาตราส่วน
4. เปิดตัวเลือก กลไกจัดการการประเมินคิวรีสมัยใหม่
5. บันทึกและเรียกใช้กระแสข้อมูลของคุณ

Modern Evaluator รองรับรายการตัวเชื่อมต่อที่เพิ่มขึ้น สําหรับรายการทั้งหมดของตัวเชื่อมต่อที่รองรับและสถานะคุณลักษณะปัจจุบัน โปรดดู Modern Evaluator สําหรับ Dataflow Gen2 ที่มี CI/CD ถ้ากระแสข้อมูลของคุณใช้ตัวเชื่อมต่อที่ไม่อยู่ในรายการที่รองรับ คิวรีเหล่านั้นจะยังคงทํางานด้วยกลไกจัดการมาตรฐานต่อไป

หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับ Modern Evaluator โปรดดู Modern Evaluator for Dataflow Gen2 with CI/CD

Conclusion

ด้วยการทําตามแนวทางปฏิบัติที่ดีที่สุดเหล่านี้และการพิจารณาลักษณะเฉพาะของข้อมูลและการแปลงของคุณ คุณสามารถปรับประสิทธิภาพของกระแสข้อมูล Gen2 ให้เหมาะสมใน Fabric Data Factory ไม่ว่าคุณจะทํางานกับชุดข้อมูลขนาดใหญ่ การแปลงข้อมูลที่ซับซ้อน หรือรูปแบบการรวมข้อมูลที่เฉพาะเจาะจง แนวทางเหล่านี้จะให้ข้อมูลเชิงลึกที่ดําเนินการได้เพื่อปรับปรุงประสิทธิภาพและความเร็วของกระบวนการรวมข้อมูลของคุณ โปรดจําไว้ว่าการปรับประสิทธิภาพให้เหมาะสมเป็นกระบวนการที่ดําเนินอยู่ และคุณอาจจําเป็นต้องปรับวิธีของคุณตามความต้องการที่พัฒนาขึ้นของเวิร์กโฟลว์การรวมข้อมูลของคุณ การตรวจสอบและการปรับกระแสข้อมูลของคุณให้เหมาะสมอย่างต่อเนื่อง คุณจึงมั่นใจได้ว่ากระแสข้อมูลของคุณจะยังคงมีประสิทธิภาพและตอบสนองต่อข้อกําหนดทางธุรกิจของคุณ