กําหนดค่าพูลสดแบบกําหนดเองใน Microsoft Fabric

นําไปใช้กับ:✅ วิศวกรรมข้อมูล Fabric และวิทยาศาสตร์ข้อมูล

พูลสดแบบกําหนดเองคือกลุ่ม Spark ที่ผ่านการเติมน้ําไว้ล่วงหน้า ซึ่งช่วยให้การเริ่มต้นเซสชันสําหรับโน้ตบุ๊กใน Fabric แทบจะทันที บทความนี้แสดงวิธีการสร้าง กําหนดค่า และจัดการพูลสดแบบกําหนดเองเพื่อประสิทธิภาพสูงสุด

ข้อกำหนดเบื้องต้น

ก่อนตั้งค่าไลฟ์พูลแบบกําหนดเอง โปรดตรวจสอบว่าคุณมี:

• การเข้าถึงพื้นที่ทํางาน Fabric ที่มี SKU Fabric แบบชําระเงิน (ไม่รองรับความจุทดลอง Fabric)
• บทบาทผู้ดูแลระบบหรือสมาชิกในพื้นที่ทํางาน
• ความจุ Fabric ที่ใช้งานอยู่ถูกกําหนดให้กับพื้นที่ทํางานของคุณ
• สภาพแวดล้อม Fabric ที่เผยแพร่เพื่อใช้สําหรับการกําหนดค่าไลบรารี
• มีสระว่ายน้ํา Spark แบบกําหนดเองที่มีอยู่แล้ว เฉพาะผู้ดูแลระบบพื้นที่ทํางานเท่านั้นที่สามารถสร้างพูล Spark แบบกําหนดเองได้

หากคุณมีบทบาท สมาชิก ผู้ดูแลระบบพื้นที่ทํางานต้องเปิดใช้งานการตั้งค่า Customize compute for items ที่มีอยู่แล้ว workspace

ใช้การตั้งค่าการปรับแต่งคอมพิวต์ที่มีอยู่

พูลสดแบบกําหนดเองใช้การตั้งค่า Customize compute configuration for items workspace ที่มีอยู่ พวกเขาไม่มีการตั้งค่าการมอบหมายงานแยกต่างหาก ก่อนที่สมาชิกเวิร์กซิสจะสามารถสร้างหรืออัปเดตการกําหนดค่า live pool แบบกําหนดเองได้ ผู้ดูแลระบบเวิร์กซิสต้องเปิดใช้งานการตั้งค่าที่มีอยู่:

1. ไปยังพื้นที่ทํางาน Fabric ของคุณ

2. เลือก การตั้งค่าพื้นที่ทํางาน จาก Ribbon หน้าแรกของพื้นที่ทํางาน

3. ขยาย วิศวกรรมข้อมูล/วิทยาศาสตร์ แล้วเลือกการตั้งค่า Spark

4. เลือกแท็บ พูล

5. เปิดใช้งาน ปรับแต่งการกําหนดค่าการคํานวณสําหรับรายการ

   

6. เลือก บันทึก

เมื่อเปิดใช้งานการตั้งค่านี้ สมาชิกสามารถใช้สภาพแวดล้อม Fabric เพื่อเลือกพูล Spark ที่กําหนดเองที่มีอยู่ ปรับคอร์ไดรเวอร์ระดับเซสชัน หน่วยความจําไดรเวอร์ คอร์รันเตอร์ และหน่วยความจํารันเนอร์ และสร้างหรืออัปเดตการกําหนดค่าพูลสด สมาชิกสามารถบันทึกและเผยแพร่สภาพแวดล้อมได้

การตั้งค่านี้ไม่อนุญาตให้สมาชิกสร้างหรือจัดการ Spark pool แบบกําหนดเองในการตั้งค่าพื้นที่ทํางาน ผู้ดูแลระบบพื้นที่ทํางานต้องสร้าง Spark pool แบบกําหนดเองที่อยู่เบื้องหลัง

เมื่อปิดการตั้งค่า การปรับแต่งการคํานวณสําหรับรายการ สภาพแวดล้อมจะใช้พูลเริ่มต้นของพื้นที่ทํางานและการกําหนดค่าการคํานวณของมัน สมาชิกไม่สามารถสร้างหรืออัปเดตการตั้งค่า live pool แบบกําหนดเองได้จนกว่าผู้ดูแลระบบ workspace จะเปิดใช้งานการตั้งค่านี้

สําหรับข้อมูลเพิ่มเติมเกี่ยวกับการควบคุมพื้นที่ทํางานนี้ ดูที่ การตั้งค่าการจัดการพื้นที่ทํางานของ Data Engineering

สร้างพูลแบบกําหนดเองสําหรับพูลที่ใช้งานจริง (เฉพาะผู้ดูแลระบบ)

งานนี้ต้องการบทบาท Admin workspace หากมีพูล Spark แบบกําหนดเองอยู่แล้ว สมาชิกพื้นที่ทํางานสามารถข้ามงานนี้และกําหนดค่าการคํานวณพูลสดบนพูลที่มีอยู่ได้

1. นําทางไปยังพื้นที่ทํางาน Fabric ของคุณ
2. เลือก การตั้งค่าพื้นที่ทํางาน จาก Ribbon หน้าแรกของพื้นที่ทํางาน
3. ขยาย วิศวกรรมข้อมูล/วิทยาศาสตร์ แล้วเลือกการตั้งค่า Spark
4. เลือกแท็บ พูล
5. จากดรอปดาวน์ พูลเริ่มต้นสําหรับพื้นที่ทํางาน ให้เลือก พูลใหม่
6. ป้อนชื่อสําหรับพูล ชื่อนี้เป็นตัวระบุเฉพาะสําหรับพูล เช่น dev-team-pool หรือprod-daily-analytics
7. เลือก ตระกูลโหนด และ ขนาดโหนด สําหรับปริมาณงานของคุณ
8. เลือกกล่องกาเครื่องหมาย ปรับขนาดอัตโนมัติ เพื่อเปิดใช้งานการปรับขนาดอัตโนมัติสําหรับพูล

กําหนดค่าพูลสด

ผู้ดูแลระบบและสมาชิก Workspace สามารถสร้างหรืออัปเดตการกําหนดค่า live pool ผ่านการตั้งค่าสภาพแวดล้อม สําหรับสมาชิก ผู้ดูแลระบบพื้นที่ทํางานต้องเปิดใช้งาน การตั้งค่าการคํานวณสําหรับรายการก่อน สมาชิกต้องเลือก Spark pool แบบกําหนดเองที่มีอยู่ซึ่งสร้างโดยผู้ดูแลระบบพื้นที่ทํางาน

1. ในพื้นที่ทํางาน Fabric ของคุณ ให้เปิดสภาพแวดล้อมที่คุณต้องการแนบกับพูลสดแบบกําหนดเอง

2. ในบานหน้าต่างด้านซ้าย ให้เลือก คํานวณ

3. เลือกพูลที่คุณสร้างขึ้นในขั้นตอนก่อนหน้าจากดรอปดาวน์

4. ภายใต้พูล สด ให้เลือกปุ่มตัวเลือกเพื่อเปิดใช้งานการประมวลผลพูลสดสําหรับสภาพแวดล้อมนี้

   

5. ภายใต้ กําหนดการพูลสด ให้เลือกปุ่มตัวเลือกเพื่อเปิด พูลสดแบบกําหนดเองทั้งหมดต้องมีกําหนดการ คลัสเตอร์จะคงความชุ่มชื้นไว้ในช่วงหน้าต่างที่กําหนดไว้เท่านั้น

6. ระบุการตั้งค่ากําหนดการ:

   • กําหนดการเป็นกิจวัตรหรือไม่
   • เริ่มต้นและสิ้นสุดวันและเวลา
   • เขตเวลา
   • เมื่อใดที่ควรปิดใช้งานและเปิดใช้งานพูลอีกครั้ง
   • การตั้งค่าอื่นๆ ตามความเหมาะสม

   สำคัญ

   Fabric ใช้การเตรียมใช้งาน Spark มาตรฐานสําหรับกิจกรรมนอกกรอบเวลาที่กําหนดไว้ ซึ่งมีเวลาเริ่มต้นที่ช้าลง คลัสเตอร์จะไม่อบอุ่นนอกหน้าต่างที่กําหนดไว้

   สําหรับเคล็ดลับการจัดกําหนดการ โปรดดู แนวทางปฏิบัติที่ดีที่สุดสําหรับกําหนดการ

7. บันทึกการตั้งค่าการประมวลผล

8. เลือกปุ่ม เผยแพร่ ใน Ribbon ด้านบน

หลังจากที่คุณเผยแพร่ พูลจะทํางานและ Fabric จะเริ่มให้ความชุ่มชื้นคลัสเตอร์ก่อนรอบระยะเวลากําหนดการถัดไป

ทําความเข้าใจหน้าต่างกําหนดเวลา

ตารางเวลากําหนดช่วงเวลาที่ Fabric จะรักษาคลัสเตอร์ให้ชุ่มชื้นและสามารถเติมน้ําให้กับคลัสเตอร์ที่ถูกปิดการทํางานได้ มันไม่ช่วยให้สระน้ําสดอุ่นอยู่นอกหน้าต่างที่ตั้งไว้

ตัวอย่างเช่น ลองพิจารณาตารางเวลาที่เกิดขึ้นซ้ําทุกวันตั้งแต่ 8:00 น. ถึง 17:00 น.

• เวลา 8:00 น. ช่วงเวลากําหนดการประจําวันจะเริ่มขึ้น และ Fabric จะเริ่มหรือดําเนินการเติมน้ําต่อเนื่อง
• ในช่วงเวลาตั้งเวลา คลัสเตอร์ว่างงานสามารถถูกปิดใช้งานหลังจากหมดเวลาว่างที่ตั้งค่าไว้ Fabric สามารถเติมน้ําให้กับเครื่องทดแทนได้ตามช่วงเวลาการเปิดใช้งานที่กําหนดไว้
• เวลา 17:00 น. ช่วงเวลากําหนดการจะสิ้นสุดลง Fabric จะไม่ฟื้นฟูน้ําในกลุ่มระหว่าง 17:00 น. ถึง 8:00 น. ของวันถัดไป
• โน้ตบุ๊กที่ส่งนอกหน้าต่างกําหนดเวลาจะใช้การจัดสรร Spark มาตรฐานและไม่ได้รับประโยชน์จากการเริ่มต้นแบบ live pool
• พฤติกรรมรายวันเดียวกันจะเกิดขึ้นซ้ําจนถึงวันที่สิ้นสุดตารางที่กําหนดไว้

เวลาที่เริ่มตารางไม่ได้รับประกันว่าคลัสเตอร์จะพร้อมใช้งานในเวลานั้นแล้ว การเติมน้ําใช้เวลา โดยเฉพาะหลังการอัปเดตสภาพแวดล้อมหรือเมื่อ Fabric ต้องจัดเตรียมคลัสเตอร์ใหม่ หากสมุดบันทึกที่กําหนดเวลาต้องเริ่มเวลา 8:00 น. ให้เริ่มตาราง live pool เร็วกว่าปกติ 60-90 นาที ก่อนเริ่มทํางานในสมุดบันทึก ให้ใช้ Monitoring hub เพื่อยืนยันว่า คลัสเตอร์ที่มีอยู่ มีค่ามากกว่าศูนย์ โน้ตบุ๊กขาเข้าจะได้รับเซสชันอุ่นก็ต่อเมื่อมีคลัสเตอร์ที่รองรับการดื่มน้ํา

ตรวจสอบสถานะพูล

วิธีตรวจสอบสถานะของไลฟ์พูลแบบกําหนดเองของคุณ:

1. ในพอร์ทัล Fabric ให้เปิดฮับการตรวจสอบ

2. ค้นหาสภาพแวดล้อมที่คุณเผยแพร่ และเลือกจุดไข่ปลา (...) เพื่อเปิดเมนูบริบท

3. เลือกดูรายละเอียด

   

4. ในบานหน้าต่างด้านขวา ให้ขยาย สถานะพูลสด เพื่อดูสถานะปัจจุบันของพูล

สถานะพูลสดมีรายละเอียดเช่น:

• สถานะพูล: ตัวอย่างเช่น ใช้งานอยู่ ให้ความชุ่มชื้น ไม่ได้ใช้งาน หรือหยุดทํางาน
• คลัสเตอร์ที่พร้อมใช้งาน: จํานวนคลัสเตอร์ที่พร้อมสําหรับเซสชันสมุดบันทึก
• คลัสเตอร์ไม่ว่าง: จํานวนคลัสเตอร์ที่กําลังทํางานอยู่
• กําหนดการถัดไป: กรอบเวลากิจกรรมที่กําลังจะมาถึง

แนวทางปฏิบัติที่ดีที่สุด

หากต้องการใช้ประโยชน์สูงสุดจากไลฟ์พูลแบบกําหนดเอง ให้พิจารณาแนวทางปฏิบัติที่ดีที่สุดสําหรับการกําหนดค่าและการจัดการต่อไปนี้:

ปรับให้เหมาะสมสําหรับต้นทุนและประสิทธิภาพ

• ปรับจํานวนให้สอดคล้องกับความต้องการ: กําหนดจํานวนคลัสเตอร์สูงสุดตามเซสชันที่เกิดขึ้นพร้อมกันที่คาดไว้ การจัดสรรมากเกินไปจะเพิ่มต้นทุน
• ตรวจสอบการใช้งาน: ตรวจสอบเมตริกพูลเป็นประจําและปรับจํานวนคลัสเตอร์หากจําเป็น
• ปรับขนาดกําหนดการอย่างมีประสิทธิภาพ: หลีกเลี่ยงกําหนดการที่ทับซ้อนกันในหลายพูล เว้นแต่จําเป็น
• ใช้ประโยชน์จากการหมดเวลาที่ไม่ได้ใช้งาน: ตั้งค่าการหมดเวลาที่ไม่ได้ใช้งานที่เหมาะสมเพื่อรักษาสมดุลระหว่างความพร้อมใช้งานของทรัพยากรและหลีกเลี่ยงการรีสตาร์ทคลัสเตอร์บ่อยครั้ง

การปรับขนาดคลัสเตอร์

เมื่อกําหนดค่าพูลของคุณ ให้พิจารณาการตั้งค่าและคําแนะนําต่อไปนี้:

• ขนาดคลัสเตอร์: จํานวนอินสแตนซ์ตัวดําเนินการสําหรับเซสชันสมุดบันทึก (ช่วง: 1-16)
• จํานวนคลัสเตอร์สูงสุด: จํานวนคลัสเตอร์สูงสุดเพื่อรักษาความชุ่มชื้น ตั้งค่าตามเซสชันพร้อมกันที่คาดไว้
• หมดเวลาที่ไม่ได้ใช้งาน: ระยะเวลาที่คลัสเตอร์ที่ไม่ได้ใช้จะได้รับการจัดสรรก่อนที่ Fabric จะยุติคลัสเตอร์

จัดการการขึ้นต่อกันของไลบรารี

• ใช้การจัดกลุ่มสภาพแวดล้อม: ติดตั้งไลบรารีทั่วไปล่วงหน้าในสภาพแวดล้อมแทนการติดตั้งทันที
• การกําหนดเวอร์ชันสภาพแวดล้อม: การอัปเดตสภาพแวดล้อมที่แนบมาจําเป็นต้องมีการเผยแพร่ใหม่และรีเฟรชคลัสเตอร์ไฮเดรต
• รีเฟรชคลัสเตอร์ไฮเดรต: หลังจากการเปลี่ยนแปลงสภาพแวดล้อม ให้รีเฟรชพูลหรือรอรอบที่กําหนดไว้ถัดไปเพื่อใช้การเปลี่ยนแปลง

ปรับให้เข้ากับรูปแบบภาระงาน

• ตรวจสอบพฤติกรรมภายนอก: ปรับการหมดเวลาที่ไม่ได้ใช้งานตามรูปแบบการใช้งานจริง
• แชร์ข้ามเซสชัน: พิจารณาแชร์สภาพแวดล้อมเดียวกันในหลายพูลหากคุณมีรูปแบบปริมาณงานที่สอดคล้องกันเพื่อปรับปรุงการใช้ทรัพยากร

แนวทางปฏิบัติแนะนําสําหรับกําหนดการ

• ปรับให้สอดคล้องกับรูปแบบปริมาณงาน: กําหนดเวลาที่ใช้งานเมื่อทีมของคุณเรียกใช้สมุดบันทึกแบบโต้ตอบหรือตามกําหนดการ
• เวลาสํารอง: เริ่มตารางเวลาก่อนเวลาบันทึกครั้งแรก 60-90 นาที เพื่อให้ร่างกายดื่มน้ําได้ครบ
• ตรวจสอบความพร้อมใช้งาน: ก่อนรันที่กําหนดเวลาที่ไวต่อความหน่วง ให้ตรวจสอบว่า live pool มีคลัสเตอร์ว่างอย่างน้อยหนึ่งคลัสเตอร์ใน Monitoring hub
• พิจารณาเขตเวลา: หากทีมของคุณครอบคลุมหลายเขตเวลา ให้ขยายกําหนดการให้ครอบคลุมช่วงเวลาที่ต้องการ

แก้ไข ปัญหา

การแก้ไขปัญหาพูลสดแบบกําหนดเองเกี่ยวข้องกับการตรวจสอบสถานะพูล สถานภาพสภาพแวดล้อม และการตั้งค่าคอนฟิกกําหนดการตามที่ระบุไว้ในสถานการณ์ต่อไปนี้:

สระว่ายน้ํายังคงไม่พร้อมใช้งาน

หากพูลไม่สามารถเปิดใช้งานหรือแสดงสถานะ "ไม่พร้อมใช้งาน":

• ตรวจสอบว่าความจุ Fabric ทํางานอยู่และกําลังกําหนดให้กับพื้นที่ทํางาน
• ตรวจสอบว่าสภาพแวดล้อมที่แนบมาอยู่ในสถานะ "พร้อม"
• ตรวจสอบให้แน่ใจว่าได้เผยแพร่สภาพแวดล้อมที่แนบมาแล้วและไม่มีข้อผิดพลาดใดๆ

การให้ความชุ่มชื้นใช้เวลานานกว่าที่คาดไว้

หากการให้ความชุ่มชื้นช้ากว่าที่คาดไว้:

• ตรวจสอบการขึ้นต่อกันของสภาพแวดล้อมและสถานะการสร้าง
• ตรวจสอบว่าสภาพแวดล้อมอยู่ในสถานะ "พร้อม"
• ตรวจสอบรายละเอียดพูลสําหรับข้อมูลเพิ่มเติม

เซสชันหรือสมุดบันทึกไม่สามารถเริ่มต้นได้

หากเซสชันสมุดบันทึกล้มเหลวในการเริ่มต้นแม้จะมีพูลที่ใช้งานอยู่:

• ตรวจสอบว่าเซสชันใช้สภาพแวดล้อมที่ถูกต้อง
• ตรวจสอบว่าสระว่ายน้ําอยู่ในสถานะ "พร้อมใช้งาน" และได้รับน้ําเต็มที่

การตั้งค่า Live Pool ไม่พร้อมใช้งาน

หากคุณไม่สามารถสร้างหรืออัปเดตการกําหนดค่า live pool ได้:

• ตรวจสอบว่าคุณมีบทบาท Admin หรือ Member workspace
• หากคุณมีบทบาทสมาชิก ให้ขอให้ผู้ดูแลระบบพื้นที่ทํางานเปิดใช้งานการตั้งค่าการคํานวณสําหรับรายการ
• ตรวจสอบว่าผู้ดูแลระบบพื้นที่ทํางานได้สร้างพูล Spark แบบกําหนดเองที่คุณสามารถเลือกได้ในสภาพแวดล้อม

เนื้อหาที่เกี่ยวข้อง

• ภาพรวมของพูลสดแบบกําหนดเอง
• กําหนดค่าพูลเริ่มต้น
• สร้างพูล Spark แบบกําหนดเอง
• สร้างและใช้สภาพแวดล้อม