เปิดความพร้อมใช้งานของ OneLake สําหรับบ้านจัดงาน

คุณสามารถสร้างสําเนาเชิงตรรกะของข้อมูลฐานข้อมูล KQL ในอีเวนต์เฮาส์ได้โดยเปิด ความพร้อมใช้งานของ OneLake เมื่อคุณเปิด OneLake availability คุณสามารถสืบค้นข้อมูลในฐานข้อมูล KQL ของคุณในรูปแบบ Delta Lake ผ่านกลไก Fabric อื่นๆ เช่น โหมด Direct Lake ใน Power BI, Warehouse, Lakehouse, Notebooks และอื่นๆ Delta Lake เป็นรูปแบบตาราง Data Lake แบบครบวงจรที่ทําให้สามารถเข้าถึงข้อมูลได้อย่างราบรื่นในกลไกการคํานวณทั้งหมดใน Fabric

ในบทความนี้ คุณจะได้เรียนรู้วิธีการเปิดการใช้งานความพร้อมใช้งานของข้อมูลฐานข้อมูล KQL ใน OneLake

เมื่อเปิดใช้งานความ พร้อมใช้งานของ OneLake และการซิงโครไนซ์สคีมา คุณยังสามารถใช้ วิเคราะห์ข้อมูลด้วย>ตําแหน่งข้อมูล SQL ที่ระดับฐานข้อมูลเพื่อสืบค้นการแสดง Delta Lake แบบเกือบเรียลไทม์ผ่านกลไกจัดการที่ใช้ SQL

เมื่อเปิดใช้งานความ พร้อมใช้งานของ OneLake และการซิงโครไนซ์สคีมา คุณยังสามารถใช้ วิเคราะห์ข้อมูลด้วย>ตําแหน่งข้อมูล SQL ที่ระดับฐานข้อมูลเพื่อสืบค้นการแสดง Delta Lake แบบเกือบเรียลไทม์ผ่านกลไกจัดการที่ใช้ SQL

ความพร้อมใช้งานของ OneLake ทํางานอย่างไรสําหรับฐานข้อมูล KQL

คุณสามารถเปิด ความพร้อมใช้งาน OneLake ที่ระดับฐานข้อมูลหรือตาราง เมื่อเปิดใช้งานในระดับฐานข้อมูล ตารางใหม่และข้อมูลใหม่ทั้งหมดจะพร้อมใช้งานใน OneLake เมื่อเปิดใช้งานคุณลักษณะ คุณยังสามารถเลือกที่จะใช้ตัวเลือกนี้กับตารางที่มีอยู่โดยการเลือก นําไปใช้กับตารางที่มีอยู่ ตัวเลือกเพื่อรวมการเติมสินค้าในอดีต การเปิดที่ระดับตารางจะทําได้เฉพาะตารางและข้อมูลที่มีอยู่ใน OneLake เท่านั้น นโยบายการเก็บข้อมูล ของฐานข้อมูล KQL ของคุณจะถูกนําไปใช้กับข้อมูลใน OneLake ด้วย ข้อมูลที่ถูกลบออกจากฐานข้อมูล KQL ของคุณเมื่อสิ้นสุดระยะเวลาการเก็บข้อมูลจะถูกลบออกจาก OneLake ด้วย หากคุณปิด ความพร้อมใช้งานของ OneLakeข้อมูลจะถูกลบออกจาก OneLake แบบนุ่มนวล

การซิงโครไนซ์สคีมาแบ็กเอนด์ช่วยให้การแสดง Delta Lake สอดคล้องกับฐานข้อมูล KQL ทําให้สามารถสืบค้นแบบเกือบเรียลไทม์ผ่านปลายทาง SQL และโน้ตบุ๊ก สําหรับเวลาแฝงที่คาดไว้และพฤติกรรมการแบทช์ โปรดดู พฤติกรรมที่ปรับเปลี่ยนได้

ในขณะที่ ความพร้อมใช้งาน OneLake เปิดอยู่ คุณไม่สามารถทํางานต่อไปนี้:

• เปลี่ยนชื่อตาราง
• เปลี่ยนชนิดคอลัมน์ รองรับการเพิ่มหรือลบคอลัมน์
• ใช้การรักษาความปลอดภัยระดับแถวกับตาราง
• ลบ ตัดทอน หรือล้างข้อมูล

หากคุณต้องการทํางานเหล่านี้ ให้ใช้ขั้นตอนต่อไปนี้:

1. ปิด ความพร้อมใช้งานของ OneLake
2. ปฏิบัติงาน
3. เปิด ความพร้อมใช้งานของ OneLake

ข้อกำหนดเบื้องต้น

• พื้นที่ทํางาน ที่มี ความจุ ที่เปิดใช้งาน Fabric
• ฐานข้อมูล KQL ที่มีสิทธิ์ในการแก้ไขและข้อมูล

เปิดความพร้อมใช้งานของ OneLake สําหรับฐานข้อมูลหรือตาราง KQL

คุณสามารถเปิดความพร้อมใช้งานของ OneLake สําหรับฐานข้อมูลหรือตาราง KQL ได้

1. เลือกฐานข้อมูลหรือตาราง

2. ในส่วน OneLake ของบานหน้าต่างรายละเอียด ให้ตั้งค่าความพร้อมใช้งาน เป็น เปิดใช้งาน

   

3. ในหน้าต่าง เปิดใช้งานความพร้อมใช้งานของ OneLake ให้เลือก เปิดใช้งาน

   

4. รีเฟรชรายละเอียดของฐานข้อมูลหรือตารางโดยอัตโนมัติ

   

เมื่อคุณเปิดความพร้อมใช้งานของ OneLake ในฐานข้อมูลหรือตาราง KQL ของคุณ คุณจะสามารถเข้าถึงข้อมูลทั้งหมดที่เส้นทาง OneLake ที่กําหนดในรูปแบบ Delta Lake ได้ คุณยังสามารถสร้างทางลัด OneLake จากเลคเฮาส์หรือคลังสินค้า หรือคิวรีข้อมูลโดยตรงผ่านโหมด Power BI Direct Lake ด้วยความพร้อมใช้งานของ OneLake ในฐานข้อมูล KQL หรือตารางของคุณที่เปิดอยู่ ตอนนี้คุณสามารถเข้าถึงข้อมูลทั้งหมดได้ที่เส้นทาง OneLake ที่กําหนดในรูปแบบ Delta Lake คุณยังสามารถสร้างทางลัด OneLake จาก Lakehouse, คลังข้อมูล หรือคิวรีข้อมูลโดยตรงผ่านทางโหมด Power BI Direct Lake

ใช้กับ การวิเคราะห์ข้อมูลด้วย ตัวเลือก

เมื่อเปิดใช้งานความ พร้อมใช้งานของ OneLake รายการฐานข้อมูล Eventhouse และ KQL จะแสดง วิเคราะห์ข้อมูล ด้วย ตัวเลือกที่ระดับฐานข้อมูล:

• จุดสิ้นสุด SQL: พร้อมใช้งานเมื่อเปิดใช้งานทั้งความ พร้อมใช้งานของ OneLake และการซิงโครไนส์สคีมา
• สมุดบันทึก: เปิดการวิเคราะห์ตามสมุดบันทึกสําหรับฐานข้อมูลที่เลือก

หากคุณปิด ความพร้อมใช้งานของ OneLake ตัวเลือก ตําแหน่งข้อมูล SQL จะถูกลบออกจากเมนูนี้จนกว่าคุณจะเปิดใช้งานอีกครั้ง

พฤติกรรมที่ปรับเปลี่ยนได้สําหรับการแบทช์ไฟล์ปาร์เก้

Eventhouse จัดกลุ่มสตรีมข้อมูลขาเข้าอย่างชาญฉลาดเป็นไฟล์ Parquet อย่างน้อยหนึ่งไฟล์ที่มีโครงสร้างสําหรับการวิเคราะห์ การแบทช์สตรีมข้อมูลเป็นสิ่งสําคัญเมื่อต้องรับมือกับข้อมูลที่หยด เนื่องจากการเขียนไฟล์ Parquet ขนาดเล็กจํานวนมากลงในทะเลสาบอาจไม่มีประสิทธิภาพ ความไร้ประสิทธิภาพนี้ส่งผลให้ต้นทุนสูงขึ้นและประสิทธิภาพการสืบค้นไม่ดี

กลไกการปรับตัวของบ้านเหตุการณ์สามารถชะลอการดําเนินการเขียนไปยัง OneLake ได้หากมีข้อมูลไม่เพียงพอที่จะสร้างไฟล์ Parquet ที่เหมาะสมที่สุด ลักษณะการทํางานนี้ช่วยให้แน่ใจว่าไฟล์ Parquet มีขนาดที่เหมาะสมที่สุดและเป็นไปตามแนวทางปฏิบัติที่ดีที่สุดของ Delta Lake โดยจะสร้างสมดุลระหว่างความต้องการความพร้อมใช้งานของข้อมูลที่รวดเร็วกับการพิจารณาด้านต้นทุนและประสิทธิภาพ

เวลาแฝงในการเขียนเริ่มต้นและกําหนดค่าได้สําหรับความพร้อมใช้งานของ OneLake:

ตัวอย่างเช่น ใช้คําสั่ง Kusto ต่อไปนี้เพื่อตั้งค่าการหน่วงเวลาการเขียนเป็น 5 นาทีสําหรับตารางเดียว:

.alter-merge table <TableName> policy mirroring dataformat=parquet with (IsEnabled=true, TargetLatencyInMinutes=5);

คุณสามารถตรวจสอบระยะเวลาที่เพิ่มข้อมูลใหม่ในที่จัดเก็บข้อมูลดิบได้โดยการตรวจสอบเวลาแฝงของข้อมูลโดยใช้.show table mirroring operationsคําสั่ง

ผลลัพธ์จะถูกวัดจากข้อมูลล่าสุดที่ถูกเพิ่ม เมื่อ เวลาแฝง ส่งคืน 00:00:00ข้อมูลทั้งหมดในฐานข้อมูล KQL จะพร้อมใช้งานใน OneLake

ดูไฟล์ Delta Lake ใน OneLake

เมื่อคุณ เปิดความพร้อมใช้งานของ OneLake บนตาราง กระบวนการจะสร้างโฟลเดอร์บันทึกเดลต้าพร้อมกับไฟล์ JSON และ Parquet ที่สอดคล้องกัน คุณสามารถดูไฟล์ที่พร้อมใช้งานใน OneLake และคุณสมบัติของไฟล์เหล่านั้นในขณะที่อยู่ภายใน Real-Time Intelligence

• หากต้องการดูไฟล์ ให้วางเมาส์เหนือตารางในบานหน้าต่าง Explorer จากนั้นเลือกเมนูเพิ่มเติม [...]>ดูไฟล์

  

• ในการดูคุณสมบัติของโฟลเดอร์บันทึก delta หรือไฟล์แต่ละไฟล์ให้โฮเวอร์เหนือโฟลเดอร์หรือไฟล์จากนั้นเลือกเมนูเพิ่มเติม [...]>คุณสมบัติ

• การดูไฟล์ในโฟลเดอร์บันทึกเดลต้า:

  1. เลือกโฟลเดอร์ _delta_log
  2. เลือกไฟล์เพื่อดูเมตาดาต้าและ Schema ของตาราง ตัวแก้ไขที่เปิดอยู่ในรูปแบบอ่านอย่างเดียว

เข้าถึงนโยบายการมิเรอร์ OneLake

ตามค่าเริ่มต้น เมื่อคุณเปิดความพร้อมใช้งานของ OneLake สําหรับฐานข้อมูลหรือตาราง KQL ระบบจะเปิดใช้งานนโยบายการมิเรอร์ คุณสามารถใช้นโยบายการมิเรอร์เพื่อตรวจสอบเวลาแฝงของข้อมูลหรือแก้ไขเป็นตารางเดลต้าของพาร์ติชัน

แบ่งพาร์ติชันตารางเดลต้าใน OneLake

คุณสามารถแบ่งพาร์ติชันตาราง Delta ของคุณเพื่อปรับปรุงความเร็วคิวรีได้ สําหรับข้อมูลเกี่ยวกับเวลาในการแบ่งพาร์ติชันไฟล์ OneLake ของคุณ ดูที่ เวลาในการแบ่งพาร์ติชันตาราง แต่ละพาร์ติชันจะแสดงเป็นคอลัมน์แยกต่างหากโดยใช้PartitionNameรายการในรายการPartitions การแสดงนี้หมายความว่าสําเนา OneLake ของคุณมีคอลัมน์มากกว่าตารางต้นฉบับของคุณ

หากต้องการแบ่งพาร์ติชันตารางเดลต้า ให้ใช้ .alter-merge table policy mirroring คําสั่ง

คิวรีตารางเดลต้าจากสมุดบันทึก Fabric

คุณสามารถใช้ Fabric Notebook เพื่ออ่านข้อมูล OneLake โดยใช้ส่วนย่อยของโค้ดต่อไปนี้

ในส่วนย่อยของโค้ด ให้แทนที่ <workspaceGuid>, <workspaceGuid>และ <tableName> ด้วยค่าของคุณเอง

delta_table_path = 'abfss://<workspaceGuid>@onelake.dfs.fabric.microsoft.com/<eventhouseGuid>/Tables/<tableName>'

df = spark.read.format("delta").load(delta_table_path)

df.show()

delta_table_path = 'abfss://<workspaceName>@onelake.dfs.fabric.microsoft.com/<itemName>.KustoDatabase/Tables/<tableName>'

เนื้อหาที่เกี่ยวข้อง

• เดลต้าเลคคืออะไร
• สร้างทางลัดใน OneLake
• ทางลัดในเลคเฮาส์คืออะไร?
• สร้างทางลัด OneLake ในฐานข้อมูล KQL