มุมมองทะเลสาบที่เป็นรูปธรรมใน Microsoft Fabric คืออะไร

ใน Microsoft Fabric มุมมองทะเลสาบที่เป็นรูปธรรมจะคงอยู่และรีเฟรชโดยอัตโนมัติ คุณกําหนดไว้ใน Spark, SQL หรือ PySpark มันทําให้การแปลงร่างบ้านพักน้ําหลายขั้นตอน — โดยทั่วไปเป็นสถาปัตยกรรมเหรียญทองจากบรอนซ์เป็นเงินเป็นทอง — ง่ายขึ้นโดยแสดงออกในรูปแบบประกาศแทนที่จะเป็นงานสปาร์กแบบกําหนดเอง หลังจากที่คุณสร้าง MLV แล้ว มันจะทําหน้าที่เหมือนตาราง lakehouse มาตรฐานในแง่ของการจัดเก็บ รูปแบบการเข้าถึง และความปลอดภัย คุณสามารถสืบค้นผ่านกลไกจัดการ Fabric ใดก็ได้ที่มีสิทธิ์และรูปแบบการกํากับดูแลเดียวกัน Fabric ติดตามการขึ้นต่อกันระหว่าง MLV ประสานการรีเฟรชตามลําดับที่ถูกต้อง และบังคับใช้ข้อจํากัดด้านคุณภาพข้อมูลในทุกขั้นตอน คุณลักษณะนี้ช่วยให้วิศวกรข้อมูลสามารถสร้างไปป์ไลน์ที่เชื่อถือได้และบํารุงรักษาได้โดยใช้โค้ดและค่าใช้จ่ายในการดําเนินงานน้อยลง

เมื่อใดควรใช้มุมมองทะเลสาบที่เป็นรูปธรรม

ทิวทัศน์ทะเลสาบที่เป็นรูปธรรมเหมาะอย่างยิ่งเมื่อคุณมี:

  • การรวมที่เข้าถึงบ่อย (ยอดขายรวมรายวัน เมตริกรายเดือน) ซึ่งผลลัพธ์ที่คํานวณไว้ล่วงหน้าช่วยปรับปรุงประสิทธิภาพมากกว่าการเรียกใช้การสืบค้นที่มีราคาแพงซ้ําๆ
  • การรวมที่ซับซ้อน ในตารางขนาดใหญ่หลายตารางที่คุณสอบถามบ่อยๆ และต้องการผลลัพธ์ที่สอดคล้องกันสําหรับผู้บริโภคทั้งหมด
  • การแปลงคุณภาพข้อมูลที่ คุณต้องนําไปใช้อย่างสม่ําเสมอ โดยมีกฎที่กําหนดไว้อย่างประกาศแทนที่จะเป็นในโค้ดแบบกําหนดเอง
  • ชุดข้อมูลการรายงาน ที่รวมข้อมูลจากหลายแหล่งและได้รับประโยชน์จากการรีเฟรชอัตโนมัติเมื่อข้อมูลต้นฉบับมีการเปลี่ยนแปลง
  • สถาปัตยกรรมเหรียญ ที่คุณต้องการการแปลงสีบรอนซ์→เงิน→ทองที่กําหนดไว้ใน SQL

มุมมองทะเลสาบที่เป็นรูปธรรมไม่ใช่ตัวเลือกที่เหมาะสมสําหรับทุกสถานการณ์ พิจารณาทางเลือกอื่นเมื่อคุณมี:

  • คิวรีแบบใช้ครั้งเดียวหรือเข้าถึงได้ไม่ค่อยได้ซึ่ง ไม่ได้รับประโยชน์จากผลลัพธ์ที่คํานวณไว้ล่วงหน้า
  • ตรรกะที่ไม่ใช่ SQL เช่น การอนุมาน ML การเรียก API หรือการประมวลผล Python ที่ซับซ้อน - ใช้สมุดบันทึก Spark แทน
  • ข้อมูลการสตรีมความถี่สูง ที่ต้องมีการอัปเดตไม่ถึงวินาที - ลองใช้ Real-Time Intelligence แทน

เริ่มต้นใช้งานด้วยมุมมองทะเลสาบที่เป็นภาพเป็นภาพ

หากต้องการสร้างภาพวิวทะเลสาบที่สร้างขึ้นจริงใน Fabric ดูที่ เริ่มต้นกับมุมมองทะเลสาบที่ถูกสร้างขึ้นจริง สําหรับคําแนะนําฉบับสมบูรณ์ที่สร้างสถาปัตยกรรมเหรียญ โปรดดูบทช่วยสอน: สร้างสถาปัตยกรรมเหรียญด้วยมุมมองทะเลสาบที่เป็นรูปธรรม

มุมมองทะเลสาบที่เป็นรูปธรรมทํางานอย่างไร

มุมมองทะเลสาบที่เป็นรูปธรรมใช้วิธีการประกาศ: คุณเขียนคิวรี SQL เพื่อกําหนดการแปลง และ Fabric จัดการการดําเนินการ การจัดเก็บ และการรีเฟรช ผลลัพธ์จะยังคงเป็นตารางเดลต้าในเลคเฮาส์ของคุณ ดังนั้นผู้บริโภคดาวน์สตรีมจึงสามารถคิวรีได้โดยตรงโดยไม่ต้องเรียกใช้การแปลงอีกครั้ง

วงจรชีวิตของมุมมองทะเลสาบที่เป็นรูปธรรมมีสี่ขั้นตอน:

  • สร้าง: เขียนคิวรี SQL ที่กําหนดการแปลงของคุณ Fabric จัดเก็บคําจํากัดความและทําให้ผลลัพธ์เป็นรูปธรรมเป็นตารางเดลต้า
  • รีเฟรช: เมื่อข้อมูลต้นทางมีการเปลี่ยนแปลง Fabric จะกําหนดกลยุทธ์การรีเฟรชที่เหมาะสมที่สุด - ส่วนเพิ่ม (ประมวลผลเฉพาะข้อมูลใหม่หรือข้อมูลที่เปลี่ยนแปลง) แบบเต็ม (สร้างใหม่ทั้งหมด) หรือข้าม (ตรวจไม่พบการเปลี่ยนแปลง)
  • คิวรี: แอปพลิเคชันและรายงานสืบค้นมุมมองทะเลสาบที่เป็นรูปธรรมเหมือนกับตารางเดลต้าอื่นๆ โดยไม่มีการรับรู้ตรรกะการแปลงพื้นฐาน
  • Monitor: ติดตามประวัติการรีเฟรช สถานะการดําเนินการ เมตริกคุณภาพข้อมูล และสายข้อมูลการขึ้นต่อกันผ่านเครื่องมือ Fabric ในตัว

ตัวเลือกการเขียน

มุมมองทะเลสาบที่เป็นรูปธรรมรองรับวิธีการเขียนสองวิธี:

  • การเขียน SQL: กําหนดมุมมองโดยใช้คําสั่ง SQL CREATE MATERIALIZED LAKE VIEW มาตรฐานโดยตรงในตัวแก้ไข Fabric lakehouse

  • การเขียน PySpark (พรีวิว): สร้าง รีเฟรช และแทนที่มุมมองจากสมุดบันทึก Fabric โดยใช้DataFrameWriter มุมมองที่เขียนโดย PySpark รองรับ:

    • ข้อจํากัดด้านคุณภาพข้อมูล
    • คุณสมบัติของตาราง
    • การรีเฟรชตามกําหนดเวลา

    Note

    ปัจจุบันมุมมองที่เขียนโดย PySpark จะทําการรีเฟรชแบบเต็มเท่านั้น

ความสามารถหลัก

มุมมองทะเลสาบที่เป็นรูปธรรมมีคุณลักษณะในตัวที่จัดการกับความซับซ้อนในการดําเนินงานที่คุณจะจัดการด้วยตัวเองในสมุดบันทึกและไปป์ไลน์

การเพิ่มประสิทธิภาพการรีเฟรชอัตโนมัติ

Fabric จะกําหนดเวลาและวิธีการรีเฟรชมุมมองทะเลสาบที่เป็นรูปธรรมของคุณโดยอัตโนมัติ กลไกการตัดสินใจจะเลือกกลยุทธ์การรีเฟรชที่มีประสิทธิภาพสูงสุด และตรวจพบการเปลี่ยนแปลงข้อมูลต้นทางตามค่าเริ่มต้นผ่านฟีดข้อมูลการเปลี่ยนแปลง:

  • การรีเฟรชแบบเพิ่มหน่วย: ประมวลผลเฉพาะข้อมูลใหม่หรือข้อมูลที่เปลี่ยนแปลงเท่านั้น
  • รีเฟรชเต็มรูปแบบ: สร้างมุมมองทะเลสาบที่เป็นรูปธรรมทั้งหมดขึ้นมาใหม่เมื่อจําเป็น
  • ข้ามการรีเฟรช: Fabric ข้ามการรีเฟรชเมื่อข้อมูลต้นทางไม่มีการเปลี่ยนแปลง

หากต้องการปลดล็อกการรีเฟรชแบบเพิ่มหน่วย คุณต้องเปิดใช้งานฟีดข้อมูลการเปลี่ยนแปลงเดลต้า (CDF) บนตารางต้นทางที่อ้างอิงโดยมุมมองทะเลสาบที่เป็นรูปธรรม หากไม่มีการเปิดใช้งาน CDF กลไกการตัดสินใจจะเลือกระหว่างการข้ามการรีเฟรชและการรีเฟรชแบบเต็มเท่านั้น สําหรับข้อมูลเพิ่มเติม โปรดดู การรีเฟรชที่เหมาะสมที่สุดสําหรับมุมมองทะเลสาบที่เป็นรูปธรรมในเลคเฮาส์

การรีเฟรชที่เหมาะสมที่สุดรองรับรูปแบบคิวรีทั่วไปที่หลากหลาย รวมถึง:

  • การรวมด้วย GROUP BY
  • ด้านซ้ายด้านนอกและกึ่งรวม
  • นิพจน์ตารางทั่วไป (CTE)

คุณภาพข้อมูลในตัว

มุมมองทะเลสาบที่เป็นรูปธรรมรองรับกฎคุณภาพข้อมูลที่ประกาศ กําหนดข้อจํากัดโดยตรงใน SQL ของคุณและระบุวิธีจัดการกับการละเมิด

CONSTRAINT valid_sales CHECK (sales_amount > 0) ON MISMATCH DROP

การจัดการการพึ่งพา

เมื่อมุมมองทะเลสาบที่เป็นรูปธรรมอ้างอิงมุมมองทะเลสาบหรือตารางอื่น ๆ Fabric จะตรวจหาความสัมพันธ์เหล่านั้นโดยอัตโนมัติและจัดการลําดับการดําเนินการให้คุณ

  • เห็นภาพว่ามุมมองทะเลสาบที่เป็นรูปธรรมของคุณขึ้นอยู่กับกันและกันอย่างไรในเลคเฮาส์
  • ใบสั่งจะรีเฟรชโดยอัตโนมัติตามการขึ้นต่อกัน
  • การประมวลผลเป็นไปตามห่วงโซ่การขึ้นต่อกันเพื่อให้แน่ใจว่าข้อมูลมีความสอดคล้องกัน

การตรวจสอบและข้อมูลเชิงลึก

Fabric มีเครื่องมือในตัวเพื่อติดตามสุขภาพและประสิทธิภาพของมุมมองทะเลสาบที่เป็นรูปธรรมของคุณ:

  • ติดตามประสิทธิภาพการรีเฟรชและสถานะการดําเนินการสําหรับมุมมองทะเลสาบที่เป็นรูปธรรมแต่ละรายการ
  • ดูเมตริกคุณภาพข้อมูลและจํานวนการละเมิดในสายข้อมูล
  • ตรวจสอบอินสแตนซ์งานและประวัติการรีเฟรชในมุมมอง การเรียกใช้ล่าสุด

นอกเหนือจากฮับการตรวจสอบแบบรันต่อรันแล้ว Fabric ยังแสดงสถานภาพการดําเนินงานของแต่ละเลคเฮาส์ในหน้าการเรียกใช้ล่าสุดผ่านแท็บย่อยของพี่น้องสําหรับการวิเคราะห์และข้อมูลเชิงลึก:

แท็บย่อย ตอบคําถาม หน้าเรียนรู้
การวิ่งล่าสุด การเรียกใช้แต่ละครั้งเกิดขึ้น และฉันสามารถยกเลิกหรือเจาะลึกได้หรือไม่ มุมมองทะเลสาบล่าสุด
การวิเคราะห์ ฉันมีแนวโน้มอย่างไรในอัตราความสําเร็จ ระยะเวลา ข้อผิดพลาดยอดนิยม และการผสมผสานนโยบายการรีเฟรช - เป็นแผนภูมิในช่วงเดียวกัน ดูการวิเคราะห์สําหรับการเรียกใช้ Lake View ที่เป็นรูปธรรม
Insights อะไรที่ล้มเหลวหรือถดถอย - ด้วยลิงก์ตรงในคลิกเดียวไปยังมุมมองที่ล้มเหลว ดูข้อมูลเชิงลึกสําหรับการวิ่ง Lake View ที่เป็นรูปธรรม

สําหรับการเข้าถึงข้อมูลเดียวกันโดยทางโปรแกรม Fabric จะเขียนตารางระบบภายใต้_mlv_systemสคีมา - sys_run_metrics, , sys_node_metricsและ sys_error_metrics - ลงในเลคเฮาส์

สําคัญ

อย่าแก้ไข _mlv_system สคีมา การเปลี่ยนแปลงจะส่งผลต่อการอัปเดตแท็บการวิเคราะห์และข้อมูลเชิงลึก

การรักษาความปลอดภัย

มุมมองทะเลสาบที่เป็นรูปธรรมของ Fabric เป็นไปตามมาตรการรักษาความปลอดภัยและการกํากับดูแลสําหรับโต๊ะเลคเฮาส์ คุณยังสามารถใช้ MLV ในเลคเฮาส์ที่เปิดใช้งาน Private Link ได้อีกด้วย สําหรับข้อมูลเพิ่มเติมเกี่ยวกับ Private Link ใน Fabric โปรดดู ความปลอดภัย

เนื้อหาที่เกี่ยวข้อง

  • Last updated on