มุมมองทะเลสาบที่เป็นรูปธรรมใน Microsoft Fabric คืออะไร

ใน Microsoft Fabric มุมมองทะเลสาบที่เป็นรูปธรรมจะคงอยู่และรีเฟรชโดยอัตโนมัติ คุณกําหนดไว้ใน Spark, SQL หรือ PySpark มันทําให้การแปลงร่างบ้านพักน้ําหลายขั้นตอน — โดยทั่วไปเป็นสถาปัตยกรรมเหรียญทองจากบรอนซ์เป็นเงินเป็นทอง — ง่ายขึ้นโดยแสดงออกในรูปแบบประกาศแทนที่จะเป็นงานสปาร์กแบบกําหนดเอง หลังจากที่คุณสร้าง MLV แล้ว มันจะทําหน้าที่เหมือนตาราง lakehouse มาตรฐานในแง่ของการจัดเก็บ รูปแบบการเข้าถึง และความปลอดภัย คุณสามารถสืบค้นผ่านกลไกจัดการ Fabric ใดก็ได้ที่มีสิทธิ์และรูปแบบการกํากับดูแลเดียวกัน Fabric ติดตามการขึ้นต่อกันระหว่าง MLV ประสานการรีเฟรชตามลําดับที่ถูกต้อง และบังคับใช้ข้อจํากัดด้านคุณภาพข้อมูลในทุกขั้นตอน คุณลักษณะนี้ช่วยให้วิศวกรข้อมูลสามารถสร้างไปป์ไลน์ที่เชื่อถือได้และบํารุงรักษาได้โดยใช้โค้ดและค่าใช้จ่ายในการดําเนินงานน้อยลง

เมื่อใดควรใช้มุมมองทะเลสาบที่เป็นรูปธรรม

ทิวทัศน์ทะเลสาบที่เป็นรูปธรรมเหมาะอย่างยิ่งเมื่อคุณมี:

  • การรวมที่เข้าถึงบ่อย (ยอดขายรวมรายวัน เมตริกรายเดือน) ซึ่งผลลัพธ์ที่คํานวณไว้ล่วงหน้าช่วยปรับปรุงประสิทธิภาพมากกว่าการเรียกใช้การสืบค้นที่มีราคาแพงซ้ําๆ
  • การรวมที่ซับซ้อน ในตารางขนาดใหญ่หลายตารางที่คุณสอบถามบ่อยๆ และต้องการผลลัพธ์ที่สอดคล้องกันสําหรับผู้บริโภคทั้งหมด
  • การแปลงคุณภาพข้อมูลที่ คุณต้องนําไปใช้อย่างสม่ําเสมอ โดยมีกฎที่กําหนดไว้อย่างประกาศแทนที่จะเป็นในโค้ดแบบกําหนดเอง
  • ชุดข้อมูลการรายงาน ที่รวมข้อมูลจากหลายแหล่งและได้รับประโยชน์จากการรีเฟรชอัตโนมัติเมื่อข้อมูลต้นฉบับมีการเปลี่ยนแปลง
  • สถาปัตยกรรมเหรียญ ที่คุณต้องการการแปลงสีบรอนซ์→เงิน→ทองที่กําหนดไว้ใน SQL

มุมมองทะเลสาบที่เป็นรูปธรรมไม่ใช่ตัวเลือกที่เหมาะสมสําหรับทุกสถานการณ์ พิจารณาทางเลือกอื่นเมื่อคุณมี:

  • คิวรีแบบใช้ครั้งเดียวหรือเข้าถึงได้ไม่ค่อยได้ซึ่ง ไม่ได้รับประโยชน์จากผลลัพธ์ที่คํานวณไว้ล่วงหน้า
  • ตรรกะที่ไม่ใช่ SQL เช่น การอนุมาน ML การเรียก API หรือการประมวลผล Python ที่ซับซ้อน - ใช้สมุดบันทึก Spark แทน
  • ข้อมูลการสตรีมความถี่สูง ที่ต้องมีการอัปเดตไม่ถึงวินาที - ลองใช้ Real-Time Intelligence แทน

เริ่มต้นใช้งานด้วยมุมมองทะเลสาบที่เป็นภาพเป็นภาพ

หากต้องการสร้างภาพวิวทะเลสาบที่สร้างขึ้นจริงใน Fabric ดูที่ เริ่มต้นกับมุมมองทะเลสาบที่ถูกสร้างขึ้นจริง สําหรับคําแนะนําฉบับสมบูรณ์ที่สร้างสถาปัตยกรรมเหรียญ โปรดดูบทช่วยสอน: สร้างสถาปัตยกรรมเหรียญด้วยมุมมองทะเลสาบที่เป็นรูปธรรม

มุมมองทะเลสาบที่เป็นรูปธรรมทํางานอย่างไร

มุมมองทะเลสาบที่เป็นรูปธรรมใช้วิธีการประกาศ: คุณเขียนคิวรี SQL เพื่อกําหนดการแปลง และ Fabric จัดการการดําเนินการ การจัดเก็บ และการรีเฟรช ผลลัพธ์จะยังคงเป็นตารางเดลต้าในเลคเฮาส์ของคุณ ดังนั้นผู้บริโภคดาวน์สตรีมจึงสามารถคิวรีได้โดยตรงโดยไม่ต้องเรียกใช้การแปลงอีกครั้ง

วงจรชีวิตของมุมมองทะเลสาบที่เป็นรูปธรรมมีสี่ขั้นตอน:

  • สร้าง: เขียนคิวรี SQL ที่กําหนดการแปลงของคุณ Fabric จัดเก็บคําจํากัดความและทําให้ผลลัพธ์เป็นรูปธรรมเป็นตารางเดลต้า
  • รีเฟรช: เมื่อข้อมูลต้นทางมีการเปลี่ยนแปลง Fabric จะกําหนดกลยุทธ์การรีเฟรชที่เหมาะสมที่สุด - ส่วนเพิ่ม (ประมวลผลเฉพาะข้อมูลใหม่หรือข้อมูลที่เปลี่ยนแปลง) แบบเต็ม (สร้างใหม่ทั้งหมด) หรือข้าม (ตรวจไม่พบการเปลี่ยนแปลง)
  • คิวรี: แอปพลิเคชันและรายงานสืบค้นมุมมองทะเลสาบที่เป็นรูปธรรมเหมือนกับตารางเดลต้าอื่นๆ โดยไม่มีการรับรู้ตรรกะการแปลงพื้นฐาน
  • Monitor: ติดตามประวัติการรีเฟรช สถานะการดําเนินการ เมตริกคุณภาพข้อมูล และสายข้อมูลการขึ้นต่อกันผ่านเครื่องมือ Fabric ในตัว

ตัวเลือกการเขียน

มุมมองทะเลสาบที่เป็นรูปธรรมรองรับวิธีการเขียนสองวิธี:

  • การเขียน SQL: กําหนดมุมมองโดยใช้คําสั่ง SQL CREATE MATERIALIZED LAKE VIEW มาตรฐานโดยตรงในตัวแก้ไข Fabric lakehouse

  • การเขียน PySpark (พรีวิว): สร้าง รีเฟรช และแทนที่มุมมองจากสมุดบันทึก Fabric โดยใช้DataFrameWriter มุมมองที่เขียนโดย PySpark รองรับ:

    • ข้อจํากัดด้านคุณภาพข้อมูล
    • คุณสมบัติของตาราง
    • การรีเฟรชตามกําหนดเวลา

    Note

    ปัจจุบันมุมมองที่เขียนโดย PySpark จะทําการรีเฟรชแบบเต็มเท่านั้น

นําเข้าไฟล์ที่มีวิวทะเลสาบที่สร้างขึ้นจริง

คุณสามารถใช้มุมมองทะเลสาบแบบ materialized เพื่อนําเข้าไฟล์ดิบโดยตรงจาก OneLake เข้าสู่ตาราง Delta ที่จัดการโดยไม่ต้องมีขั้นตอนโหลดกลางทาง COPYหรือขั้นตอนโหลดจากโน้ตบุ๊ก ชี้ไปที่โฟลเดอร์ OneLake จริง ทางลัดโฟลเดอร์ OneLake หรือไฟล์ CSV หรือ Parquet เฉพาะ มุมมองทะเลสาบที่สร้างขึ้นแบบไฟล์เป็นชั้น บรอนซ์ ธรรมชาติสําหรับสถาปัตยกรรมเหรียญ และยังสามารถกรอง ขึ้นรูป ตรวจสอบ และรวบรวมข้อมูลระหว่างการนําเข้าข้อมูลได้

เพื่อสร้างมุมมองทะเลสาบที่นําเข้าไฟล์ ให้ใช้ USING OneLake_Files, อธิบายแหล่งที่มาด้วย OPTIONSและสามารถเพิ่ม FROM-less AS SELECTได้ตามต้องการ :

CREATE MATERIALIZED LAKE VIEW bronze.raw_orders
USING OneLake_Files
OPTIONS (
    'format' = 'csv',
    'path'   = 'abfss://<workspace>@<host>/<lakehouse>/Files/orders/',
    'header' = 'true',
    'multiLine' = 'true',
    'columnNameOfCorruptRecord' = '_corrupt_record'
)
TBLPROPERTIES (
    'schema_mode'  = 'DYNAMIC',
    'refresh_mode' = 'FULL'
)
AS SELECT
    order_id,
    region,
    CAST(amount AS DECIMAL(18,2)) AS amount,
    _corrupt_record,
    __filepath__;

ลักษณะสําคัญ:

  • รูปแบบ: CSV และ Parquet
  • การเลือกแหล่งที่มา: นําเข้าโฟลเดอร์แบบวนซ้ําหรือเลือกไฟล์ CSV หรือ Parquet เพียงไฟล์
  • ทางลัดโฟลเดอร์: ทางลัดโฟลเดอร์ OneLake อาจเป็นแหล่งที่มา การสร้างประกอบด้วยไฟล์ที่สามารถเข้าถึงได้จากโฟลเดอร์ซ้อนกัน;การรีเฟรชแบบจัดการจะค้นหาการเพิ่มที่รากทางลัด แต่ไม่พบการเพิ่มที่อยู่ใต้โฟลเดอร์ทางลัดซ้อน
  • การแยกวิเคราะห์ CSV: กําหนดค่าตัวคั่น, การอ้างอิง, ช่องว่าง, ฟิลด์หลายบรรทัด, รูปแบบวันที่และเวลาประทับ, การเข้ารหัส, ความคิดเห็น และการอนุมานสคีมา
  • การตรวจสอบแถวผิดรูป: ส่งแถว CSV ดิบที่ผิดรูปไปยังคอลัมน์สตริงที่ตั้งชื่อผู้ใช้ด้วย columnNameOfCorruptRecord.
  • การแปลงแบบ ingestion-time: Project และกรองคอลัมน์, cast value, เพิ่มคอลัมน์ที่คํานวณได้, รวบรวมข้อมูล และใช้ฟังก์ชันหน้าต่างหรือการจัดอันดับใน FROM-less AS SELECT.
  • คุณภาพข้อมูล: บังคับใช้ข้อจํากัดระดับแถวด้วย ON MISMATCH DROP หรือ FAIL.
  • การจัดวางทางกายภาพ: แบ่งผลลัพธ์ที่เกิดขึ้นกับ PARTITIONED BY.
  • การจัดการสคีมา: DYNAMIC เพิ่มคอลัมน์และแหล่งที่ NULL ค้นพบใหม่เมื่อไฟล์ละเว้นคอลัมน์ที่ตั้งไว้; FIXED ตรึงสคีมาไว้ที่จุดสร้างและปฏิเสธการลอยตัว
  • สายพันธุ์ไฟล์: Project __filepath__ คอลัมน์เมตาดาต้าต้นทางเมื่อคุณต้องการการติดตามไฟล์ต่อแถว
  • พร้อมสําหรับเหรียญ: อ้างอิงมุมมองแบบไฟล์แบ็คอัพจากวิวทะเลสาบที่เกิดขึ้นด้านล่าง เพื่อให้การเปลี่ยนแปลงที่ต้นทางไหลผ่านท่อทั้งหมด
  • การตรวจสอบการทํางาน: แต่ละการรันที่จัดการจะรายงานไฟล์ที่ประมวลผลและแถวที่เพิ่มเข้ามา เพื่อให้คุณสามารถยืนยันได้ว่าไฟล์ต้นฉบับใหม่ถูกสร้างขึ้น

สําหรับไวยากรณ์และตัวเลือกการนําเข้าไฟล์อย่างละเอียด โปรดดู ที่ Spark SQL reference สําหรับมุมมองทะเลสาบที่สร้างขึ้นจริง หากต้องการติดตามไฟล์ผ่าน pipeline ดูที่ Manage Fabric materialized lake views lineage

ความสามารถหลัก

มุมมองทะเลสาบที่เป็นรูปธรรมมีคุณลักษณะในตัวที่จัดการกับความซับซ้อนในการดําเนินงานที่คุณจะจัดการด้วยตัวเองในสมุดบันทึกและไปป์ไลน์

การเพิ่มประสิทธิภาพการรีเฟรชอัตโนมัติ

Fabric จะกําหนดเวลาและวิธีการรีเฟรชมุมมองทะเลสาบที่เป็นรูปธรรมของคุณโดยอัตโนมัติ กลไกการตัดสินใจจะเลือกกลยุทธ์การรีเฟรชที่มีประสิทธิภาพสูงสุด และตรวจพบการเปลี่ยนแปลงข้อมูลต้นทางตามค่าเริ่มต้นผ่านฟีดข้อมูลการเปลี่ยนแปลง:

  • การรีเฟรชแบบเพิ่มหน่วย: ประมวลผลเฉพาะข้อมูลใหม่หรือข้อมูลที่เปลี่ยนแปลงเท่านั้น
  • รีเฟรชเต็มรูปแบบ: สร้างมุมมองทะเลสาบที่เป็นรูปธรรมทั้งหมดขึ้นมาใหม่เมื่อจําเป็น
  • ข้ามการรีเฟรช: Fabric ข้ามการรีเฟรชเมื่อข้อมูลต้นทางไม่มีการเปลี่ยนแปลง

หากต้องการปลดล็อกการรีเฟรชแบบเพิ่มหน่วย คุณต้องเปิดใช้งานฟีดข้อมูลการเปลี่ยนแปลงเดลต้า (CDF) บนตารางต้นทางที่อ้างอิงโดยมุมมองทะเลสาบที่เป็นรูปธรรม หากไม่มีการเปิดใช้งาน CDF กลไกการตัดสินใจจะเลือกระหว่างการข้ามการรีเฟรชและการรีเฟรชแบบเต็มเท่านั้น สําหรับข้อมูลเพิ่มเติม โปรดดู การรีเฟรชที่เหมาะสมที่สุดสําหรับมุมมองทะเลสาบที่เป็นรูปธรรมในเลคเฮาส์

การรีเฟรชที่เหมาะสมที่สุดรองรับรูปแบบคิวรีทั่วไปที่หลากหลาย รวมถึง:

  • การรวมด้วย GROUP BY
  • ด้านซ้ายด้านนอกและกึ่งรวม
  • นิพจน์ตารางทั่วไป (CTE)

คุณภาพข้อมูลในตัว

มุมมองทะเลสาบที่เป็นรูปธรรมรองรับกฎคุณภาพข้อมูลที่ประกาศ กําหนดข้อจํากัดโดยตรงใน SQL ของคุณและระบุวิธีจัดการกับการละเมิด

CONSTRAINT valid_sales CHECK (sales_amount > 0) ON MISMATCH DROP

การจัดการการพึ่งพา

เมื่อมุมมองทะเลสาบที่เป็นรูปธรรมอ้างอิงมุมมองทะเลสาบหรือตารางอื่น ๆ Fabric จะตรวจหาความสัมพันธ์เหล่านั้นโดยอัตโนมัติและจัดการลําดับการดําเนินการให้คุณ

  • เห็นภาพว่ามุมมองทะเลสาบที่เป็นรูปธรรมของคุณขึ้นอยู่กับกันและกันอย่างไรในเลคเฮาส์
  • ใบสั่งจะรีเฟรชโดยอัตโนมัติตามการขึ้นต่อกัน
  • การประมวลผลเป็นไปตามห่วงโซ่การขึ้นต่อกันเพื่อให้แน่ใจว่าข้อมูลมีความสอดคล้องกัน

การตรวจสอบและข้อมูลเชิงลึก

Fabric มีเครื่องมือในตัวเพื่อติดตามสุขภาพและประสิทธิภาพของมุมมองทะเลสาบที่เป็นรูปธรรมของคุณ:

  • ติดตามประสิทธิภาพการรีเฟรชและสถานะการดําเนินการสําหรับมุมมองทะเลสาบที่เป็นรูปธรรมแต่ละรายการ
  • ดูเมตริกคุณภาพข้อมูลและจํานวนการละเมิดในสายข้อมูล
  • ตรวจสอบอินสแตนซ์งานและประวัติการรีเฟรชในมุมมอง การเรียกใช้ล่าสุด

นอกเหนือจากฮับการตรวจสอบแบบรันต่อรันแล้ว Fabric ยังแสดงสถานภาพการดําเนินงานของแต่ละเลคเฮาส์ในหน้าการเรียกใช้ล่าสุดผ่านแท็บย่อยของพี่น้องสําหรับการวิเคราะห์และข้อมูลเชิงลึก:

แท็บย่อย ตอบคําถาม หน้าเรียนรู้
การวิ่งล่าสุด การเรียกใช้แต่ละครั้งเกิดขึ้น และฉันสามารถยกเลิกหรือเจาะลึกได้หรือไม่ มุมมองทะเลสาบล่าสุด
การวิเคราะห์ ฉันมีแนวโน้มอย่างไรในอัตราความสําเร็จ ระยะเวลา ข้อผิดพลาดยอดนิยม และการผสมผสานนโยบายการรีเฟรช - เป็นแผนภูมิในช่วงเดียวกัน ดูการวิเคราะห์สําหรับการเรียกใช้ Lake View ที่เป็นรูปธรรม
Insights อะไรที่ล้มเหลวหรือถดถอย - ด้วยลิงก์ตรงในคลิกเดียวไปยังมุมมองที่ล้มเหลว ดูข้อมูลเชิงลึกสําหรับการวิ่ง Lake View ที่เป็นรูปธรรม

สําหรับการเข้าถึงข้อมูลเดียวกันโดยทางโปรแกรม Fabric จะเขียนตารางระบบภายใต้_mlv_systemสคีมา - sys_run_metrics, , sys_node_metricsและ sys_error_metrics - ลงในเลคเฮาส์

สําคัญ

อย่าแก้ไข _mlv_system สคีมา การเปลี่ยนแปลงจะส่งผลต่อการอัปเดตแท็บการวิเคราะห์และข้อมูลเชิงลึก

การรักษาความปลอดภัย

มุมมองทะเลสาบที่เป็นรูปธรรมของ Fabric เป็นไปตามมาตรการรักษาความปลอดภัยและการกํากับดูแลสําหรับโต๊ะเลคเฮาส์ คุณยังสามารถใช้ MLV ในเลคเฮาส์ที่เปิดใช้งาน Private Link ได้อีกด้วย สําหรับข้อมูลเพิ่มเติมเกี่ยวกับ Private Link ใน Fabric โปรดดู ความปลอดภัย

เนื้อหาที่เกี่ยวข้อง

  • อัปเดตล่าสุดเมื่อ