จัดการสายข้อมูลมุมมองทะเลสาบวัสดุผ้า

มุมมองทะเลสาบ (MLV) แบบ Fabric materialized ช่วยให้คุณจัดการและคิวรีชุดข้อมูลขนาดใหญ่โดยการคํานวณล่วงหน้าและจัดเก็บผลลัพธ์คิวรี ใน Fabric สายข้อมูลช่วยให้คุณเข้าใจการขึ้นต่อกันและโฟลว์การรีเฟรช เพื่อให้คุณสามารถใช้งาน MLV ได้อย่างน่าเชื่อถือมากขึ้น

บทความนี้อธิบายวิธีการดูสายข้อมูล ทําความเข้าใจอินเทอร์เฟซสายข้อมูล และใช้สายข้อมูลเพิ่มเติมเพื่อติดตามการขึ้นต่อกันในเลคเฮาส์

ดูสายข้อมูล

สายข้อมูลมุมมองทะเลสาบที่เป็นรูปธรรมแสดงลําดับการขึ้นต่อกันสําหรับการดําเนินการรีเฟรช สําหรับ MLV สายข้อมูลแสดงถึงลําดับของมุมมองที่ต้องเรียกใช้เมื่อมีข้อมูลใหม่

หลังจากที่คุณสร้าง MLV ใน Fabric ให้เลือกแท็บ มุมมองทะเลสาบที่สร้างขึ้นจริงในริบบอน จากนั้นเลือก จัดการ เพื่อไปยังสายพันธุ์ MLV

เชื้อสายวิวทะเลสาบที่เป็นรูปธรรม

โค้ดสมุดบันทึกกําหนดสายข้อมูล (โฟลว์ MLV) และ Fabric จะสร้างเมื่อคุณสร้างโฟลว์ MLV แบบ end-to-end

สําคัญ

มุมมองสายข้อมูลจะถือว่าทางลัดทั้งหมดเป็นเอนทิตีต้นทาง มุมมองสายข้อมูลจะถือว่าตารางทั้งหมดหรือมุมมองทะเลสาบที่เป็นรูปธรรมใน Schema ทางลัดเป็นเอนทิตีต้นทาง

สกรีนช็อตที่แสดงกราฟงานในสายข้อมูล

หากต้องการเรียกใช้สายข้อมูล ให้กําหนดเวลาตามข้อกําหนดการรีเฟรชของคุณ หลังจากจัดกําหนดการงานแล้ว ให้ไปที่การเรียกใช้ปัจจุบันเพื่อดูการดําเนินการสายข้อมูล

สกรีนช็อตที่แสดงมุมมองสายข้อมูลที่ดําเนินการ

ทําความเข้าใจมุมมองสายข้อมูล

ในมุมมองสายข้อมูล Lake views ที่เป็นรูปธรรม ระบบจะประมวลผลข้อมูลตามลําดับการขึ้นต่อกัน มุมมองทะเลสาบที่เป็นรูปธรรมแต่ละมุมมองแสดงถึงการดําเนินการ (ตัวอย่างเช่น การอ่านจากตารางต้นทางหรือเรียกใช้การแปลง) ลูกศรแสดงลักษณะของความสัมพันธ์การขึ้นต่อกันและลําดับการดําเนินการแต่ละรายการ

เลือกมุมมองทะเลสาบที่เป็นรูปธรรมเพื่อตรวจสอบความสัมพันธ์ต้นน้ําและปลายน้ํา

หน้าสายข้อมูลประกอบด้วยการดําเนินการเหล่านี้:

  • รีเฟรช: รีเฟรชมุมมองสายข้อมูลเพื่อสะท้อนถึงการเปลี่ยนแปลงสถานะล่าสุด

    หมายเหตุ

    การดําเนินการนี้จะรีเฟรชเฉพาะมุมมองสายข้อมูล ไม่รีเฟรชข้อมูล มุมมองสายข้อมูลจะรีเฟรชอัตโนมัติทุกๆ 2 นาทีเมื่อกําลังดําเนินการและแท็บเบราว์เซอร์ทํางานอยู่

    สกรีนช็อตที่แสดงวิธีการรีเฟรช UI ของสายข้อมูล

  • ค้นหาในสายข้อมูล: ค้นหามุมมองทะเลสาบหรือตารางที่เป็นรูปธรรมเฉพาะตามชื่อภายในกราฟสายข้อมูล

สกรีนช็อตแสดงวิธีค้นหาภายใน UI สายข้อมูล

  • มุมมองทะเลสาบที่เป็นรูปธรรมใหม่: เปิดสมุดบันทึกที่คุณสามารถสร้างหรือแก้ไข MLV ได้

    หมายเหตุ

    สมุดบันทึกเหล่านี้ไม่ได้เชื่อมโยงโดยตรงกับมุมมองสายข้อมูล

    สกรีนช็อตแสดงมุมมองทะเลสาบที่เป็นรูปธรรมใหม่

  • จัดการกําหนดการ: เปิดบานหน้าต่าง จัดการกําหนดการ เพื่อสร้างหรือจัดการกําหนดการรีเฟรช

    สกรีนช็อตที่แสดงปุ่มกําหนดการ

  • รีเซ็ตสายข้อมูล: รีเซ็ตเค้าโครงสายข้อมูลสําหรับขนาดหน้าจอปัจจุบันของคุณ

    สกรีนช็อตแสดงวิธีการสลับเค้าโครงมุมมองสายข้อมูล

ดูเชื้อสายที่ขยายออกไป

เชื้อสายมาตรฐานแสดงการพึ่งพาในบริบทของเลคเฮาส์ปัจจุบันและเลคเฮาส์ต้นน้ําหรือแหล่งที่มา (ลึกหนึ่งระดับ) สายเลือดที่ขยายจะขยายมุมมองนั้น เพื่อให้คุณสามารถติดตามการพึ่งพาทั้งหมดย้อนกลับไปยังแหล่งที่มา — แบบเรียกซ้ําในเลคเฮาส์

เชื้อสายมาตรฐาน เชื้อสายขยาย
Scope เลคเฮาส์ปัจจุบัน + ผู้ปกครองข้ามเลคเฮาส์หนึ่งระดับ ห่วงโซ่แบบเรียกซ้ําเต็มรูปแบบในเลคเฮาส์ทั้งหมด
MLV ต้นน้ํา แสดงเป็นโหนดลีฟ — คุณไม่เห็นว่าอะไรป้อนพวกมัน ขยายอย่างเต็มที่ — ทุกมุมมองอัปสตรีมและแหล่งที่มาจะมองเห็นได้
ครอสเลคเฮาส์ ไม่แสดง มองเห็นได้หากคุณมีสิทธิ์อ่านในพื้นที่ทํางานอัปสตรีม

วิธีดูเชื้อสายขยาย:

  1. เปิดแท็บ จัดการ ของมุมมองทะเลสาบที่เป็นรูปธรรม

  2. เปิดการสลับ สายข้อมูล Extended ในแถบเครื่องมือ

สายข้อมูลจะอัปเดตเพื่อแสดงการพึ่งพาต้นน้ําทั้งหมด รวมถึงมุมมองทะเลสาบที่เป็นรูปธรรมและตารางแหล่งที่มาในเลคเฮาส์อื่นๆ แต่ละโหนดในกราฟจะแสดงชื่อและเลคเฮาส์ ชนิดโหนด (ตาราง ทางลัด หรือมุมมองทะเลสาบที่เป็นรูปธรรม) จะแสดงด้วยไอคอน

หมายเหตุ

คุณสามารถดูการขึ้นต่อกันอัปสตรีมในพื้นที่ทํางานที่คุณมีสิทธิ์ในการอ่านเป็นอย่างน้อยเท่านั้น การขึ้นต่อกันในพื้นที่ทํางานที่คุณไม่สามารถเข้าถึงได้จะปรากฏเป็นโหนดที่ผิดพลาด

โหนดผิดพลาด

เมื่อการพึ่งพาอัปสตรีมหายไป ถูกลบ หรือไม่สามารถเข้าถึงได้ จะปรากฏเป็น โหนดที่ผิดพลาด ในกราฟสายข้อมูล โหนดที่ผิดพลาดจะแสดงตัวบ่งชี้ข้อผิดพลาดพร้อมข้อความอธิบายปัญหา (เช่น "หายไปหรือไม่สามารถเข้าถึงได้")

การประหารชีวิตข้ามเลคเฮาส์

เชื้อสายที่ขยายช่วยให้ สามารถดําเนินการข้ามเลคเฮาส์ได้ เลคเฮาส์เดียวสามารถกําหนดและรีเฟรชมุมมองทะเลสาบที่เป็นรูปธรรมซึ่งอ้างอิงตารางในเลคเฮาส์หลายแห่ง รวมถึงเลคเฮาส์ในพื้นที่ทํางานอื่นๆ โดยไม่จําเป็นต้องทําซ้ําตรรกะการเปลี่ยนแปลงในแต่ละเลคเฮาส์

ตัวอย่างเช่น หากคุณมีเลคเฮาส์สามแห่ง ได้แก่ บรอนซ์ ซิลเวอร์ และโกลด์ คุณสามารถกําหนดทิวทัศน์ทะเลสาบที่เป็นรูปธรรมทั้งหมดของคุณในเลคเฮาส์สีทองในขณะที่อ้างอิงตารางแหล่งที่มาหรือมุมมองทะเลสาบที่เป็นรูปธรรมในสีบรอนซ์และสีเงิน เลคเฮาส์เหล่านี้สามารถอยู่ในพื้นที่ทํางานเดียวกันหรือพื้นที่ทํางานที่แตกต่างกัน Fabric จัดการการอ่านข้ามเลคเฮาส์ระหว่างการรีเฟรช ดังนั้นคุณจึงรักษาคําจํากัดความหนึ่งชุดแทนที่จะเป็นสามชุด

กําหนดเวลามุมมองทะเลสาบที่เป็นรูปธรรมต้นน้ํา

จากมุมมองสายเลือดแบบขยาย คุณสามารถกําหนดเวลาการรีเฟรชสําหรับมุมมองทะเลสาบที่เป็นรูปธรรมต้นน้ําในเลคเฮาส์อื่นๆ ได้โดยไม่ต้องนําทางไปยังเลคเฮาส์ต้นน้ําแต่ละแห่งแยกกัน เมื่อสร้างกําหนดการหรือการเรียกใช้เฉพาะกิจ คุณสามารถเลือกเลคเฮาส์ที่จะรวมไว้ในการรีเฟรชได้ สําหรับรายละเอียด โปรดดู กําหนดเวลาการรีเฟรชมุมมองทะเลสาบที่เป็นรูปธรรม

สิทธิ์สําหรับสายข้อมูลเพิ่มเติม

การดำเนินการ การอนุญาตที่จําเป็น
ดูเชื้อสายที่ขยายออกไป การเข้าถึงการอ่านในพื้นที่ทํางานอัปสตรีม
กําหนดเวลามุมมองทะเลสาบที่เป็นรูปธรรมต้นน้ํา ผู้ร่วมให้ข้อมูลเกี่ยวกับเลคเฮาส์ต้นน้ํา
ดูรายละเอียดของการขึ้นต่อกันต้นน้ํา สิทธิ์ในการอ่านในรายการ

ดูสายพันธุ์สําหรับการนําเข้าไฟล์

เมื่อวิวทะเลสาบที่สร้างขึ้นแล้วนําเข้าไฟล์ที่มี USING OneLake_Files, แหล่งที่มาของไฟล์คือโฟลเดอร์ OneLake จริง, ทางลัดโฟลเดอร์ OneLake หรือไฟล์เดียว แทนที่จะเป็นตารางต้นทาง มุมมองสายสืบทอดแทนตําแหน่งต้นทางเป็นโหนดต้นทางที่ป้อนข้อมูลไปยังมุมมองที่นําเข้าไฟล์ เพื่อให้คุณสามารถติดตามและตรวจสอบท่อเมดัลเลียนที่รองรับไฟล์ได้ครบถ้วน

กราฟสายพันธุ์เริ่มต้นจากตําแหน่งต้นทางที่มุมมองนําเข้า โหนดต้นทางเชื่อมต่อกับมุมมองทะเลสาบที่นําเข้าไฟล์ ซึ่งสามารถส่งไปยังวิวเงินและทองด้านล่าง ตามลําดับการพึ่งพาเดียวกับ Fabric ที่ใช้กับมุมมองแบบตาราง

ภาพหน้าจอกราฟสายพันธุ์วิวทะเลสาบที่แสดงโฟลเดอร์ต้นทางที่ป้อนข้อมูลไปยังไฟล์บรอนซ์ที่กําลังนําเข้าข้อมูล จากนั้นเป็นมุมมองสีเงินและทอง

เพื่อตรวจสอบท่อส่งไฟล์สํารองและยืนยันว่าการรีเฟรชตรวจพบการเปลี่ยนแปลงแหล่งที่มา ให้ทําตามขั้นตอนเหล่านี้:

  1. เลือกโหนดโฟลเดอร์ต้นทางเพื่อเปิดบานหน้าต่างรายละเอียดของมัน บานหน้าต่างจะแสดงเส้นทาง OneLake และไฟล์ที่ค้นพบในโฟลเดอร์

    ภาพหน้าจอของบานหน้าต่างรายละเอียดโฟลเดอร์ต้นทางที่แสดงเส้นทาง OneLake และไฟล์ในโฟลเดอร์

  2. เลือกโหนดมุมมองทะเลสาบที่นําเข้าไฟล์เพื่อดูรายละเอียด รวมถึงรูปแบบต้นทาง โหมดสคีมา และโหมดรีเฟรช

    ภาพหน้าจอของบานหน้าต่างรายละเอียดทะเลสาบที่นําเข้าไฟล์ แสดงรูปแบบ โหมดสคีมา และโหมดรีเฟรช

  3. เปิดแท็บ การรันล่าสุด เจาะลึกในรันที่จัดการ และเลือกมุมมองที่นําเข้าไฟล์เพื่อดูเมตริกที่ประมวลผลไฟล์และเพิ่มแถว

    ภาพหน้าจอรายละเอียดของรันที่แสดงจํานวนไฟล์ที่ประมวลผลและแถวที่เพิ่มสําหรับมุมมองทะเลสาบที่นําเข้าไฟล์

ตีความเมตริกการประมวลผลไฟล์

ไฟล์ที่ประมวลผล เป็นเมตริกระดับรัน ไม่ใช่จํานวนไฟล์ทั้งหมดในโฟลเดอร์ต้นทาง จํานวนขึ้นอยู่กับโหมดรีเฟรชของวิว:

  • สําหรับ APPEND_ONLY โหมดรีเฟรช จะนับไฟล์ใหม่ที่รันนําเข้า มันไม่นับไฟล์ที่รันก่อนหน้าได้ปรากฏขึ้นแล้ว
  • สําหรับ FULL โหมดรีเฟรช จะนับจํานวนไฟล์ที่อ่านขณะสร้างมุมมองใหม่จากสแนปช็อตโฟลเดอร์ปัจจุบัน
  • การรันที่สําเร็จอาจรายงานว่าไม่มีไฟล์ที่ถูกประมวลผลเมื่อรีเฟรชที่จัดการไม่พบไฟล์ต้นทางใหม่

ใช้บานหน้าต่างรายละเอียดโฟลเดอร์ต้นทางสําหรับรายการโฟลเดอร์ปัจจุบัน และบานหน้าต่างรายละเอียดการรันสําหรับไฟล์ที่ถูกดําเนินการโดยการรีเฟรชเฉพาะ สองการนับนี้ตอบคําถามต่างกันและไม่จําเป็นต้องตรงกับการวิ่งแบบเพิ่มทีละน้อย

Tip

หากมุมมองแสดง __filepath__ คอลัมน์เมตาดาต้าต้นทาง ให้ใช้เพื่อ GROUP BY __filepath__ ตรวจสอบไฟล์ที่แสดงในผลลัพธ์ที่สร้างขึ้นในปัจจุบัน มุมมองนี้สะท้อนลําดับแถวปัจจุบัน ขณะที่ ไฟล์ที่ประมวลผล จะแสดงงานที่การรีเฟรชหนึ่งครั้งทํา