ปลายทางของข้อมูล Gen2 ของกระแสข้อมูลและการตั้งค่าที่มีการจัดการ

หลังจากที่คุณทําความสะอาดและเตรียมข้อมูลของคุณด้วย Dataflow Gen2 คุณจะต้องการบันทึกข้อมูลนั้นไว้ที่ใดที่หนึ่งที่มีประโยชน์ กระแสข้อมูล Gen2 ให้คุณเลือกจากหลายปลายทาง เช่น Azure SQL, Fabric Lakehouse และอื่น ๆ เมื่อคุณเลือกปลายทาง Dataflow Gen2 จะเขียนข้อมูลของคุณไว้ที่นั่น และคุณสามารถใช้เพื่อการวิเคราะห์และการรายงานได้

รายการต่อไปนี้ประกอบด้วยปลายทางข้อมูลที่ได้รับการสนับสนุน:

• ฐานข้อมูล Azure SQL
• Azure Data Explorer (Kusto)
• Azure Datalake Gen2
• โต๊ะผ้าเลคเฮาส์
• ไฟล์ Fabric Lakehouse
• คลังสินค้าผ้า
• ฐานข้อมูล Fabric KQL
• ฐานข้อมูล Fabric SQL
• ไฟล์ SharePoint
• ฐานข้อมูลเกล็ดหิมะ
• ฐานข้อมูล PostgreSQL

จุดเริ่มต้น

ทุกคิวรีข้อมูลใน Dataflow Gen2 ของคุณสามารถมีปลายทางของข้อมูลได้ คุณสามารถใช้ปลายทางกับคิวรีแบบตารางเท่านั้น—ฟังก์ชันและรายการไม่ได้รับการสนับสนุน คุณสามารถตั้งค่าปลายทางข้อมูลสําหรับแต่ละคิวรีได้ และคุณสามารถใช้ปลายทางที่แตกต่างกันภายในกระแสข้อมูลเดียวกัน

มีสามวิธีในการตั้งค่าปลายทางข้อมูล:

• ผ่านริบบอนด้านบน

  

• ผ่านการตั้งค่าคิวรี

  

• ผ่านมุมมองไดอะแกรม

  

เชื่อมต่อกับปลายทางของข้อมูล

การเชื่อมต่อกับปลายทางของข้อมูลทํางานเหมือนกับการเชื่อมต่อกับแหล่งข้อมูล คุณสามารถใช้การเชื่อมต่อสําหรับการอ่าน และการเขียนข้อมูลของคุณ ตราบใดที่คุณมีสิทธิ์ที่ถูกต้องบนแหล่งข้อมูล คุณจะต้องสร้างการเชื่อมต่อใหม่หรือเลือกการเชื่อมต่อที่มีอยู่ จากนั้นเลือก ถัดไป

ตั้งค่าปลายทางตามไฟล์

เมื่อคุณเลือกปลายทางที่ยึดตามไฟล์ (ตัวอย่างเช่น SharePoint) คุณจะต้องกําหนดการตั้งค่าตามรูปแบบไฟล์ที่คุณเลือก

รูปแบบข้อความที่คั่น

เมื่อคุณเลือก ข้อความที่คั่น เป็นรูปแบบไฟล์ ให้กําหนดการตั้งค่าเหล่านี้:

• ชื่อไฟล์: ชื่อของไฟล์ที่สร้างขึ้นในปลายทาง ตามค่าเริ่มต้น ชื่อไฟล์จะตรงกับชื่อคิวรีของคุณ
• ต้นทางของไฟล์: การเข้ารหัสที่ใช้ในการสร้างไฟล์ในปลายทาง โดยค่าเริ่มต้น ค่านี้จะตั้งค่าเป็น 65001: Unicode (UTF-8)
• ตัวคั่น: ตัวคั่นที่ใช้ในการแยกค่าในไฟล์ ตัวเลือกได้แก่:
  • ทวิภาค
  • จุลภาค (ค่าเริ่มต้น)
  • เครื่องหมายเท่ากับ
  • อัฒภาค
  • สเปซ
  • แท็บ

รูปแบบ Excel (ตัวอย่าง)

เมื่อคุณเลือก Excel เป็นรูปแบบไฟล์ คุณจะมีตัวเลือกรูปแบบสามแบบ: แผ่นเดียวหลายแผ่นและขั้นสูง

รูปแบบแผ่นเดียว

รูปแบบแผ่นงานเดียวจะเขียนข้อมูลของคุณลงในแผ่นงานเดียวในไฟล์ Excel กําหนดการตั้งค่าเหล่านี้:

• ชื่อไฟล์: ชื่อของไฟล์ Excel ที่สร้างขึ้นในปลายทาง โดยค่าเริ่มต้น ชื่อแฟ้มจะตรงกับชื่อคิวรีของคุณกับ .xlsx นามสกุล
• ประเภทเอาต์พุต: เลือกวิธีแสดงข้อมูลในชีต
  • แผ่นงาน: ส่งออกข้อมูลเป็นตาราง Excel มาตรฐาน
  • แผนภูมิ: ส่งออกข้อมูลเป็นแผนภูมิ เมื่อคุณเลือกแผนภูมิ คุณต้องกําหนดการตั้งค่าเพิ่มเติม:
    • ชื่อชีต: ชื่อของชีตที่สร้างแผนภูมิ
    • ชนิดแผนภูมิ: ชนิดของแผนภูมิที่จะสร้าง (ตัวอย่างเช่น พื้นที่)
    • คอลัมน์แกน: คอลัมน์ที่จะใช้สําหรับแกนแผนภูมิ
    • คอลัมน์ค่า: คอลัมน์ที่จะใช้สําหรับค่าแผนภูมิ
    • คอลัมน์แกนหลัก: คอลัมน์ที่จะใช้เป็นแกนหลัก (ไม่บังคับ)
• ชื่อแผ่นงาน: ชื่อของแผ่นงานที่เขียนข้อมูล (เมื่อประเภทผลลัพธ์เป็นแผ่นงาน)

รูปแบบหลายแผ่น

รูปแบบหลายแผ่นจะแบ่งพาร์ติชันข้อมูลของคุณในหลายแผ่นงานตามค่าคอลัมน์ กําหนดการตั้งค่าเหล่านี้:

• ชื่อไฟล์: ชื่อของไฟล์ Excel ที่สร้างขึ้นในปลายทาง
• คอลัมน์พาร์ติชันแผ่นงาน: คอลัมน์ที่ใช้ในการแบ่งพาร์ติชันข้อมูลในหลายแผ่นงาน ค่าที่ไม่ซ้ํากันแต่ละค่าในคอลัมน์นี้จะสร้างแผ่นงานแยกต่างหาก

รูปแบบขั้นสูง

รูปแบบขั้นสูงช่วยให้ควบคุมเอาต์พุต Excel ได้มากขึ้น ช่วยให้คุณสร้างสมุดงานที่ซับซ้อนด้วยแผ่นงาน แผนภูมิ และการจัดรูปแบบที่กําหนดเองได้หลายแผ่นโดยใช้ตารางการนําทาง สําหรับข้อมูลเพิ่มเติม ให้ดูที่ ปลายทางข้อมูลขั้นสูงของ Excel

สร้างตารางใหม่หรือเลือกตารางที่มีอยู่

เมื่อโหลดลงในปลายทางของข้อมูลของคุณ คุณสามารถสร้างตารางใหม่หรือเลือกตารางที่มีอยู่ได้

สร้างตารางใหม่

เมื่อคุณเลือกที่จะสร้างตารางใหม่ Dataflow Gen2 จะสร้างตารางใหม่ในปลายทางของข้อมูลของคุณในระหว่างการรีเฟรช ถ้าตารางถูกลบในภายหลัง (ถ้าคุณไปยังปลายทางและลบด้วยตนเอง) กระแสข้อมูลจะสร้างตารางขึ้นใหม่ในระหว่างการรีเฟรชครั้งถัดไป

ตามค่าเริ่มต้น ชื่อตารางของคุณจะตรงกับชื่อคิวรีของคุณ ถ้าชื่อตารางของคุณมีอักขระใด ๆ ที่ปลายทางไม่สนับสนุน ชื่อตารางจะปรับเปลี่ยนโดยอัตโนมัติ ตัวอย่างเช่น ปลายทางจํานวนมากไม่สนับสนุนช่องว่างหรืออักขระพิเศษ

ถัดไป คุณต้องเลือกคอนเทนเนอร์ปลายทาง หากคุณเลือกปลายทางข้อมูล Fabric ใดๆ คุณสามารถใช้ตัวนําทางเพื่อเลือกรายการ Fabric ที่คุณต้องการโหลดข้อมูลของคุณ สําหรับปลายทางของ Azure คุณสามารถระบุฐานข้อมูลในระหว่างการสร้างการเชื่อมต่อหรือเลือกฐานข้อมูลจากประสบการณ์การใช้งานตัวนําทางได้

ใช้ตารางที่มีอยู่

หากต้องการเลือกตารางที่มีอยู่ ให้ใช้ตัวสลับที่ด้านบนของตัวนําทาง เมื่อเลือกตารางที่มีอยู่ คุณต้องเลือกทั้งรายการ/ฐานข้อมูล Fabric และตารางโดยใช้ตัวนําทาง

เมื่อคุณใช้ตารางที่มีอยู่ คุณจะไม่สามารถสร้างตารางใหม่ในสถานการณ์ใดๆ ได้ ถ้าคุณลบตารางด้วยตนเองจากปลายทางข้อมูล Dataflow Gen2 จะไม่สร้างตารางใหม่ในการรีเฟรชครั้งถัดไป

ไฟล์หรือตารางเลคเฮาส์

สําหรับ Lakehouse คุณมีตัวเลือกในการสร้างไฟล์หรือตารางในเลคเฮาส์ของคุณ นี่เป็นเอกลักษณ์เฉพาะตัวเนื่องจากจุดหมายปลายทางส่วนใหญ่รองรับเพียงอย่างใดอย่างหนึ่งเท่านั้น วิธีนี้ช่วยให้มีความยืดหยุ่นมากขึ้นในการจัดโครงสร้างข้อมูลในเลคเฮาส์

หากต้องการสลับไปมาระหว่างไฟล์และตาราง คุณสามารถใช้ปุ่มสลับเมื่อเรียกดูเลคเฮาส์ของคุณ

การตั้งค่าที่มีการจัดการสําหรับตารางใหม่

เมื่อคุณกําลังโหลดลงในตารางใหม่ การตั้งค่าอัตโนมัติจะเปิดใช้งานตามค่าเริ่มต้น หากคุณใช้การตั้งค่าอัตโนมัติ Dataflow Gen2 จะจัดการการแมปให้คุณ การตั้งค่าอัตโนมัติมีดังนี้:

• การแทนที่วิธีอัปเดต: ข้อมูลที่จะถูกแทนที่ในการรีเฟรชกระแสข้อมูลทุกครั้ง ข้อมูลใด ๆ ในปลายทางจะถูกลบออก ข้อมูลในปลายทางจะถูกแทนที่ด้วยข้อมูลผลลัพธ์ของกระแสข้อมูล

• การแมปที่มีการจัดการ: การแมปได้รับการจัดการสําหรับคุณ เมื่อคุณต้องการเปลี่ยนแปลงข้อมูล/คิวรีของคุณเพื่อเพิ่มคอลัมน์อื่นหรือเปลี่ยนชนิดข้อมูล การทําแผนที่จะได้รับการปรับโดยอัตโนมัติสําหรับการเปลี่ยนแปลงนี้เมื่อคุณเผยแพร่กระแสข้อมูลของคุณอีกครั้ง คุณไม่จําเป็นต้องเข้าสู่ประสบการณ์ปลายทางข้อมูลทุกครั้งที่คุณทําการเปลี่ยนแปลงกระแสข้อมูลของคุณ ซึ่งจะทําให้การเปลี่ยนแปลงของ Schema ทําได้ง่ายขึ้นเมื่อคุณเผยแพร่กระแสข้อมูลอีกครั้ง

• ทิ้งและสร้างตารางใหม่: เพื่ออนุญาตให้มีการเปลี่ยนแปลงสคีมาเหล่านี้ ตารางจะลดลงและสร้างขึ้นใหม่ในทุกการรีเฟรชกระแสข้อมูล การรีเฟรชกระแสข้อมูลของคุณอาจทําให้เกิดการลบความสัมพันธ์หรือหน่วยวัดที่เพิ่มเข้ามาในตารางของคุณก่อนหน้านี้

การตั้งค่าด้วยตนเอง

โดยการปิดใช้งาน ใช้การตั้งค่าอัตโนมัติ คุณสามารถควบคุมวิธีการโหลดข้อมูลของคุณลงในปลายทางของข้อมูลได้อย่างเต็มที่ คุณสามารถเปลี่ยนแปลงใด ๆ กับการแมปคอลัมน์ได้โดยการเปลี่ยนชนิดแหล่งข้อมูล หรือยกเว้นคอลัมน์ที่คุณไม่ต้องการในปลายทางข้อมูลของคุณ

วิธีการอัปเดต

ปลายทางส่วนใหญ่รองรับทั้งการผนวกและแทนที่เป็นวิธีอัปเดต อย่างไรก็ตาม ฐานข้อมูล Fabric KQL และ Azure Data Explorer ไม่สนับสนุนการแทนที่เป็นวิธีอัปเดต

• แทนที่: ในการรีเฟรชกระแสข้อมูลทุกครั้ง ข้อมูลของคุณจะถูกทิ้งจากปลายทางและแทนที่ด้วยข้อมูลเอาต์พุตของกระแสข้อมูล

• ผนวก: ในการรีเฟรชกระแสข้อมูลทุกครั้ง ข้อมูลเอาต์พุตจากกระแสข้อมูลจะถูกผนวกเข้ากับข้อมูลที่มีอยู่ในตารางปลายทางข้อมูล

ตัวเลือก Schema เมื่อเผยแพร่

ตัวเลือก Schema ในการเผยแพร่จะใช้เฉพาะเมื่อมีการ แทนที่วิธีการอัปเดตเท่านั้น เมื่อคุณผนวกข้อมูล การเปลี่ยนแปลง Schema ไม่สามารถทําได้

• สคีมาแบบไดนามิก: เมื่อเลือกสคีมาแบบไดนามิก คุณจะอนุญาตให้มีการเปลี่ยนแปลงสคีมาในปลายทางข้อมูลเมื่อคุณเผยแพร่กระแสข้อมูลอีกครั้ง เนื่องจากคุณไม่ได้ใช้การแมปที่มีการจัดการ คุณจะยังคงต้องอัปเดตการแมปคอลัมน์ในตัวช่วยสร้างปลายทางกระแสข้อมูลเมื่อคุณทําการเปลี่ยนแปลงใด ๆ กับคิวรีของคุณ เมื่อการรีเฟรชตรวจพบความแตกต่างระหว่างสคีมาปลายทางและสคีมาที่คาดไว้ ตารางจะลดลงและถูกสร้างขึ้นใหม่เพื่อให้สอดคล้องกับสคีมาที่คาดไว้ การรีเฟรชกระแสข้อมูลของคุณอาจทําให้เกิดการลบความสัมพันธ์หรือหน่วยวัดที่เพิ่มเข้ามาในตารางของคุณก่อนหน้านี้

• สคีมาคงที่: เมื่อคุณเลือกสคีมาคงที่ จะไม่สามารถเปลี่ยนแปลงสคีมาได้ เมื่อกระแสข้อมูลได้รับการรีเฟรช เฉพาะแถวในตารางจะถูกวางและแทนที่ด้วยข้อมูลเอาต์พุตจากกระแสข้อมูล ความสัมพันธ์หรือหน่วยวัดใด ๆ บนตารางจะยังคงเหมือนเดิม หากคุณทําการเปลี่ยนแปลงใด ๆ กับคิวรีของคุณในกระแสข้อมูล การเผยแพร่กระแสข้อมูลจะล้มเหลวหากตรวจพบว่า Schema คิวรีไม่ตรงกับสคีมาปลายทางข้อมูล ใช้การตั้งค่านี้เมื่อคุณไม่ได้วางแผนที่จะเปลี่ยนสคีมา และมีความสัมพันธ์หรือหน่วยวัดที่เพิ่มไปยังตารางปลายทางของคุณ

Parameterization

พารามิเตอร์ เป็นคุณลักษณะหลักภายใน Dataflow Gen2 ใช้ตัวแก้ไขนิพจน์แบบไดนามิกเพื่อรวมข้อความกับค่าวันที่และเวลาแบบไดนามิก พารามิเตอร์ และตัวแปรพื้นที่ทํางานในฟิลด์ปลายทางข้อมูลที่รองรับ ตัวแก้ไขถูกเปิดใช้งานโดยค่าเริ่มต้น ในฟิลด์ที่รองรับ ให้กด / เพื่อแทรกค่า สําหรับข้อมูลเพิ่มเติม ดูที่ การใช้ตัวแก้ไขนิพจน์ไดนามิกสําหรับปลายทางข้อมูล Dataflow Gen2

หากต้องการกําหนดค่าพารามิเตอร์สําหรับการตั้งค่าปลายทางที่ตัวแก้ไขนิพจน์แบบไดนามิกไม่รองรับ ให้ใช้สคริปต์ M ที่สร้างสําหรับคําสั่งปลายทาง สําหรับข้อมูลเพิ่มเติม โปรดดู การแก้ไขขั้นสูงสําหรับคิวรีปลายทางข้อมูล

สคริปต์ Mashup สําหรับการค้นหาปลายทางข้อมูล

เมื่อใช้คุณลักษณะปลายทางข้อมูล การตั้งค่าที่กําหนดไว้เพื่อโหลดข้อมูลไปยังปลายทางของคุณจะถูกกําหนดไว้ในเอกสาร mashup ของกระแสข้อมูลของคุณ แอปพลิเคชัน Dataflow โดยพื้นฐานจะสร้างสององค์ประกอบ:

• แบบสอบถามที่มีขั้นตอนการนําทางไปยังปลายทางของคุณ เป็นไปตามรูปแบบของชื่อคิวรีเริ่มต้นของคุณที่มีคําต่อท้าย _DataDestination เช่น:

shared #"Orders by Region_DataDestination" = let
  Pattern = Lakehouse.Contents([CreateNavigationProperties = false, EnableFolding = false]),
  Navigation_1 = Pattern{[workspaceId = "cfafbeb1-8037-4d0c-896e-a46fb27ff229"]}[Data],
  Navigation_2 = Navigation_1{[lakehouseId = "b218778-e7a5-4d73-8187-f10824047715"]}[Data],
  TableNavigation = Navigation_2{[Id = "Orders by Region", ItemKind = "Table"]}?[Data]?
in
  TableNavigation;

• เรกคอร์ดแอตทริบิวต์ DataDestinations สําหรับแบบสอบถามที่มีตรรกะที่จะใช้สําหรับวิธีการโหลดข้อมูลไปยังปลายทางของคุณ ระเบียนมีตัวชี้ไปยังแบบสอบถามที่มีขั้นตอนการนําทางไปยังปลายทางของคุณและการตั้งค่าปลายทางโดยรวม เช่น วิธีการปรับปรุง ตัวเลือก Schema และชนิดของเป้าหมายปลายทาง เช่น ตาราง หรือชนิดอื่นๆ เช่น:

[DataDestinations = {[Definition = [Kind = "Reference", QueryName = "Orders by Region_DataDestination", IsNewTarget = true], Settings = [Kind = "Automatic", TypeSettings = [Kind = "Table"]]]}]

สคริปต์ M เหล่านี้ไม่ปรากฏภายในแอปพลิเคชัน Dataflow แต่คุณสามารถเข้าถึงข้อมูลนี้ได้ผ่านทาง:

• Fabric REST API สําหรับคําจํากัดความ GET Dataflow
• เอกสาร Mashup.pq เมื่อใช้การรวม Git

ชนิดแหล่งข้อมูลที่สนับสนุนต่อปลายทาง

เมื่อทํางานกับชนิดข้อมูล เช่น สกุลเงินหรือเปอร์เซ็นต์ เรามักแปลงเป็นทศนิยมที่เทียบเท่ากับปลายทางส่วนใหญ่ อย่างไรก็ตาม เมื่อเชื่อมต่อกับปลายทางเหล่านี้อีกครั้งและตามเส้นทางตารางที่มีอยู่ คุณอาจพบปัญหาในการแมป เช่น สกุลเงินไปยังคอลัมน์ทศนิยม ในกรณีดังกล่าว ลองเปลี่ยนชนิดข้อมูลในตัวแก้ไขเป็นทศนิยม เนื่องจากจะช่วยให้ง่ายต่อการแมปไปยังตารางและคอลัมน์ที่มีอยู่

หัวข้อขั้นสูง

ใช้การจัดเตรียมก่อนการโหลดไปยังปลายทาง

เพื่อปรับปรุงประสิทธิภาพของการประมวลผลคิวรี สามารถใช้การจัดเตรียมภายใน Dataflow Gen2 เพื่อใช้การประมวลผลแบบ Fabric เพื่อดําเนินการคิวรีของคุณ

เมื่อการจัดเตรียมถูกเปิดใช้งานบนคิวรีของคุณ (ลักษณะการทํางานเริ่มต้น) ข้อมูลของคุณจะถูกโหลดลงในตําแหน่งที่ตั้งการจัดเตรียม ซึ่งเป็นเลคเฮ้าส์ภายในที่สามารถเข้าถึงได้โดยกระแสข้อมูลเท่านั้น

การใช้ตําแหน่งการจัดเตรียมสามารถปรับปรุงประสิทธิภาพการทํางานในบางกรณีที่การพับคิวรีไปยังจุดสิ้นสุดการวิเคราะห์ SQL เร็วกว่าการประมวลผลในหน่วยความจํา

เมื่อคุณกําลังโหลดข้อมูลลงใน Lakehouse หรือปลายทางอื่น ๆ ที่ไม่ใช่คลังสินค้า เราปิดใช้งานคุณลักษณะการจัดเตรียมตามค่าเริ่มต้นเพื่อปรับปรุงประสิทธิภาพการทํางาน เมื่อคุณโหลดข้อมูลลงในปลายทางของข้อมูล ข้อมูลจะถูกเขียนโดยตรงไปยังปลายทางของข้อมูลโดยไม่ต้องใช้การจัดเตรียม ถ้าคุณต้องการใช้การจัดเตรียมสําหรับคิวรีของคุณ คุณสามารถเปิดใช้งานอีกครั้งได้

หากต้องการเปิดใช้งานการจัดงาน ให้คลิกขวาที่คิวรีและเปิดใช้งานการแสดงละครโดยเลือกปุ่มเปิดใช้งานการแสดงละคร คิวรีของคุณจะเปลี่ยนเป็นสีน้ําเงิน

ข้อจํากัดของการแสดงตัวอย่างปลายทางเกล็ดหิมะ

เกล็ดหิมะเป็นปลายทางข้อมูลมีข้อจํากัดที่ทราบดังต่อไปนี้:

• ไม่รองรับ Schema แบบไดนามิก ถ้าคุณเปลี่ยนคอลัมน์ในคิวรีต้นทางของคุณ (เพิ่ม เปลี่ยนชื่อ หรือเอาคอลัมน์ออก) คุณจําเป็นต้องกําหนดค่าการแม็ปปลายทางใหม่ด้วยตนเอง จุดหมายปลายทางอื่นๆ เช่น Fabric Lakehouse รองรับสคีมาแบบไดนามิก แต่ Snowflake ยังไม่รองรับ
• ปลายทางเริ่มต้นใช้ได้กับตารางใหม่เท่านั้น เมื่อใช้ประสบการณ์ปลายทางเริ่มต้นกับ Snowflake จะสร้างตารางใหม่ในการรีเฟรชครั้งแรก อย่างไรก็ตาม ถ้าคุณเปลี่ยน Schema ของกระแสข้อมูลของคุณในภายหลัง Schema ปลายทางจะไม่ได้รับการอัปเดตโดยอัตโนมัติ
• ไม่รองรับเกตเวย์ ขณะนี้ Snowflake เป็นปลายทางข้อมูลพร้อมใช้งานสําหรับกระแสข้อมูลบนระบบคลาวด์เท่านั้น การสนับสนุนเกตเวย์กําลังจะมาในเร็วๆ นี้

การโหลดข้อมูลลงในคลังสินค้า

เมื่อคุณโหลดข้อมูลลงในคลังสินค้า จําเป็นต้องมีการจัดเตรียมก่อนการดําเนินการเขียนไปยังปลายทางของข้อมูล ข้อกําหนดนี้ช่วยปรับปรุงประสิทธิภาพการทํางาน ในปัจจุบัน รองรับเฉพาะการโหลดลงในพื้นที่ทํางานเดียวกันกับกระแสข้อมูลเท่านั้น ตรวจสอบให้แน่ใจว่ามีการเปิดใช้งานการแบ่งระยะสําหรับการสอบถามทั้งหมดที่โหลดลงในคลังสินค้า

เมื่อการจัดเตรียมถูกปิดใช้งาน และคุณเลือกคลังสินค้าเป็นปลายทางเอาท์พุท คุณจะได้รับคําเตือนเพื่อเปิดใช้งานการจัดเตรียมก่อนก่อนที่คุณจะสามารถกําหนดค่าปลายทางของข้อมูลได้

ถ้าคุณมีคลังสินค้าเป็นปลายทางแล้วและพยายามปิดใช้งานการจัดเตรียม คําเตือนจะปรากฏขึ้น คุณสามารถลบคลังสินค้าเป็นปลายทางหรือยกเลิกการดําเนินการจัดเตรียมได้

รองรับ Schema สําหรับฐานข้อมูล Lakehouse, Warehouse และ SQL

ฐานข้อมูล Lakehouse, Warehouse และ SQL ใน Microsoft Fabric ทั้งหมดรองรับความสามารถในการสร้าง Schema สําหรับข้อมูลของคุณ ซึ่งหมายความว่าคุณสามารถจัดโครงสร้างข้อมูลของคุณในลักษณะที่ทําให้ง่ายต่อการจัดการและสืบค้น เพื่อให้สามารถเขียนลงในสคีมาในปลายทางเหล่านี้ คุณจําเป็นต้องเปิดใช้งานตัวเลือก นําทางโดยใช้ลําดับชั้นแบบเต็ม ภายใต้ ตัวเลือกขั้นสูง เมื่อคุณตั้งค่าการเชื่อมต่อ ถ้าคุณไม่เปิดใช้งานตัวเลือกนี้ คุณจะไม่สามารถเลือกหรือดู Schema ในปลายทางได้ ข้อจํากัดของการแสดงตัวอย่างสําหรับการเปิดใช้งานการนําทางโดยใช้ลําดับชั้นแบบเต็มคือการคัดลอกอย่างรวดเร็วอาจทํางานไม่ถูกต้อง เมื่อต้องการใช้คุณลักษณะนี้ร่วมกับเกตเวย์ เราต้องการเกตเวย์อย่างน้อย 3000.310 เวอร์ชัน

การซิงค์ข้อมูลเมตาของปลายทางการวิเคราะห์ SQL อัตโนมัติสําหรับปลายทางของ Lakehouse

เมื่อการรีเฟรชกระแสข้อมูล Gen2 เขียนข้อมูลไปยังปลายทางตาราง Lakehouse เมตาดาต้าปลายทางการวิเคราะห์ SQL จะถูกซิงโครไนซ์โดยอัตโนมัติโดยเป็นส่วนหนึ่งของการรีเฟรช ซึ่งหมายความว่าข้อมูลของคุณสามารถสืบค้นได้ทันทีผ่านปลายทางการวิเคราะห์ SQL หลังจากรีเฟรชสําเร็จ โดยไม่จําเป็นต้องดําเนินการเพิ่มเติมหรือการเรียก API แยกต่างหาก

ลักษณะการทํางานนี้ถูกควบคุมโดยตัวเลือก ซิงโครไนส์ข้อมูลเมตาของปลายทาง SQL Analytics ซึ่งอยู่ภายใต้ ตัวเลือกขั้นสูง ในการตั้งค่าการเชื่อมต่อ Lakehouse (มองเห็นได้เมื่อคุณสร้างหรือแก้ไขการเชื่อมต่อปลายทางข้อมูล Lakehouse) ตัวเลือกถูกตั้งค่าเป็น True ตามค่าเริ่มต้น

ในสถานการณ์ส่วนใหญ่ คุณควรเปิดใช้งานตัวเลือกนี้ไว้เพื่อให้ผู้บริโภคดาวน์สตรีม (แบบจําลองความหมาย Power BI, สมุดบันทึก, คิวรี SQL) เห็นข้อมูลล่าสุดเสมอหลังจากการรีเฟรชกระแสข้อมูล

คุณสามารถตั้งค่าตัวเลือกนี้เป็น เท็จ ในกรณีขอบที่:

• คุณไม่ได้สอบถาม Lakehouse ผ่านจุดสิ้นสุดการวิเคราะห์ SQL และไม่จําเป็นต้องซิงค์ข้อมูลเมตา
• คุณเห็นเวลารีเฟรชนานขึ้นอย่างมากซึ่งเกิดจากงานค้างของบันทึกเดลต้าขนาดใหญ่บน Lakehouse ปลายทาง และคุณต้องการข้ามขั้นตอนการซิงโครไนส์จนกว่างานค้างจะได้รับการแก้ไข (ตัวอย่างเช่น ผ่านการบํารุงรักษาตารางและการดูดฝุ่น)

เมื่อตั้งค่าตัวเลือกเป็น เท็จ เมตาดาต้าปลายทางการวิเคราะห์ SQL จะไม่ถูกรีเฟรชโดยกระแสข้อมูล และผู้บริโภคปลายทาง SQL ดาวน์สตรีมอาจเห็นข้อมูลเก่าจนกว่าจะมีการซิงค์ครั้งถัดไป (ด้วยตนเองหรือตามกําหนดการ)

เปิดใช้งานการบีบอัด V-Order บนปลายทาง Lakehouse

เมื่อการรีเฟรชกระแสข้อมูล Gen2 เขียนข้อมูลไปยังปลายทางตาราง Fabric Lakehouse คุณสามารถควบคุมได้ว่าข้อมูลจะถูกเขียนโดยใช้การบีบอัด V-Order หรือไม่ V-Order เป็นการเพิ่มประสิทธิภาพเวลาในการเขียนสําหรับรูปแบบไฟล์ Parquet ที่ปรับปรุงประสิทธิภาพการอ่านสําหรับกลไก Fabric ดาวน์สตรีม เช่น ตําแหน่งข้อมูลการวิเคราะห์ SQL, แบบจําลองความหมาย Direct Lake และ Spark โดยมีค่าใช้จ่ายของ CPU เพิ่มเติมในระหว่างการเขียน สําหรับคําแนะนําเบื้องหลังและข้ามกลไกจัดการ โปรดดู การเพิ่มประสิทธิภาพตาราง Delta Lake และ การบํารุงรักษาและการเพิ่มประสิทธิภาพตาราง V-Order และ Cross-workload

ลักษณะการทํางานนี้ถูกควบคุมโดยตัวเลือก เปิดใช้งานการใช้การบีบอัด V-Order ซึ่งอยู่ภายใต้ ตัวเลือกขั้นสูง ในการตั้งค่าการเชื่อมต่อ Lakehouse (มองเห็นได้เมื่อคุณสร้างหรือแก้ไขการเชื่อมต่อปลายทางข้อมูล Lakehouse) ตัวเลือกถูกตั้งค่าเป็น True ตามค่าเริ่มต้น

เมื่อใดควรเปิดหรือปิด V-Order สําหรับปลายทาง

เลือกการตั้งค่าของคุณตามวิธีการใช้ตาราง Lakehouse ปลายทาง:

• ปิด V-Order (ปรับปรุงประสิทธิภาพการเขียน) เมื่อมีการอ่านตารางเพียงเล็กน้อย นี่เป็นเรื่องปกติสําหรับตารางระดับกลางในสถาปัตยกรรมเหรียญ (ตัวอย่างเช่น โต๊ะสีบรอนซ์ที่เปลี่ยนเป็นโต๊ะสีเงินเพียงครั้งเดียว) หรือสําหรับโต๊ะที่ใช้ผ่าน Spark เป็นหลัก ซึ่งไม่ได้รับประโยชน์จาก V-Order การข้าม V-Order ช่วยลดเวลาในการเขียน CPU และลดระยะเวลาการรีเฟรช โดยเฉพาะอย่างยิ่งสําหรับการเขียนขนาดใหญ่
• เปิด V-Order (ปรับปรุงประสิทธิภาพการอ่าน) เมื่อมีการอ่านตารางหลายครั้ง หรือเมื่อมีการใช้โดยกลไกจัดการ Fabric ที่ได้รับประโยชน์จาก V-Order เช่น แบบจําลองความหมายของ Power BI Direct Lake หรือ Fabric Warehouse V-Order ปรับปรุงประสิทธิภาพการอ่านประมาณ 10% สําหรับจุดสิ้นสุดการวิเคราะห์ SQL และคลังสินค้า และเป็นรูปแบบการเขียนที่แนะนําสําหรับการใช้ Direct Lake

หากคุณไม่แน่ใจ หลักการง่ายๆ คือ: ข้อมูลที่อ่านเพียงครั้งเดียวจะได้รับประโยชน์มากขึ้นจากการปิด V-Order และการอ่านข้อมูลหลายครั้งจะได้รับประโยชน์มากขึ้นจากการเปิด V-Order สําหรับเมทริกซ์โดยละเอียดของวิธีการเขียนและกลไกการอ่าน โปรดดู การบํารุงรักษาและการเพิ่มประสิทธิภาพตารางข้ามปริมาณงาน

การดูดฝุ่นปลายทางข้อมูลเลคเฮ้าส์ของคุณ

เมื่อใช้ Lakehouse เป็นปลายทางสําหรับ Dataflow Gen2 ใน Microsoft Fabric สิ่งสําคัญคือต้องดําเนินการบํารุงรักษาอย่างสม่ําเสมอเพื่อให้มีประสิทธิภาพสูงสุดและการจัดการที่เก็บข้อมูลที่มีประสิทธิภาพ งานบํารุงรักษาที่จําเป็นอย่างหนึ่งคือการดูดฝุ่นปลายทางข้อมูลของคุณ กระบวนการนี้ช่วยในการลบไฟล์เก่าที่ไม่ถูกอ้างอิงโดยบันทึกตาราง Delta ซึ่งปรับค่าใช้จ่ายในการจัดเก็บข้อมูลให้เหมาะสมและรักษาความสมบูรณ์ของข้อมูลของคุณ

ทําไมการดูดฝุ่นจึงเป็นสิ่งสําคัญ

1. การเพิ่มประสิทธิภาพพื้นที่จัดเก็บข้อมูล: เมื่อเวลาผ่านไป ตารางเดลต้าจะสะสมไฟล์เก่าที่ไม่จําเป็นอีกต่อไป การดูดฝุ่นช่วยในการล้างไฟล์เหล่านี้ทําให้พื้นที่จัดเก็บข้อมูลเพิ่มขึ้นและลดค่าใช้จ่าย
2. การปรับปรุงประสิทธิภาพ: การลบไฟล์ที่ไม่จําเป็นสามารถเพิ่มประสิทธิภาพการสืบค้นได้โดยการลดจํานวนไฟล์ที่ต้องสแกนระหว่างการดําเนินการอ่าน
3. ความสมบูรณ์ของข้อมูล: การทําให้แน่ใจว่ามีการเก็บรักษาเฉพาะไฟล์ที่เกี่ยวข้องเท่านั้นที่จะช่วยรักษาความสมบูรณ์ของข้อมูลของคุณป้องกันปัญหาที่อาจเกิดขึ้นกับไฟล์ที่ไม่ได้ผูกมัดซึ่งอาจนําไปสู่ความล้มเหลวของตัวอ่านหรือความเสียหายของตาราง

วิธีดูดฝุ่นปลายทางของข้อมูลของคุณ

ในการดูดฝุ่นตาราง Delta ของคุณใน Lakehouse ให้ทําตามขั้นตอนเหล่านี้:

1. นําทางไปยังเลคเฮ้าส์ของคุณ: จากบัญชี Microsoft Fabric ของคุณ ไปที่เลคเฮ้าส์ที่ต้องการ
2. การบํารุงรักษาตารางการเข้าถึง: ที่ Lakehouse explorer คลิกขวาบนตารางที่คุณต้องการรักษาหรือใช้จุดไข่ปลาเพื่อเข้าถึงเมนูตามบริบท
3. เลือกตัวเลือกการบํารุงรักษา: เลือกรายการเมนูการบํารุงรักษาและเลือกตัวเลือกสูญญากาศ
4. เรียกใช้คําสั่งสูญญากาศ: ตั้งค่าเกณฑ์การเก็บข้อมูล (ค่าเริ่มต้นคือเจ็ดวัน) และดําเนินการคําสั่งสูญญากาศโดยการเลือกเรียกใช้ทันที

แนวทางปฏิบัติที่ดีที่สุด

• ระยะเวลาการเก็บรักษา: กําหนดช่วงเวลาการเก็บรักษาอย่างน้อยเจ็ดวันเพื่อให้แน่ใจว่าสแนปช็อตเก่าและไฟล์ที่ไม่ได้คอมมิตจะไม่ถูกลบออกก่อนเวลาอันควร ซึ่งอาจทําให้ผู้อ่านและเขียนตารางพร้อมกันหยุดชะงัก
• การบํารุงรักษาเป็นประจํา: กําหนดเวลาการดูดฝุ่นเป็นประจําซึ่งเป็นส่วนหนึ่งของกิจวัตรการบํารุงรักษาข้อมูลของคุณเพื่อให้ตาราง Delta ของคุณได้รับการปรับให้เหมาะสมและพร้อมสําหรับการวิเคราะห์
• การรีเฟรชแบบเพิ่มหน่วย: หากคุณกําลังใช้การรีเฟรชแบบเพิ่มหน่วย ให้ตรวจสอบให้แน่ใจว่าได้ปิดการดูดฝุ่นแล้ว เนื่องจากอาจรบกวนกระบวนการรีเฟรชแบบเพิ่มหน่วย

ด้วยการรวมการดูดฝุ่นเข้าไปในกลยุทธ์การบํารุงรักษาข้อมูลของคุณ คุณสามารถตรวจสอบให้แน่ใจว่าปลายทางของเลคเฮ้าส์ของคุณยังคงมีประสิทธิภาพ คุ้มค่า และเชื่อถือได้สําหรับการดําเนินการกับกระแสข้อมูลของคุณ

สําหรับข้อมูลรายละเอียดเพิ่มเติมเกี่ยวกับการบํารุงรักษาตารางใน Lakehouse ดูที่ เอกสารการบํารุงรักษาตาราง Delta

Nullable

ในบางกรณีเมื่อคุณมีคอลัมน์ที่สามารถเป็น Null ได้ ระบบจะตรวจพบโดย Power Query ว่าไม่สามารถเป็นค่าว่างได้ และเมื่อเขียนไปยังปลายทางของข้อมูล ชนิดคอลัมน์จะไม่สามารถเป็น Null ได้ ในระหว่างการรีเฟรช ข้อผิดพลาดต่อไปนี้จะเกิดขึ้น:

E104100 Couldn't refresh entity because of an issue with the mashup document MashupException.Error: DataFormat.Error: Error in replacing table's content with new data in a version: #{0}., InnerException: We can't insert null data into a non-nullable column., Underlying error: We can't insert null data into a non-nullable column. Details: Reason = DataFormat.Error;Message = We can't insert null data into a non-nullable column.; Message.Format = we can't insert null data into a non-nullable column.

เมื่อต้องการบังคับให้คอลัมน์สามารถเป็น Null ได้ คุณสามารถลองขั้นตอนต่อไปนี้:

1. ลบตารางจากปลายทางข้อมูล

2. นําปลายทางของข้อมูลออกจากกระแสข้อมูล

3. ไปที่กระแสข้อมูลและอัปเดตชนิดข้อมูลโดยใช้รหัส Power Query ต่อไปนี้:

   Table.TransformColumnTypes(
      #"PREVIOUS STEP", {
         {"COLLUMNNAME1", type nullable text}, 
         {"COLLUMNNAME2", type nullable Int64.Type}
      }
   ) 
   

4. เพิ่มปลายทางของข้อมูล

การแปลงชนิดข้อมูลและการอัปสเกล

ในบางกรณี ชนิดข้อมูลภายในกระแสข้อมูลจะแตกต่างจากชนิดข้อมูลที่ได้รับการสนับสนุนในปลายทางข้อมูล ด้านล่างนี้เป็นการแปลงเริ่มต้นที่เราได้ใส่ไว้เพื่อให้แน่ใจว่าคุณยังคงสามารถรับข้อมูลของคุณในปลายทางข้อมูลได้: