สร้าง Azure Synapse Link สำหรับ Dataverse ด้วย Azure Data Lake

คุณสามารถใช้ Azure Synapse Link เพื่อเชื่อมต่อข้อมูล Microsoft Dataverse ของคุณไปยัง Azure Data Lake Storage รุ่น2 เพื่อเปิดใช้งานสถานการณ์การวิเคราะห์ต่างๆ บทความนี้แสดงวิธีที่คุณสามารถดำเนินงานต่อไปนี้:

1. เชื่อมต่อข้อมูล Dataverse ของคุณไปยังบัญชี Azure Data Lake Storage รุ่น2 ของคุณกับบริการ Azure Synapse Link
2. จัดการตาราง Dataverse ที่รวมอยู่ใน Azure Synapse Link
3. ตรวจสอบ Azure Synapse Link ของคุณ
4. ยกเลิกการเชื่อมโยง Azure Synapse Link ของคุณ
5. เชื่อมโยง Azure Synapse Link ของคุณอีกครั้ง
6. ดูข้อมูลของคุณใน Azure Data Lake และทำความเข้าใจโครงสร้างไฟล์

ข้อกำหนดเบื้องต้น

• Azure Data Lake Storage รุ่น2: คุณต้องมีบัญชี Azure Data Lake Storage รุ่น2 และการเข้าถึงบทบาท เจ้าของ และ ผู้สนับสนุน Storage Blob Data บัญชีที่เก็บข้อมูลของคุณต้องเปิดใช้งาน เนมสเปซแบบลำดับชั้น สำหรับทั้งการตั้งค่าเริ่มต้นและการซิงค์เดลต้า ต้องการ อนุญาตการเข้าถึงคีย์บัญชีที่เก็บข้อมูล สำหรับการตั้งค่าเริ่มต้นเท่านั้น บัญชีที่เก็บข้อมูลของคุณต้องมีขอบเขตที่อนุญาตสําหรับการดําเนินการคัดลอกที่ตั้งค่าเป็น จากบัญชีเก็บข้อมูลใดๆ

เชื่อมต่อ Dataverse กับ Azure Data Lake Storage รุ่น2

1. ลงชื่อเข้าใช้ Power Apps และเลือกสภาพแวดล้อมที่คุณต้องการ

2. ในบานหน้าต่างนําทางด้านซ้าย ให้เลือก เชื่อมโยงข้อมูล แล้วเลือก ลิงก์อื่น ๆ ลิงก์ Azure Synapse ที่มีอยู่จะปรากฏในส่วนนี้ หากมองไม่เห็นข้อมูลลิงก์ในแผงด้านข้าง ให้เลือก... เพิ่มเติมและเลือก ค้นหาทั้งหมด ข้อมูลลิงก์อยู่ในส่วน การจัดการข้อมูล

3. บนแถบคำสั่ง เลือก + ลิงก์ใหม่ไปยังที่จัดเก็บข้อมูลดิบ

4. เลือก การสมัครใช้งานกลุ่มทรัพยากร และ บัญชีที่เก็บข้อมูล ตรวจสอบให้แน่ใจว่าบัญชีที่เก็บข้อมูลตรงตามข้อกำหนดที่ระบุไว้ในส่วน ข้อกำหนดเบื้องต้น เลือก ถัดไป

   หมายเหตุ

   ในฐานะที่เป็นส่วนหนึ่งของการเชื่อมโยงสภาพแวดล้อมกับที่จัดเก็บข้อมูลดิบ คุณให้สิทธิ์การเข้าถึงบริการ Azure Synapse Link ไปยังบัญชีที่เก็บข้อมูลของคุณ ตรวจสอบให้แน่ใจว่าคุณได้ติดตาม ข้อกำหนดเบื้องต้น ของการสร้างและการกำหนดค่าบัญชี Azure Data Lake Storage และให้สิทธิ์บทบาทเจ้าของแก่ตัวคุณเองในบัญชีพื้นที่เก็บข้อมูล นอกจากนี้ คุณให้สิทธิ์การเข้าถึงบริการของโฟลว์ข้อมูลของ Power Platform ไปยังบัญชีพื้นที่เก็บข้อมูลของคุณ ข้อมูลเพิ่มเติม: การเตรียมข้อมูลแบบบริการตนเองด้วยโฟลว์ข้อมูล

5. เลือกตารางที่คุณต้องการส่งออกโดยการเลือกทีละตาราง หรือโดยการใส่รายการตารางที่คั่นด้วยเครื่องหมายจุลภาคในกล่องค้นหา แล้วเลือก บันทึก เฉพาะตารางที่มีคุณสมบัติ ติดตามการเปลี่ยนแปลง เท่านั้นที่สามารถส่งออกได้ ข้อมูลเพิ่มเติม: ตัวเลือกขั้นสูงสำหรับตาราง

   

คุณสามารถทำตามขั้นตอนในบทความนี้เพื่อสร้างลิงก์จากสภาพแวดล้อมหนึ่งรายการไปยังที่จัดเก็บข้อมูลดิบ Azure หลายรายการในการสมัครใช้งาน Azure ของคุณ ในทํานองเดียวกัน คุณสามารถสร้างลิงก์จากหลายสภาพแวดล้อมไปยัง Azure Data Lake เดียวกันทั้งหมดภายในผู้เช่าเดียวกัน

จัดการข้อมูลตารางไปยังดาต้าเลค

หลังจากที่คุณได้ตั้งค่า Azure Synapse Link คุณสามารถจัดการตารางที่ถูกส่งออกได้ด้วยหนึ่งในสองวิธีนี้:

• ในพื้นที่ Power Apps (make.powerapps.com) เชื่อมโยงข้อมูล>การเชื่อมโยงอื่น ๆ จากนั้นเลือกจัดการตารางบนแถบคําสั่งเพื่อเพิ่มหรือลบตารางที่เชื่อมโยงอย่างน้อยหนึ่งตาราง

• บนพอร์ทัลผู้สร้าง Power Apps Tables ให้เลือก ... ถัดจากตาราง จากนั้นเลือก data lake ที่เชื่อมโยงที่คุณต้องการส่งออกข้อมูลตาราง

  

ตรวจสอบ Azure Synapse Link ของคุณ

หลังจากที่คุณได้ตั้งค่า Azure Synapse Link คุณสามารถตรวจสอบ Azure Synapse Link ภายใต้แท็บ ตาราง

• จะมีรายการของตารางที่เป็นส่วนหนึ่งของ Synapse Link Azure ที่เลือก
• มีขั้นตอนต่างๆ ที่สถานะการซิงค์จะหมุนเวียน NotStarted แสดงว่าตารางกำลังรอการซิงค์ เมื่อการซิงค์เริ่มต้นของตาราง เสร็จสมบูรณ์ แล้ว จะมีลำดับขั้นหลังการประมวลผลซึ่งจะไม่ทำการอัปเดตเพิ่มเติม อาจใช้เวลาหลายชั่วโมงขึ้นอยู่กับขนาดของข้อมูลของคุณ เมื่อเริ่มการอัปเดตที่เพิ่มขึ้น วันที่สำหรับการซิงค์ครั้งล่าสุดจะได้รับการอัปเดตเป็นประจำ
• คอลัมน์ นับ แสดงจำนวนแถวที่เขียน เมื่อ การผนวกเท่านั้น ถูกตั้งค่าเป็น ไม่ นี่คือจำนวนเรกคอร์ดทั้งหมด เมื่อ การผนวกเท่านั้น ถูกตั้งค่าเป็น ใช่ นี่คือจำนวนการเปลี่ยนแปลงทั้งหมด
• คอลัมน์ ต่อท้ายเท่านั้น และ กลยุทธ์พาร์ติชัน แสดงการใช้การกำหนดค่าขั้นสูงที่แตกต่างกัน

การยกเลิกการเชื่อมโยง Azure Synapse Link

1. เลือกลิงก์ Azure Synapse เพื่อยกเลิกการเชื่อมโยง

2. เลือก ยกเลิกการเชื่อมโยงที่จัดเก็บข้อมูลดิบ จากแถบคำสั่ง

3. หากต้องการลบทั้งระบบไฟล์ที่จัดเก็บข้อมูลดิบ ให้เลือก ลบระบบไฟล์ที่จัดเก็บข้อมูลดิบ

4. เลือก ใช่ และรอสักครู่ เพื่อยกเลิกการลิงก์และลบทุกอย่าง

การเชื่อมโยงใหม่ของ Azure Synapse Link

ถ้าคุณลบระบบไฟล์เมื่อยกเลิกการเชื่อมโยง ทําตามขั้นตอนก่อนหน้านี้เพื่อเชื่อมโยง data lake เดียวกันใหม่ หากคุณไม่ลบระบบไฟล์เมื่อไม่ได้เชื่อมโยง คุณต้องล้างข้อมูลเพื่อเชื่อมโยงใหม่

1. ไปที่ Azure Data Lake

2. ลบคอนเทนเนอร์ Dataverse

3. เปิด Power Apps และเชื่อมโยงดาต้าเลคอีกครั้ง

ดูข้อมูลของคุณใน Azure Data Lake Storage รุ่น2

1. เลือก Azure Synapse Link ที่ต้องการ แล้วจากนั้นเลือก ไปที่ ที่จัดเก็บข้อมูลดิบ Azure จากแผงด้านบน

2. ขยาย ระบบไฟล์ แล้วจากนั้น เลือก dataverse-environmentName-organizationUniqueName

ไฟล์ model.json พร้อมด้วยชื่อและรุ่น แสดงรายการตารางที่ส่งออกไปยังที่จัดเก็บข้อมูลดิบ นอกจากนี้ ไฟล์ model.json ยังมีสถานะการซิงค์เริ่มต้นและเวลาที่เสร็จสมบูรณ์ของการซิงค์

โฟลเดอร์ที่มีไฟล์ snapshot คั่นด้วยจุลภาค (รูปแบบ CSV) จะปรากฏขึ้นสำหรับแต่ละตารางที่ส่งออกไปยังที่จัดเก็บข้อมูลดิบ

เชื่อมโยงพื้นที่ทำงาน Synapse กับโปรไฟล์ Azure Synapse Link ที่มีอยู่เฉพาะกับ Data Lake

1. ในแถบที่อยู่ของเว็บเบราว์เซอร์ ให้ผนวก?athena.updateLake=trueเข้ากับที่อยู่เว็บที่ลงท้ายด้วย exporttodatalake

2. เลือกโปรไฟล์ที่มีอยู่จากพื้นที่ Azure Synapse Link จากนั้นเลือกตัวเลือกเพิ่มเติม

3. เลือก เชื่อมโยงกับ Azure Synapse Analytics Workspace และรอสักครู่เพื่อให้ทุกอย่างเชื่อมโยงกัน

ปรับปรุงสแนปช็อตอย่างต่อเนื่อง

ข้อมูล Microsoft Dataverse สามารถเปลี่ยนแปลงได้อย่างต่อเนื่องผ่านการสร้าง ปรับปรุง และลบธุรกรรม สแนปช็อตระบุสำเนาของข้อมูลแบบอ่านอย่างเดียวที่มีการปรับปรุงในช่วงเวลาปกติ ในกรณีนี้คือทุกชั่วโมง สิ่งนี้ทำให้มั่นใจได้ว่า ณ จุดใดก็ตาม ผู้ใช้ที่ทำการวิเคราะห์ข้อมูลสามารถใช้ข้อมูลใน Lake ได้อย่างน่าเชื่อถือ

เมื่อเพิ่มตารางเป็นส่วนหนึ่งของการส่งออกเริ่มต้น ข้อมูลตารางจะถูกเขียนลงในไฟล์ table.csv ภายใต้โฟลเดอร์ที่เกี่ยวข้องในที่จัดเก็บข้อมูลดิบ นี่คือช่วง T1 ที่ไฟล์สแน็ปช็อตอ่านอย่างเดียวชื่อ table-T1.csv ตัวอย่างเช่น Account-T1.csv หรือ Contacts-T1.csv จะถูกสร้างขึ้น นอกจากนี้ไฟล์ model.json ได้รับการปรับปรุงเพื่อให้ชี้ไปที่ไฟล์สแนปชอตเหล่านี้ การเปิด model.json คุณสามารถดูรายละเอียดสแนปช็อตได้

นี่คือตัวอย่างของไฟล์ที่แบ่งพาร์ติชันของ Account.csv และโฟลเดอร์สแนปช็อตใน Data Lake

การเปลี่ยนแปลงใน Dataverse ถูกส่งไปยังไฟล์ CSV ที่สอดคล้องกันอย่างต่อเนื่องโดยใช้กลไกทริกเกิลฟีด นี่คือช่วงเวลา T2 ที่สแนปช็อตอื่นถูกสร้าง table-T2.csv เป็นต้น Accounts-T2.csv หรือ Contacts-T2.csv (สมมติว่ามีการเปลี่ยนแปลงสำหรับตาราง) และ model.json จะถูกอัปเดตเป็นไฟล์สแนปช็อตใหม่ บุคคลใหม่ที่ดูข้อมูลสแนปช็อตจาก T2 เป็นต้นไป จะถูกนำไปยังไฟล์สแนปชอตที่ใหม่กว่า ด้วยวิธีนี้ โปรแกรมดูสแนปช็อตดั้งเดิมสามารถทำงานกับไฟล์สแนปช็อต T1 รุ่นที่เก่ากว่าได้ ในขณะที่โปรแกรมดูที่ใหม่กว่าสามารถอ่านการปรับปรุงล่าสุดได้ นี่มีประโยชน์ในสถานการณ์ที่มีกระบวนการดาวน์สตรีมที่รันยาวขึ้น

นี่คือตัวอย่างของไฟล์ model.json ซึ่งจะชี้ไปที่ไฟล์สแนปช็อตของบัญชีที่มีการประทับเวลาล่าสุดเสมอ

ดูเพิ่มเติมที่

วิเคราะห์ข้อมูล Dataverse ใน data lake ด้วย Power BI

นำเข้าข้อมูล Dataverse ใน data lake ด้วย Azure Data Factory

การกำหนดค่าขั้นสูงของ Azure Synapse Link สำหรับการใช้งานร่วมกับ Dataverse

คําถามที่พบบ่อยเกี่ยวกับ Azure Synapse Link