เพิ่มแหล่งข้อมูล Azure SQL Managed Instance CDC ไปยังสตรีมเหตุการณ์

บทความนี้แสดงวิธีการเพิ่มแหล่งข้อมูล Azure SQL Managed Instance Change Data Capture (CDC) ไปยังสตรีมเหตุการณ์

ตัวเชื่อมต่อแหล่งที่มา Azure SQL Managed Instance CDC สําหรับสตรีมเหตุการณ์ Microsoft Fabric ช่วยให้คุณสามารถบันทึกสแนปช็อตของข้อมูลปัจจุบันในฐานข้อมูล SQL Managed Instance ได้ ตัวเชื่อมต่อจะตรวจสอบและบันทึกการเปลี่ยนแปลงระดับแถวในอนาคตใดก็ตามในข้อมูลนี้ เมื่อบันทึกการเปลี่ยนแปลงในสตรีมเหตุการณ์แล้ว คุณสามารถประมวลผลข้อมูล CDC นี้แบบเรียลไทม์และส่งไปยังปลายทางต่างๆ ภายใน Fabric เพื่อประมวลผลหรือวิเคราะห์เพิ่มเติม

ข้อกำหนดเบื้องต้น

• การเข้าถึงพื้นที่ทํางานในโหมดสิทธิ์การใช้งานความจุ Fabric (หรือ) โหมดสิทธิ์การใช้งานรุ่นทดลองใช้ที่มีสิทธิ์ Contributor หรือสูงกว่า
• ฐานข้อมูล Azure SQL Managed Instance ที่กําลังทํางานอยู่
• Azure SQL Managed Instance ของคุณควรเปิดใช้งานตําแหน่งข้อมูลสาธารณะและไม่อยู่หลังไฟร์วอลล์หรือรักษาความปลอดภัยในเครือข่ายเสมือน หากไม่เปิดใช้งานปลายทางสาธารณะและอยู่ในเครือข่ายที่มีการป้องกัน ให้เชื่อมต่อโดยใช้การแทรกเครือข่ายเสมือนของตัวเชื่อมต่อ Eventstream
• เปิดใช้งาน CDC ใน Azure SQL Managed Instance ของคุณโดยเรียกใช้กระบวนงานที่เก็บไว้ sys.sp_cdc_enable_db สําหรับรายละเอียด ดู เปิดใช้งานและปิดใช้งานการรวบรวมข้อมูลการเปลี่ยนแปลง

เปิดใช้งานจุดสิ้นสุดสาธารณะในอินสแตนซ์ที่มีการจัดการ Azure SQL ของคุณ

ไปที่พอร์ทัล Azure เปิดอินสแตนซ์ที่มีการจัดการ Azure SQL เลือก Networking และเปิดใช้งานตําแหน่งข้อมูลสาธารณะ

เปิดใช้งาน CDC ในอินสแตนซ์ที่มีการจัดการ Azure SQL ของคุณ

1. เปิดใช้งาน CDC สําหรับฐานข้อมูล

   EXEC sys.sp_cdc_enable_db; 
   

2. เปิดใช้งาน CDC สําหรับตารางโดยใช้ตัวเลือกบทบาทการตรวจสอบ ใน MyTable ตัวอย่างนี้คือชื่อของตาราง SQL

   EXEC sys.sp_cdc_enable_table 
      @source_schema = N'dbo', 
      @source_name   = N'MyTable', 
      @role_name     = NULL 
   GO 
   

   หลังจากคิวรีดําเนินการสําเร็จ คุณได้เปิดใช้งาน CDC ในอินสแตนซ์ที่มีการจัดการ Azure SQL ของคุณ

   

เพิ่ม Azure SQL Managed Instance CDC เป็นแหล่งที่มา

หากคุณยังไม่ได้เพิ่มแหล่งข้อมูลใดๆ ลงในสตรีมเหตุการณ์ของคุณ ให้เลือกไทล์ เชื่อมต่อแหล่งข้อมูล คุณยังสามารถเลือก เพิ่มแหล่งข้อมูล>Connect บนริบบิ้นได้อีกด้วย

หากคุณกําลังเพิ่มแหล่งที่มาไปยังสตรีมเหตุการณ์ที่เผยแพร่แล้ว ให้เปลี่ยนเป็นโหมดแก้ไข บน Ribbon ให้เลือก เพิ่มแหล่งข้อมูล Connect>

บนหน้า เลือกแหล่งข้อมูล ให้ค้นหาและเลือก เชื่อมต่อ บนไทล์ Azure SQL MI Database (DB) Change Data Capture (CDC)

กําหนดค่าและเชื่อมต่อกับ Azure SQL Managed Instance CDC

นําเข้าข้อมูลการเปลี่ยนแปลงจากฐานข้อมูล Azure SQL Managed Instance ด้วยการลงทะเบียน Schema ตารางอัตโนมัติผ่าน CDC ไปยัง Eventstream

1. บนหน้า เชื่อมต่อ เลือก การเชื่อมต่อใหม่

   

2. ในส่วน การตั้งค่าการเชื่อมต่อ ให้ป้อนค่าต่อไปนี้สําหรับ Azure SQL Managed Instance ของคุณ:

   • Server: ป้อน Endpoint จากพอร์ทัล Azure โดยแทนที่เครื่องหมายจุลภาคระหว่างโฮสต์และพอร์ตด้วยเครื่องหมายทวิภาค ตัวอย่างเช่น ถ้าปลายทางของคุณคือ xxxxx.public.xxxxxx.database.windows.net,3342คุณควรป้อน xxxxx.public.xxxxxx.database.windows.net:3342 ในฟิลด์ เซิร์ฟเวอร์

     

   • ฐานข้อมูล: ป้อนชื่อฐานข้อมูลที่คุณต้องการเชื่อมต่อภายใน Azure SQL Managed Instance ของคุณ

     

3. เลื่อนลง และ ในส่วน ข้อมูลประจําตัว การเชื่อมต่อ ให้ทําตามขั้นตอนเหล่านี้

   • สําหรับ ชื่อการเชื่อมต่อ ให้ใส่ชื่อสําหรับการเชื่อมต่อ

   • สําหรับชนิดการรับรองความถูกต้อง เลือกพื้นฐาน

     หมายเหตุ

     ปัจจุบัน Fabric Eventstream รองรับการรับรองความถูกต้อง Basic เท่านั้น

   • ป้อน Username และ Password สําหรับ Azure SQL Managed Instance

4. เลือก เชื่อมต่อ ที่ด้านล่างของหน้า

5. ตอนนี้ บนหน้า เชื่อมต่อ ให้เลือก ตารางทั้งหมด หรือ ป้อนชื่อตาราง หากคุณเลือกรายการหลัง ให้ระบุตารางโดยใช้รายการตัวระบุตารางที่คั่นด้วยเครื่องหมายจุลภาค (schemaName.tableName) หรือนิพจน์ปกติที่ถูกต้อง เช่น:

   • ใช้ dbo.test.* เพื่อเลือกตารางทั้งหมดที่มีชื่อเริ่มต้นด้วย dbo.test
   • ใช้ dbo\.(test1|test2) เพื่อเลือก dbo.test1 และ dbo.test2

   คุณสามารถรวมทั้งสองรูปแบบในรายการได้ ขีดจํากัดอักขระทั้งหมดสําหรับรายการทั้งหมดคือ 102,400 อักขระ

6. ขยาย การตั้งค่าขั้นสูง เพื่อกําหนดค่า โหมดการจัดการทศนิยม ซึ่งระบุวิธีจัดการ DECIMAL ตัวเชื่อมต่อและ NUMERIC ค่าคอลัมน์:

   • Precise: แสดงค่าโดยใช้ประเภททศนิยมที่แน่นอน (เช่น Java BigDecimal) เพื่อให้มั่นใจถึงความแม่นยําและความถูกต้องอย่างเต็มที่ในการแสดงข้อมูล
   • Double: แปลงค่าเป็นจํานวนจุดทศนิยมลอยตัวที่มีความแม่นยําสองเท่า ตัวเลือกนี้ช่วยปรับปรุงการใช้งานและประสิทธิภาพการทํางาน แต่อาจส่งผลให้สูญเสียความแม่นยํา
   • String: เข้ารหัสค่าเป็นสตริงที่จัดรูปแบบ ตัวเลือกนี้ทําให้ง่ายต่อการใช้ในระบบดาวน์สตรีม แต่สูญเสียข้อมูลความหมายเกี่ยวกับประเภทตัวเลขดั้งเดิม

รายละเอียดสตรีมหรือแหล่งที่มา

1. บนหน้า เชื่อมต่อ ให้ทําตามขั้นตอนใดขั้นตอนหนึ่งเหล่านี้โดยพิจารณาจากว่าคุณกําลังใช้ Eventstream หรือ Real-Time ฮับ

   • สตรีมเหตุการณ์:

     ในบานหน้าต่าง รายละเอียดแหล่งที่มา ทางด้านขวา ให้ทําตามขั้นตอนเหล่านี้:

     1. สําหรับ ชื่อแหล่งที่มา ให้เลือกปุ่ม ดินสอ เพื่อเปลี่ยนชื่อ

     2. โปรดสังเกตว่า ชื่อ Eventstream และ ชื่อสตรีม เป็นแบบอ่านอย่างเดียว

   • ฮับReal-Time:

     ในส่วน รายละเอียดสตรีม ทางด้านขวา ให้ทําตามขั้นตอนเหล่านี้:

     1. เลือกพื้นที่ทํางาน Fabric ที่คุณต้องการสร้างสตรีมเหตุการณ์

     2. สําหรับ ชื่อสตรีมเหตุการณ์ ให้เลือกปุ่ม ดินสอ และป้อนชื่อสําหรับสตรีมเหตุการณ์

     3. ค่า ชื่อสตรีม จะถูกสร้างขึ้นให้คุณโดยอัตโนมัติโดยการผนวก -stream ต่อท้ายชื่อของสตรีมเหตุการณ์ สตรีมนี้จะปรากฏบนหน้า สตรีมข้อมูลทั้งหมดของ ฮับแบบเรียลไทม์เมื่อตัวช่วยสร้างเสร็จสิ้น

2. เลือก ถัดไป ที่ด้านล่างของหน้า กําหนดค่า

ตรวจสอบและเชื่อมต่อ

บนหน้าจอ ตรวจสอบ + เชื่อมต่อ ให้ตรวจสอบข้อมูลสรุป แล้วเลือก เพิ่ม (สตรีมเหตุการณ์) หรือ เชื่อมต่อ (ฮับReal-Time)

หน้าการจัดการ Schema

1. ในขั้นตอน การจัดการ Schema ให้เลือกตัวเลือกใดตัวเลือกหนึ่งต่อไปนี้:

   • เหตุการณ์ที่พร้อมสําหรับการวิเคราะห์ & สคีมาที่อัปเดตอัตโนมัติ (DeltaFlow Preview): ตัวเชื่อมต่อจะแปลงเหตุการณ์ CDC ดิบให้เป็นสตรีมที่พร้อมสําหรับการวิเคราะห์ที่สะท้อนโครงสร้างตารางต้นทางของคุณ DeltaFlow เพิ่มข้อมูลเมตาให้กับเหตุการณ์ด้วยข้อมูลเมตา เช่น ประเภทการเปลี่ยนแปลง (แทรก อัปเดต หรือลบ) และการประทับเวลา และจัดการตารางปลายทางและวิวัฒนาการสคีมาโดยอัตโนมัติ
   • เหตุการณ์ CDC ดิบ: ตัวเชื่อมต่อจะนําเข้าและทําให้เหตุการณ์ CDC ดิบพร้อมใช้งาน หรือตัวเชื่อมต่อสามารถค้นหา Schema ตารางโดยอัตโนมัติและลงทะเบียนในรีจิสทรี Schema ใช้ตัวเลือกนี้เมื่อคุณต้องการการรับรู้สคีมาโดยไม่ต้องแปลง DeltaFlow

   หมายเหตุ

   ภาพหน้าจอต่อไปนี้แสดง Azure SQL Database CDC ตัวเลือกการจัดการ Schema จะเหมือนกันสําหรับตัวเชื่อมต่อต้นทาง CDC ที่รองรับทั้งหมด

   

2. เปิดใช้งานการเชื่อมโยงสคีมาเหตุการณ์

3. สําหรับ พื้นที่ทํางาน ให้เลือกพื้นที่ทํางาน Fabric สําหรับชุด Schema

4. สําหรับ ชุดสคีมา + สร้าง จะถูกเลือกตามค่าเริ่มต้น ซึ่งจะสร้างชุดสคีมาใหม่ คุณสามารถเปลี่ยนเพื่อเลือกชุดสคีมาเหตุการณ์ที่มีอยู่ได้

5. หากคุณเลือกตัวเลือก + สร้าง ในขั้นตอนก่อนหน้า ให้ป้อนชื่อสําหรับชุดสคีมา

6. บนหน้า รีวิว + เชื่อมต่อ ให้ตรวจทานข้อมูลสรุป แล้วเลือก เพิ่ม (สตรีมเหตุการณ์) หรือ เชื่อมต่อ (ฮับReal-Time)

   

   สําหรับตารางทั้งหมดหรือตารางที่เลือกในฐานข้อมูล Azure SQL Managed Instance ตัวเชื่อมต่อจะค้นหาและสร้าง Schema โดยอัตโนมัติ และลงทะเบียนกับรีจิสทรี Schema

DeltaFlow: การแปลงเหตุการณ์ที่พร้อมสําหรับการวิเคราะห์ (พรีวิว)

เมื่อคุณเปิดใช้งาน เหตุการณ์ที่พร้อมสําหรับการวิเคราะห์และสคีมาที่อัปเดตอัตโนมัติ (DeltaFlow) ตัวเชื่อมต่อจะมีความสามารถดังต่อไปนี้:

• รูปร่างเหตุการณ์ที่พร้อมสําหรับการวิเคราะห์: เหตุการณ์ Debezium CDC ดิบจะถูกแปลงเป็นรูปแบบตารางที่สะท้อนโครงสร้างตารางต้นทาง เหตุการณ์จะสมบูรณ์ด้วยคอลัมน์ข้อมูลเมตา ซึ่งรวมถึงประเภทการเปลี่ยนแปลง (insert, หรือ updatedelete) และการประทับเวลาของเหตุการณ์
• การจัดการตารางปลายทางอัตโนมัติ: เมื่อคุณกําหนดเส้นทางสตรีมที่เปิดใช้งาน DeltaFlow ไปยังปลายทางที่รองรับ เช่น eventhouse ตารางปลายทางจะถูกสร้างขึ้นโดยอัตโนมัติเพื่อให้ตรงกับ Schema ตารางต้นทาง คุณไม่จําเป็นต้องสร้างหรือกําหนดค่าตารางปลายทางด้วยตนเอง
• การจัดการวิวัฒนาการของสคีมา: เมื่อตารางฐานข้อมูลต้นทางเปลี่ยนไป (ตัวอย่างเช่น มีการเพิ่มคอลัมน์ใหม่หรือสร้างตาราง) DeltaFlow จะตรวจหาการเปลี่ยนแปลงโดยอัตโนมัติ ตัวเลือกนี้จะช่วยลดการแทรกแซงด้วยตนเองที่เกิดจากการเปลี่ยนแปลงสคีมา

สําหรับรายละเอียดเกี่ยวกับวิธีที่ DeltaFlow แปลงเหตุการณ์ CDC ดิบให้เป็นเอาต์พุตที่พร้อมสําหรับการวิเคราะห์ รวมถึงชนิดการดําเนินการและคอลัมน์ข้อมูลเมตา โปรดดู การแปลงเอาต์พุต DeltaFlow

ดูเหตุการณ์ที่อัปเดตแล้ว

คุณสามารถดูแหล่งที่มา MI DB (CDC) Azure SQL ที่เพิ่มลงในสตรีมเหตุการณ์ของคุณในโหมด Edit

เมื่อต้องการใช้แหล่งข้อมูล Azure SQL Managed Instance ที่เพิ่มเข้ามาใหม่นี้ ให้เลือก Publish หลังจากที่คุณทําตามขั้นตอนเหล่านี้เสร็จแล้ว แหล่งข้อมูล Azure SQL Managed Instance ของคุณจะพร้อมใช้งานสําหรับการแสดงภาพใน Live view

กําหนดค่าปลายทาง Eventstream เพื่อใช้สคีมา

ปัจจุบัน เฉพาะ Eventhouse, ปลายทางที่กําหนดเอง และปลายทางสตรีมที่ได้รับเท่านั้นที่รองรับสําหรับ Eventstreams ที่มี Schema ที่เกี่ยวข้อง ส่วนนี้แสดงวิธีเพิ่มและกําหนดค่าปลายทาง Eventhouse เมื่อเปิดใช้งานคุณลักษณะเพิ่มเติม (เช่น การสนับสนุน Schema) สําหรับสตรีมเหตุการณ์

กําหนดค่า Schema สําหรับปลายทางปลายทางแบบกําหนดเอง

1. เลือก แปลงเหตุการณ์ หรือ เพิ่มปลายทาง แล้วเลือก CustomEndpoint

2. บนบานหน้าต่าง ปลายทางแบบกําหนดเอง ให้ระบุชื่อสําหรับปลายทาง

3. สําหรับ Schema อินพุต ให้เลือก Schema สําหรับเหตุการณ์ คุณทําการเลือกในกล่องนี้เมื่อคุณเปิดใช้งานการสนับสนุน Schema สําหรับสตรีมเหตุการณ์

สําหรับขั้นตอนโดยละเอียดเกี่ยวกับการกําหนดค่าปลายทางปลายทางแบบกําหนดเอง โปรดดู เพิ่มปลายทางที่กําหนดเองหรือปลายทางแอปแบบกําหนดเองไปยังสตรีมเหตุการณ์

กําหนดค่า Schema สําหรับปลายทางของบ้านเหตุการณ์

1. เลือก แปลงเหตุการณ์ หรือ เพิ่มปลายทาง แล้วเลือก Eventhouse

2. บนบานหน้าต่าง Eventhouse ให้กําหนดค่าการตั้งค่าที่เกี่ยวข้องกับ Schema ต่อไปนี้:

   1. สําหรับ Schema อินพุต ให้เลือก Schema อย่างน้อยหนึ่งรายการจากรายการดรอปดาวน์

      

      หมายเหตุ

      ถ้าคุณเลือกตัวเลือก สคีมาแบบไดนามิกผ่านส่วนหัว เมื่อกําหนดค่าแหล่งข้อมูลฮับเหตุการณ์ คุณอาจได้กําหนดค่า Schema หลายรายการสําหรับแหล่งข้อมูล และแม็ปกับคุณสมบัติต่างๆ และค่าของต้นทาง

   2. สําหรับ วิธีการสร้างตาราง ให้เลือกตาราง เดียวที่มีสคีมาทั้งหมดรวม กัน หรือ แยกตารางสําหรับแต่ละสคีมา ขึ้นอยู่กับความต้องการของคุณ

      

   3. สําหรับ เขียนข้อมูลด้วย ให้เลือกหนึ่งในตัวเลือกต่อไปนี้:

      • เพย์โหลดเท่านั้น: เขียนข้อมูลเพย์โหลดที่แยกออกมาไปยังตาราง หากมีสคีมาอินพุตหลายรายการ ข้อมูลจะถูกส่งไปยังหลายตาราง
      • ข้อมูลเมตาและเพย์โหลด: เขียนข้อมูลเมตาและข้อมูลเพย์โหลดลงในตารางเดียว คอลัมน์ตัวอย่าง ได้แก่ source , subject, , typeและdata

      

สําหรับขั้นตอนโดยละเอียดเกี่ยวกับการกําหนดค่าปลายทางของบ้านเหตุการณ์ โปรดดู เพิ่มปลายทางของบ้านเหตุการณ์ไปยังสตรีมเหตุการณ์

ดูเอาต์พุตที่พร้อมสําหรับการวิเคราะห์ DeltaFlow (พรีวิว)

หากคุณเปิดใช้งาน เหตุการณ์ที่พร้อมใช้งาน Analytics และสคีมาที่อัปเดตอัตโนมัติ (DeltaFlow) ตารางปลายทางจะถูกสร้างขึ้นโดยอัตโนมัติในรูปร่างที่สะท้อนตารางฐานข้อมูลต้นทางของคุณ แต่ละตารางประกอบด้วยคอลัมน์เดิมพร้อมกับคอลัมน์ข้อมูลเมตาสําหรับชนิดการเปลี่ยนแปลงและการประทับเวลา

คุณสามารถสืบค้นตารางเหล่านี้โดยใช้ Kusto Query Language (KQL) หรือเครื่องมือวิเคราะห์อื่นๆ โดยไม่จําเป็นต้องแยกวิเคราะห์เพย์โหลด Debezium CDC ดิบ

เนื้อหาที่เกี่ยวข้อง

ตัวเชื่อมต่ออื่นๆ:

• สตรีมข้อมูล Amazon Kinesis
• <ค 0>Azure Cosmos DB
• <ค 0>Azure Event Hubs
• <ค 0>Azure IoT Hub
• Azure SQL Database การบันทึกข้อมูลการเปลี่ยนแปลง (CDC)
• บรรจบกัน Kafka
• ปลายทางแบบกําหนดเอง
• ผับ/ย่อย Google Cloud
• ฐานข้อมูล PostgreSQL CDC
• ข้อมูลตัวอย่าง
• เหตุการณ์ Azure Blob Storage
• Fabric เหตุการณ์พื้นที่ทํางาน