ฟีดข้อมูลการเปลี่ยนแปลงของเดลต้าในการมิเรอร์สําหรับ Fabric

ฟีดข้อมูลการเปลี่ยนแปลงเดลต้า (CDF) จะบันทึกการแทรก การอัปเดต และการลบ จากนั้นนําไปใช้กับตาราง Delta Lake ใน OneLake โฟลว์นี้รองรับการวิเคราะห์แบบเกือบเรียลไทม์โดยไม่ต้องโหลดซ้ําเต็มรูปแบบหรือไปป์ไลน์ ETL จํานวนมาก

  • ประมวลผลการเปลี่ยนแปลงที่เพิ่มขึ้นอย่างต่อเนื่อง (ตามเดลต้า)
  • ใช้การประมวลผลแบบเปลี่ยนแปลงอย่างเดียว
  • รองรับการประมวลผลส่วนเพิ่มดาวน์สตรีม
  • พร้อมใช้งานสําหรับแหล่งที่มาของการมิเรอร์ทั้งหมด รวมถึงพาร์ทเนอร์การมิเรอร์แบบเปิด

ข้อกำหนดเบื้องต้น

  • ความจุ Microsoft Fabric (F2 หรือสูงกว่า) หรือการทดลองใช้ Fabric
  • ฐานข้อมูลมิเรอร์ในพื้นที่ทํางาน Fabric
  • Fabric Lakehouse มีอยู่ในพื้นที่ทํางานเดียวกันหรือพื้นที่ทํางานอื่น (สําหรับการสืบค้นข้อมูล CDF)

เปิดใช้งานฟีดข้อมูลการเปลี่ยนแปลงเดลต้าในพอร์ทัล Fabric

เปิดใช้งานฟีดข้อมูลการเปลี่ยนแปลงเดลต้าสําหรับฐานข้อมูลมิเรอร์แต่ละฐานข้อมูล

  1. สําหรับแหล่งที่มาที่มิเรอร์ ให้เลือกไอคอนรูปเฟืองเพื่อเปิดแดชบอร์ดการกําหนดค่า
  2. ภายใต้ การจัดการตารางเดลต้า ให้เลือกกล่องกาเครื่องหมายเพื่อเปิดใช้งานฟีดข้อมูลการเปลี่ยนแปลงเดลต้า

ภาพหน้าจอของแดชบอร์ดการกําหนดค่าการมิเรอร์ฐานข้อมูล Oracle ที่แสดงการตั้งค่าฟีดข้อมูลการเปลี่ยนแปลงเดลต้า ตัวเลือกการเข้าถึงข้อมูล OneLake และสถานะการจําลองข้อมูล

เปิดใช้งานฟีดข้อมูลการเปลี่ยนแปลงแบบเดลต้าโดยใช้ API

เมื่อต้องการเปิดใช้งานฟีดข้อมูลการเปลี่ยนแปลงเดลต้าโดยใช้ API โปรดดู เปิดใช้งานฟีดข้อมูลการเปลี่ยนแปลงเดลต้าสําหรับฐานข้อมูลมิเรอร์

เปิดใช้งานฟีดข้อมูลการเปลี่ยนแปลงเดลต้าสําหรับตารางที่มีอยู่

หากคุณสร้างฐานข้อมูลมิเรอร์ก่อนที่ CDF จะพร้อมใช้งาน คุณสามารถเปิดใช้งาน CDF ได้โดยใช้ Fabric REST API กระบวนการจะดึงคําจํากัดความปัจจุบัน เพิ่มคุณสมบัติ CDF และอัปเดตคําจํากัดความ

  1. ดึงคําจํากัดความฐานข้อมูลมิเรอร์:

    POST https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/mirroredDatabases/{mirroredDatabaseId}/getDefinition
    
  2. ถอดรหัส mirroring.json เพย์โหลดจากการตอบสนอง เพย์โหลดถูกเข้ารหัส Base64

  3. เพิ่ม"enableDeltaChangeDataFeed": trueในส่วน:target.typeProperties

    {
      "properties": {
        "source": { ... },
        "target": {
          "type": "MountedRelationalDatabase",
          "typeProperties": {
            "defaultSchema": "dbo",
            "format": "Delta",
            "enableDeltaChangeDataFeed": true,
            "retentionInDays": 1
          }
        }
      }
    }
    
  4. เข้ารหัส JSON ที่อัปเดตเป็น Base64 อีกครั้ง จากนั้นอัปเดตคําจํากัดความ:

    POST https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/mirroredDatabases/{mirroredDatabaseId}/updateDefinition
    

หลังจากที่คุณอัปเดตคําจํากัดความแล้ว ให้ดึงข้อมูลอีกครั้งและยืนยันว่าenableDeltaChangeDataFeedเป็นtrue

ข้อมูลการเปลี่ยนแปลงแบบสอบถาม

สำคัญ

เมื่อต้องการสืบค้นข้อมูล CDF คุณต้องสร้าง ทางลัด Lakehouse ที่ชี้ไปยังตารางฐานข้อมูลมิเรอร์ก่อน คุณไม่สามารถคิวรีข้อมูล CDF ได้โดยตรงจากรายการฐานข้อมูลที่มิเรอร์ ทางลัดทําให้ _change_data ไฟล์สามารถเข้าถึงได้จาก Spark

  1. สร้างทางลัด Lakehouse:

    1. ในพื้นที่ทํางาน Fabric ให้เปิดหรือสร้างเลคเฮาส์
    2. ในตัวสํารวจ Lakehouse ให้เลือกทางลัดใหม่
    3. เลือก Microsoft OneLake เป็นแหล่งที่มา
    4. ไปที่ฐานข้อมูลมิเรอร์และเลือกตารางที่คุณต้องการคิวรี
    5. เลือก สร้าง เพื่อสร้างคําสั่งลัดให้เสร็จสิ้น
  2. เปิดสมุดบันทึก Fabric ที่แนบมากับ Lakehouse ของคุณ และใช้หนึ่งในตัวเลือกต่อไปนี้เพื่อคิวรีข้อมูลการเปลี่ยนแปลง:

ตัวเลือก A: อ่านการเปลี่ยนแปลงที่เริ่มต้นจากเวอร์ชันที่ระบุ

ใช้ตัวเลือก readChangeFeed with startingVersion เพื่ออ่านการเปลี่ยนแปลง CDF ทั้งหมดจากเวอร์ชันตารางเดลต้าที่เฉพาะเจาะจงเป็นต้นไป แทนที่ <lakehouse_name> และ <table_name> ด้วยชื่อเลคเฮาส์และตารางของคุณ

df = spark.read.format("delta") \
    .option("readChangeFeed", "true") \
    .option("startingVersion", 0) \
    .table("<lakehouse_name>.<table_name>")

df.show()

ตัวเลือก B: อ่านการเปลี่ยนแปลงภายในช่วงการประทับเวลา

ใช้ตัวเลือก readChangeFeed กับ startingTimestamp และ endingTimestamp เพื่ออ่านการเปลี่ยนแปลง CDF ภายในกรอบเวลาที่กําหนด

df = spark.read.format("delta") \
    .option("readChangeFeed", "true") \
    .option("startingTimestamp", "2025-01-01T00:00:00Z") \
    .option("endingTimestamp", "2025-01-02T00:00:00Z") \
    .table("<lakehouse_name>.<table_name>")

df.show()

ตัวเลือก C: ใช้ไวยากรณ์ SQL

ใช้ table_changes() ฟังก์ชัน SQL เพื่อสืบค้นข้อมูล CDF วิธีนี้ใช้ได้กับบริบท Spark SQL ใดๆ

df = spark.sql("""
    SELECT * FROM table_changes('<lakehouse_name>.<table_name>', 0)
""")

df.show()

ตัวเลือกการบริโภคปลายน้ํา

ฟีดข้อมูลการเปลี่ยนแปลงเดลต้ารองรับเส้นทางการใช้ดาวน์สตรีมหลายเส้นทาง:

วิธีการใช้งาน คำอธิบาย สถานะ
สมุดบันทึก Spark สอบถามข้อมูลการเปลี่ยนแปลงโดยใช้ readChangeFeed หรือ table_changes() ผ่านทางลัด Lakehouse วางจําหน่ายแล้ววันนี้
คัดลอกงาน ใช้งานคัดลอกเพื่ออ่านการเปลี่ยนแปลง CDF จาก Fabric Lakehouse และทําซ้ําทีละน้อยไปยังปลายทาง เช่น SQL, Snowflake, Fabric Lakehouse และอื่นๆ สร้างทางลัดจากฐานข้อมูลมิเรอร์ไปยังเลคเฮาส์ จากนั้นคัดลอกงานจะอ่านการเปลี่ยนแปลงจาก เลคเฮาส์ ฐานข้อมูลมิเรอร์โดยตรงไปยังการสนับสนุนงานคัดลอกอยู่ระหว่างการพัฒนา พร้อมใช้งานแล้ว (ผ่านทางลัด Lakehouse); การสนับสนุนโดยตรงเร็วๆ นี้
Eventstreams (ตัวเชื่อมต่อฟีดการเปลี่ยนแปลงฐานข้อมูลที่มิเรอร์) สตรีมการเปลี่ยนแปลง CDF จากฐานข้อมูลมิเรอร์ไปยัง Fabric Eventstreams โดยตรงสําหรับแอปพลิเคชันที่ขับเคลื่อนด้วยเหตุการณ์ที่มีเวลาแฝงต่ํา ค้นพบฐานข้อมูลที่เปิดใช้งาน CDF ใน Real-Time Hub สร้าง Eventstream และกําหนดเส้นทางไปยังปลายทาง เช่น Eventhouse หรือตั้งค่าการแจ้งเตือน Activator ดูตัวอย่าง
ไปป์ไลน์ข้อมูล ไปป์ไลน์ข้อมูลไม่สนับสนุนการคัดลอกส่วนเพิ่มจาก CDF โดยกําเนิด คุณสามารถใช้สมุดบันทึกภายในไปป์ไลน์เพื่อให้ได้การประมวลผลที่เพิ่มขึ้น มีวิธีแก้ไขปัญหาชั่วคราว

การกำหนดราคา

หมายเหตุ

การมิเรอร์โดยไม่มีความสามารถเพิ่มเติมนั้นฟรี

คําชี้แจงราคาที่สําคัญ:

  • การเรียกเก็บเงินจะอิงตามการใช้งาน คุณจะถูกเรียกเก็บเงินสําหรับการคํานวณส่วนเพิ่มที่ใช้เมื่อ CDF ประมวลผลการเปลี่ยนแปลงจริงเท่านั้น ไม่มีค่าบริการสําหรับเวลาที่ไม่ได้ใช้งานหรือการรันที่ว่างเปล่า (ช่วงเวลาที่ไม่มีการเปลี่ยนแปลงข้อมูลต้นทางเกิดขึ้น)
  • การสะท้อนหลักยังคงฟรี การเปิดใช้งาน CDF จะไม่เปลี่ยนราคาสําหรับการมิเรอร์หลัก การจําลองแบบอย่างต่อเนื่อง การแปลง Delta Lake การรวม OneLake และปลายทางการวิเคราะห์ SQL ยังคงฟรี
  • ที่เก็บข้อมูลสําหรับการมิเรอร์ฟรี ที่เก็บข้อมูลสําหรับข้อมูลที่มิเรอร์ใน OneLake จะไม่ถูกเรียกเก็บเงินแยกต่างหาก อย่างไรก็ตาม การเปิดใช้งาน CDF จะเพิ่มการใช้ที่เก็บข้อมูลเนื่องจากไฟล์เพิ่มเติม_change_data
  • CDF เป็นส่วนเสริม ไม่ใช่การทดแทน การเรียกเก็บเงิน CDF มีไว้สําหรับการประมวลผลความสามารถเพิ่มเติมเท่านั้น ไม่เรียกเก็บเงินย้อนหลังสําหรับกิจกรรมการมิเรอร์หลัก
  • คุณสามารถควบคุมต้นทุนได้โดยการเลือกเปิดใช้งาน CDF CDF ถูกเปิดใช้งานที่ระดับฐานข้อมูลมิเรอร์ เปิดใช้งาน CDF เฉพาะบนฐานข้อมูลมิเรอร์ที่ต้องการการประมวลผลที่เพิ่มขึ้น และปล่อยให้ผู้อื่นอยู่บนการมิเรอร์หลัก

สําหรับรูปแบบการกําหนดราคาแบบเต็ม รายละเอียดการวัด และขอบเขตการเรียกเก็บเงิน โปรดดู การเรียกเก็บเงินสําหรับความสามารถเพิ่มเติมในการมิเรอร์

สําหรับตัวอย่างที่ทํางานแล้วแสดงให้เห็นว่าชั่วโมงการคํานวณเหล่านี้แปลงเป็นต้นทุนประมาณการอย่างไร ดูตัวอย่างการตั้งราคาของฟีดข้อมูลการเปลี่ยนแปลง