หมายเหตุ
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลอง ลงชื่อเข้าใช้หรือเปลี่ยนไดเรกทอรีได้
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลองเปลี่ยนไดเรกทอรีได้
ฟีดข้อมูลการเปลี่ยนแปลงเดลต้า (CDF) จะบันทึกการแทรก การอัปเดต และการลบ จากนั้นนําไปใช้กับตาราง Delta Lake ใน OneLake โฟลว์นี้รองรับการวิเคราะห์แบบเกือบเรียลไทม์โดยไม่ต้องโหลดซ้ําเต็มรูปแบบหรือไปป์ไลน์ ETL จํานวนมาก
- ประมวลผลการเปลี่ยนแปลงที่เพิ่มขึ้นอย่างต่อเนื่อง (ตามเดลต้า)
- ใช้การประมวลผลแบบเปลี่ยนแปลงอย่างเดียว
- รองรับการประมวลผลส่วนเพิ่มดาวน์สตรีม
- พร้อมใช้งานสําหรับแหล่งที่มาของการมิเรอร์ทั้งหมด รวมถึงพาร์ทเนอร์การมิเรอร์แบบเปิด
ข้อกำหนดเบื้องต้น
- ความจุ Microsoft Fabric (F2 หรือสูงกว่า) หรือการทดลองใช้ Fabric
- ฐานข้อมูลมิเรอร์ในพื้นที่ทํางาน Fabric
- Fabric Lakehouse มีอยู่ในพื้นที่ทํางานเดียวกันหรือพื้นที่ทํางานอื่น (สําหรับการสืบค้นข้อมูล CDF)
เปิดใช้งานฟีดข้อมูลการเปลี่ยนแปลงเดลต้าในพอร์ทัล Fabric
เปิดใช้งานฟีดข้อมูลการเปลี่ยนแปลงเดลต้าสําหรับฐานข้อมูลมิเรอร์แต่ละฐานข้อมูล
- สําหรับแหล่งที่มาที่มิเรอร์ ให้เลือกไอคอนรูปเฟืองเพื่อเปิดแดชบอร์ดการกําหนดค่า
- ภายใต้ การจัดการตารางเดลต้า ให้เลือกกล่องกาเครื่องหมายเพื่อเปิดใช้งานฟีดข้อมูลการเปลี่ยนแปลงเดลต้า
เปิดใช้งานฟีดข้อมูลการเปลี่ยนแปลงแบบเดลต้าโดยใช้ API
เมื่อต้องการเปิดใช้งานฟีดข้อมูลการเปลี่ยนแปลงเดลต้าโดยใช้ API โปรดดู เปิดใช้งานฟีดข้อมูลการเปลี่ยนแปลงเดลต้าสําหรับฐานข้อมูลมิเรอร์
เปิดใช้งานฟีดข้อมูลการเปลี่ยนแปลงเดลต้าสําหรับตารางที่มีอยู่
หากคุณสร้างฐานข้อมูลมิเรอร์ก่อนที่ CDF จะพร้อมใช้งาน คุณสามารถเปิดใช้งาน CDF ได้โดยใช้ Fabric REST API กระบวนการจะดึงคําจํากัดความปัจจุบัน เพิ่มคุณสมบัติ CDF และอัปเดตคําจํากัดความ
ดึงคําจํากัดความฐานข้อมูลมิเรอร์:
POST https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/mirroredDatabases/{mirroredDatabaseId}/getDefinitionถอดรหัส
mirroring.jsonเพย์โหลดจากการตอบสนอง เพย์โหลดถูกเข้ารหัส Base64เพิ่ม
"enableDeltaChangeDataFeed": trueในส่วน:target.typeProperties{ "properties": { "source": { ... }, "target": { "type": "MountedRelationalDatabase", "typeProperties": { "defaultSchema": "dbo", "format": "Delta", "enableDeltaChangeDataFeed": true, "retentionInDays": 1 } } } }เข้ารหัส JSON ที่อัปเดตเป็น Base64 อีกครั้ง จากนั้นอัปเดตคําจํากัดความ:
POST https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/mirroredDatabases/{mirroredDatabaseId}/updateDefinition
หลังจากที่คุณอัปเดตคําจํากัดความแล้ว ให้ดึงข้อมูลอีกครั้งและยืนยันว่าenableDeltaChangeDataFeedเป็นtrue
ข้อมูลการเปลี่ยนแปลงแบบสอบถาม
สำคัญ
เมื่อต้องการสืบค้นข้อมูล CDF คุณต้องสร้าง ทางลัด Lakehouse ที่ชี้ไปยังตารางฐานข้อมูลมิเรอร์ก่อน คุณไม่สามารถคิวรีข้อมูล CDF ได้โดยตรงจากรายการฐานข้อมูลที่มิเรอร์ ทางลัดทําให้ _change_data ไฟล์สามารถเข้าถึงได้จาก Spark
สร้างทางลัด Lakehouse:
- ในพื้นที่ทํางาน Fabric ให้เปิดหรือสร้างเลคเฮาส์
- ในตัวสํารวจ Lakehouse ให้เลือกทางลัดใหม่
- เลือก Microsoft OneLake เป็นแหล่งที่มา
- ไปที่ฐานข้อมูลมิเรอร์และเลือกตารางที่คุณต้องการคิวรี
- เลือก สร้าง เพื่อสร้างคําสั่งลัดให้เสร็จสิ้น
เปิดสมุดบันทึก Fabric ที่แนบมากับ Lakehouse ของคุณ และใช้หนึ่งในตัวเลือกต่อไปนี้เพื่อคิวรีข้อมูลการเปลี่ยนแปลง:
ตัวเลือก A: อ่านการเปลี่ยนแปลงที่เริ่มต้นจากเวอร์ชันที่ระบุ
ใช้ตัวเลือก readChangeFeed with startingVersion เพื่ออ่านการเปลี่ยนแปลง CDF ทั้งหมดจากเวอร์ชันตารางเดลต้าที่เฉพาะเจาะจงเป็นต้นไป แทนที่ <lakehouse_name> และ <table_name> ด้วยชื่อเลคเฮาส์และตารางของคุณ
df = spark.read.format("delta") \
.option("readChangeFeed", "true") \
.option("startingVersion", 0) \
.table("<lakehouse_name>.<table_name>")
df.show()
ตัวเลือก B: อ่านการเปลี่ยนแปลงภายในช่วงการประทับเวลา
ใช้ตัวเลือก readChangeFeed กับ startingTimestamp และ endingTimestamp เพื่ออ่านการเปลี่ยนแปลง CDF ภายในกรอบเวลาที่กําหนด
df = spark.read.format("delta") \
.option("readChangeFeed", "true") \
.option("startingTimestamp", "2025-01-01T00:00:00Z") \
.option("endingTimestamp", "2025-01-02T00:00:00Z") \
.table("<lakehouse_name>.<table_name>")
df.show()
ตัวเลือก C: ใช้ไวยากรณ์ SQL
ใช้ table_changes() ฟังก์ชัน SQL เพื่อสืบค้นข้อมูล CDF วิธีนี้ใช้ได้กับบริบท Spark SQL ใดๆ
df = spark.sql("""
SELECT * FROM table_changes('<lakehouse_name>.<table_name>', 0)
""")
df.show()
ตัวเลือกการบริโภคปลายน้ํา
ฟีดข้อมูลการเปลี่ยนแปลงเดลต้ารองรับเส้นทางการใช้ดาวน์สตรีมหลายเส้นทาง:
| วิธีการใช้งาน | คำอธิบาย | สถานะ |
|---|---|---|
| สมุดบันทึก Spark | สอบถามข้อมูลการเปลี่ยนแปลงโดยใช้ readChangeFeed หรือ table_changes() ผ่านทางลัด Lakehouse |
วางจําหน่ายแล้ววันนี้ |
| คัดลอกงาน | ใช้งานคัดลอกเพื่ออ่านการเปลี่ยนแปลง CDF จาก Fabric Lakehouse และทําซ้ําทีละน้อยไปยังปลายทาง เช่น SQL, Snowflake, Fabric Lakehouse และอื่นๆ สร้างทางลัดจากฐานข้อมูลมิเรอร์ไปยังเลคเฮาส์ จากนั้นคัดลอกงานจะอ่านการเปลี่ยนแปลงจาก เลคเฮาส์ ฐานข้อมูลมิเรอร์โดยตรงไปยังการสนับสนุนงานคัดลอกอยู่ระหว่างการพัฒนา | พร้อมใช้งานแล้ว (ผ่านทางลัด Lakehouse); การสนับสนุนโดยตรงเร็วๆ นี้ |
| Eventstreams (ตัวเชื่อมต่อฟีดการเปลี่ยนแปลงฐานข้อมูลที่มิเรอร์) | สตรีมการเปลี่ยนแปลง CDF จากฐานข้อมูลมิเรอร์ไปยัง Fabric Eventstreams โดยตรงสําหรับแอปพลิเคชันที่ขับเคลื่อนด้วยเหตุการณ์ที่มีเวลาแฝงต่ํา ค้นพบฐานข้อมูลที่เปิดใช้งาน CDF ใน Real-Time Hub สร้าง Eventstream และกําหนดเส้นทางไปยังปลายทาง เช่น Eventhouse หรือตั้งค่าการแจ้งเตือน Activator | ดูตัวอย่าง |
| ไปป์ไลน์ข้อมูล | ไปป์ไลน์ข้อมูลไม่สนับสนุนการคัดลอกส่วนเพิ่มจาก CDF โดยกําเนิด คุณสามารถใช้สมุดบันทึกภายในไปป์ไลน์เพื่อให้ได้การประมวลผลที่เพิ่มขึ้น | มีวิธีแก้ไขปัญหาชั่วคราว |
การกำหนดราคา
หมายเหตุ
การมิเรอร์โดยไม่มีความสามารถเพิ่มเติมนั้นฟรี
คําชี้แจงราคาที่สําคัญ:
- การเรียกเก็บเงินจะอิงตามการใช้งาน คุณจะถูกเรียกเก็บเงินสําหรับการคํานวณส่วนเพิ่มที่ใช้เมื่อ CDF ประมวลผลการเปลี่ยนแปลงจริงเท่านั้น ไม่มีค่าบริการสําหรับเวลาที่ไม่ได้ใช้งานหรือการรันที่ว่างเปล่า (ช่วงเวลาที่ไม่มีการเปลี่ยนแปลงข้อมูลต้นทางเกิดขึ้น)
- การสะท้อนหลักยังคงฟรี การเปิดใช้งาน CDF จะไม่เปลี่ยนราคาสําหรับการมิเรอร์หลัก การจําลองแบบอย่างต่อเนื่อง การแปลง Delta Lake การรวม OneLake และปลายทางการวิเคราะห์ SQL ยังคงฟรี
- ที่เก็บข้อมูลสําหรับการมิเรอร์ฟรี ที่เก็บข้อมูลสําหรับข้อมูลที่มิเรอร์ใน OneLake จะไม่ถูกเรียกเก็บเงินแยกต่างหาก อย่างไรก็ตาม การเปิดใช้งาน CDF จะเพิ่มการใช้ที่เก็บข้อมูลเนื่องจากไฟล์เพิ่มเติม
_change_data - CDF เป็นส่วนเสริม ไม่ใช่การทดแทน การเรียกเก็บเงิน CDF มีไว้สําหรับการประมวลผลความสามารถเพิ่มเติมเท่านั้น ไม่เรียกเก็บเงินย้อนหลังสําหรับกิจกรรมการมิเรอร์หลัก
- คุณสามารถควบคุมต้นทุนได้โดยการเลือกเปิดใช้งาน CDF CDF ถูกเปิดใช้งานที่ระดับฐานข้อมูลมิเรอร์ เปิดใช้งาน CDF เฉพาะบนฐานข้อมูลมิเรอร์ที่ต้องการการประมวลผลที่เพิ่มขึ้น และปล่อยให้ผู้อื่นอยู่บนการมิเรอร์หลัก
สําหรับรูปแบบการกําหนดราคาแบบเต็ม รายละเอียดการวัด และขอบเขตการเรียกเก็บเงิน โปรดดู การเรียกเก็บเงินสําหรับความสามารถเพิ่มเติมในการมิเรอร์
สําหรับตัวอย่างที่ทํางานแล้วแสดงให้เห็นว่าชั่วโมงการคํานวณเหล่านี้แปลงเป็นต้นทุนประมาณการอย่างไร ดูตัวอย่างการตั้งราคาของฟีดข้อมูลการเปลี่ยนแปลง