ภาพรวมข้อจํากัดของโรงงานข้อมูล

มีข้อจํากัดบางประการสําหรับโรงงานข้อมูลปัจจุบันในคุณลักษณะ Microsoft Fabric ก่อนที่จะส่งคําขอการสนับสนุน ให้ตรวจสอบรายการในส่วนนี้เพื่อตรวจสอบว่าคุณกําลังประสบกับข้อจํากัดที่ทราบหรือไม่

สําหรับระดับการหยุดทํางานหรือการแจ้งเตือนการเสื่อมสภาพ ให้ตรวจสอบ Microsoft Fabric support

ข้อจํากัดไปป์ไลน์ใน Microsoft Fabric

รายการต่อไปนี้อธิบายข้อจํากัดปัจจุบันของไปป์ไลน์ใน Data Factory ใน Microsoft Fabric

  • รูปแบบการคัดลอกและการจัดเรียงของ Azure Data Factory ส่วนใหญ่ใช้กับ pipeline ของ Fabric แต่ tumbling window ถูกนําไปใช้เพียงบางส่วนโดยใช้ตารางเวลาแบบ interval คุณสามารถสร้างช่วงเวลาได้ แต่ยังไม่รองรับการเติมข้อมูลย้อนกลับ
  • กิจกรรม GetMetaData ไม่สามารถมีแหล่งข้อมูลจากฐานข้อมูล Fabric KQL ได้
  • กิจกรรมของสคริปต์ไม่สามารถมีแหล่งที่มาจากฐานข้อมูล Fabric KQL ได้
  • การซิงค์พื้นหลังของการรับรองความถูกต้องไม่เกิดขึ้นสําหรับไปป์ไลน์ คําแนะนําคือการทําคําอธิบายเล็กน้อยเช่นการอัปเดตไปป์ไลน์และบันทึก ด้วยวิธีนี้ได้รับโทเค็นใหม่และแคชเพื่อให้ไปป์ไลน์สามารถเรียกใช้อีกครั้งด้วยรหัสผ่านที่อัปเดตของ id entra

ขีดจํากัดทรัพยากรไปป์ไลน์

ตารางต่อไปนี้อธิบายข้อจํากัดของทรัพยากรสําหรับไปป์ไลน์ใน Data Factory ใน Microsoft Fabric

ทรัพยากรไปป์ไลน์ ขีดจํากัดเริ่มต้น ขีดจำกัดสูงสุด
จํานวนไปป์ไลน์ทั้งหมดภายใน พื้นที่ทํางาน 1,000 1,000
ไปป์ไลน์ที่ทํางานพร้อมกันต่อ พื้นที่ทํางาน ที่ใช้ร่วมกันระหว่างไปป์ไลน์ทั้งหมดในพื้นที่ ทํางาน 10,000 10,000
กิจกรรมภายนอกที่เกิดขึ้นพร้อมกัน เช่น กระบวนงานที่เก็บไว้ เว็บ Web Hook และอื่นๆ ต่อ พื้นที่ทํางาน 100 100
การดําเนินการกิจกรรมไปป์ไลน์พร้อมกันสําหรับ Lookup, GetMetadata และ Delete ต่อ พื้นที่ทํางาน 100 100
การดําเนินการเขียนพร้อมกัน รวมถึงการทดสอบการเชื่อมต่อ เรียกดูรายการโฟลเดอร์และรายการตาราง แสดงตัวอย่างข้อมูล และอื่นๆ ต่อ พื้นที่ทํางาน 50 50
กิจกรรมสูงสุดต่อไปป์ไลน์ ซึ่งรวมถึงกิจกรรมภายในสําหรับคอนเทนเนอร์ 120 120
พารามิเตอร์สูงสุดต่อไปป์ไลน์ 50 50
กําหนดการสูงสุดต่อไปป์ไลน์ 20 20
รายการ ForEach 100,000 100,000
สําหรับแต่ละความขนาน 20 50
ค้นหาจํานวนรายการกิจกรรม 5000 5000
การเรียกใช้ที่จัดคิวสูงสุดต่อไปป์ไลน์ 100 100
อักขระต่อนิพจน์ 8,192 8,192
การหมดเวลาสูงสุดสําหรับการเรียกใช้กิจกรรมของไปป์ไลน์ 24 ชั่วโมง 24 ชั่วโมง
ไบต์ต่อวัตถุสําหรับวัตถุไปป์ไลน์ 200 กิโลไบต์ 200 กิโลไบต์
ไบต์ต่อส่วนข้อมูลสําหรับการเรียกใช้กิจกรรมแต่ละครั้ง 896 กิโลไบต์ 896 กิโลไบต์
การเพิ่มประสิทธิภาพปริมาณงานอัจฉริยะต่อการเรียกใช้กิจกรรมการคัดลอก อัตโนมัติ 256
การเพิ่มประสิทธิภาพปริมาณการประมวลผลอัจฉริยะพร้อมกันต่อ พื้นที่ทํางาน (ปริมาณงานจะถูกแชร์กับงานคัดลอก) 400 400
ขีดจํากัดขนาดของเอนทิตีข้อมูล Meta ในโรงงาน 2 กิกะไบต์ 2 กิกะไบต์

คัดลอกขีดจํากัดทรัพยากรงาน

ตารางต่อไปนี้อธิบายข้อจํากัดสําหรับงานคัดลอกใน Data Factory ใน Microsoft Fabric

คัดลอกทรัพยากรงาน ขีดจํากัดเริ่มต้น ขีดจำกัดสูงสุด
การเพิ่มประสิทธิภาพปริมาณงานอัจฉริยะต่อตาราง/วัตถุ อัตโนมัติ 256
การเพิ่มประสิทธิภาพปริมาณการประมวลผลอัจฉริยะพร้อมกันต่อ พื้นที่ทํางาน (ปริมาณงานถูกแชร์กับไปป์ไลน์) 400 400

ข้อจํากัดของกระแสข้อมูล Data Factory Gen2

รายการต่อไปนี้อธิบายข้อจํากัดสําหรับ Dataflow Gen2 ใน Data Factory ใน Microsoft Fabric

  • ขีดจํากัดคิวรีสําหรับการจัดเตรียมและปลายทาง: กระแสข้อมูล Gen2 เดียวรองรับ คิวรีได้สูงสุด 50 คิวรี ที่:

    • เปิดใช้งาน การแสดงละคร หรือ
    • กําหนดค่า ปลายทางข้อมูล (ตัวอย่างเช่น คลังสินค้า เลคเฮาส์ หรือปลายทาง Fabric อื่นๆ)

    คิวรีที่ไม่ได้เขียนข้อมูล เช่น ฟังก์ชันคิวรีตัวช่วย หรือคิวรีการแปลงระดับกลางที่ไม่ได้จัดเตรียมและไม่มีปลายทางข้อมูล จะไม่นับรวมในขีดจํากัดนี้

  • ปลายทางของข้อมูลไปยังเลคเฮ้าส์:
    • ไม่รองรับช่องว่างหรืออักขระพิเศษในชื่อคอลัมน์หรือชื่อตาราง
    • ไม่รองรับระยะเวลาและคอลัมน์ไบนารีขณะเขียนกระแสข้อมูล Dataflow Gen2
  • คุณต้องติดตั้งเกตเวย์ที่รองรับในขณะนี้เพื่อใช้กับ Dataflow Gen2 อย่างน้อยที่สุด Dataflow Gen2 สนับสนุนเกตเวย์หกรุ่นล่าสุดที่เผยแพร่
  • เมื่อคุณใช้ข้อมูลประจําตัว OAuth2 ปัจจุบันเกตเวย์ไม่สนับสนุนการรีเฟรชนานกว่าหนึ่งชั่วโมง การรีเฟรชเหล่านี้ล้มเหลวเนื่องจากเกตเวย์ไม่สามารถรองรับการรีเฟรชโทเค็นโดยอัตโนมัติเมื่อโทเค็นการเข้าถึงหมดอายุ ซึ่งเกิดขึ้นหนึ่งชั่วโมงหลังจากการรีเฟรชเริ่มต้น ถ้าคุณได้รับข้อผิดพลาด "InvalidConnectionCredentials" หรือ "AccessUnauthorized" เมื่อเข้าถึงแหล่งข้อมูลบนระบบคลาวด์โดยใช้ข้อมูลประจําตัว OAuth2 แม้ว่าข้อมูลประจําตัวได้รับการอัปเดตเมื่อเร็ว ๆ นี้ คุณอาจพบข้อผิดพลาดนี้ ข้อจํากัดนี้สําหรับการรีเฟรชที่ใช้เวลานานเกิดขึ้นสําหรับทั้งเกตเวย์ VNET และเกตเวย์ข้อมูลภายในองค์กร
  • ข้อกําหนด Delta Lake ไม่รองรับชื่อคอลัมน์ที่ตรงตามตัวพิมพ์ใหญ่-เล็ก ดังนั้น MyColumn และ mycolumnในขณะที่ได้รับการสนับสนุนใน Mashup ส่งผลให้เกิดข้อผิดพลาด "คอลัมน์ที่ซ้ํากัน"
  • ในขณะนี้ nullability ของคอลัมน์มีค่าเริ่มต้นเพื่ออนุญาตให้มีค่า null ในคอลัมน์ทั้งหมดในปลายทาง
  • หลังจากที่คุณบันทึก/เผยแพร่กระแสข้อมูลของคุณ gen2 แล้ว เราต้องการให้กระบวนการตรวจสอบความถูกต้อง/เผยแพร่เสร็จสิ้นภายใน 10 นาทีต่อคิวรี หากคุณเกินขีดจํากัด 10 นาทีนี้ ให้พยายามลดความซับซ้อนของคิวรีของคุณหรือแยกคิวรีของคุณในกระแสข้อมูล gen2
  • คุณไม่สามารถเชื่อมต่อกับจุดสิ้นสุดสาธารณะของบัญชี Azure Storage โดยใช้ Power Query Online หรือ Dataflow Gen2 (ไม่มีเกตเวย์) หากบัญชี Azure Storage มีการสร้างจุดสิ้นสุดส่วนตัวอย่างน้อยหนึ่งรายการแล้ว คุณจําเป็นต้องเชื่อมต่อกับบัญชีเก็บข้อมูลดังกล่าวโดยใช้เกตเวย์ข้อมูล VNet หรือเกตเวย์ข้อมูลภายในองค์กรที่สามารถเชื่อมต่อโดยใช้จุดสิ้นสุดส่วนตัว
  • Dataflow Gen2 ไม่รองรับผู้ใช้ที่เป็นผู้เยี่ยมชมในผู้เช่าเพื่อเชื่อมต่อกับแหล่งข้อมูลและปลายทางในผู้เช่าที่ผู้ใช้เป็นผู้เยี่ยมชม ใช้ผู้ใช้ดั้งเดิมในผู้เช่าเพื่อเชื่อมต่อกับแหล่งข้อมูลและปลายทาง
  • การใช้ข้อมูลจากกระแสข้อมูล gen2 กับตัวเชื่อมต่อกระแสข้อมูลจําเป็นต้องมีสิทธิ์ผู้ดูแลระบบสมาชิกหรือผู้สนับสนุน สิทธิ์ของผู้ชมไม่เพียงพอและไม่สนับสนุนสําหรับการใช้ข้อมูลจากกระแสข้อมูล
  • เมื่อคุณไม่เข้าถึงรายการการจัดเตรียมด้วยกระแสข้อมูลของคุณนานกว่า 90 วัน คุณจําเป็นต้องรับรองความถูกต้องอีกครั้งเพื่อให้แน่ใจว่ากระแสข้อมูลสามารถเข้าถึงรายการการจัดเตรียมได้ คุณสามารถทําได้โดยการสร้างกระแสข้อมูล gen2 ใหม่ภายในพื้นที่ทํางานเดียวกัน
  • เลคเฮาส์ที่จัดเตรียมจะปรากฏในพื้นที่ทํางานของฉัน ในพื้นที่ทํางานที่ใช้ร่วมกัน เลคเฮาส์การจัดเตรียมที่สร้างโดย Dataflow Gen2 จะถูกซ่อนจากรายการพื้นที่ทํางาน อย่างไรก็ตาม ใน My Workspace เลคเฮาส์ที่จัดฉากเหล่านี้จะมองเห็นได้เนื่องจากความแตกต่างด้านแพลตฟอร์มในการกรองรายการที่ซ่อนอยู่ อย่าแก้ไข เปลี่ยนชื่อ หรือลบเลคเฮาส์การจัดเตรียมเหล่านี้ เนื่องจากได้รับการจัดการโดย Dataflow Gen2 และใช้ภายในสําหรับการจัดเตรียมคิวรีและการเขียนปลายทาง
  • จําเป็นต้องมีเกตเวย์ที่รองรับ: กระแสข้อมูล Gen2 ต้องใช้เกตเวย์ข้อมูลที่รองรับในปัจจุบัน อย่างน้อย เกตเวย์รุ่นล่าสุดหกรุ่นที่เผยแพร่จะได้รับการสนับสนุน

  • ข้อจํากัดของความละเอียดอ่อนของตัวพิมพ์เล็กและใหญ่ของ Delta Lake: Delta Lake ไม่รองรับชื่อคอลัมน์ที่ตรงตามตัวพิมพ์เล็กและใหญ่ คอลัมน์ถูกใจ MyColumn และ mycolumn ส่งผลให้เกิดข้อผิดพลาดของคอลัมน์ที่ซ้ํากัน แม้ว่าจะได้รับอนุญาตใน Masup ก็ตาม

  • ลักษณะการทํางานเริ่มต้นของความสามารถในการเป็น null ของคอลัมน์: คอลัมน์ปลายทางทั้งหมดมีค่าเริ่มต้นในการอนุญาตค่า Null

  • การจํากัดเวลาในการเผยแพร่และการตรวจสอบความถูกต้อง: การสืบค้นแต่ละรายการต้องดําเนินการตรวจสอบความถูกต้องให้เสร็จสมบูรณ์และเผยแพร่ภายใน 10 นาที คิวรีที่เกินขีดจํากัดนี้ควรทําให้ง่ายขึ้นหรือแบ่งออกเป็นกระแสข้อมูลหลายกระแส

  • ไม่รองรับการเข้าถึงของผู้ใช้ที่เป็นผู้เยี่ยมชม: ผู้ใช้ที่เป็นผู้เยี่ยมชมไม่สามารถเชื่อมต่อกับแหล่งข้อมูลหรือปลายทางในผู้เช่าที่พวกเขากําลังเยี่ยมชม ใช้บัญชีผู้ใช้ดั้งเดิมในผู้เช่าแทน

  • สิทธิ์ที่จําเป็นในการใช้กระแสข้อมูล: การใช้ข้อมูลจากกระแสข้อมูล Gen2 ต้องมีสิทธิ์ผู้ดูแลระบบ สมาชิก หรือผู้สนับสนุน ไม่รองรับสิทธิ์ของผู้ชม

  • การหมดอายุของการรับรองความถูกต้องของการแสดงละคร: หากไม่สามารถเข้าถึงรายการการจัดเตรียมเป็นเวลานานกว่า 90 วัน จําเป็นต้องมีการรับรองความถูกต้องอีกครั้ง ซึ่งสามารถทําได้โดยการสร้างกระแสข้อมูล Gen2 ใหม่ในพื้นที่ทํางานเดียวกัน