หมายเหตุ
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลอง ลงชื่อเข้าใช้หรือเปลี่ยนไดเรกทอรีได้
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลองเปลี่ยนไดเรกทอรีได้
บทความนี้สรุปวิธีการใช้กิจกรรมการคัดลอกในไปป์ไลน์เพื่อคัดลอกข้อมูลจากและไปยังโฟลเดอร์
ข้อกำหนดเบื้องต้น
เมื่อต้องการคัดลอกข้อมูลจากโฟลเดอร์ คุณต้องตั้งค่าเกตเวย์ข้อมูลภายในองค์กร สําหรับข้อมูลเพิ่มเติม ดูวิธีการเข้าถึงแหล่งข้อมูลภายในองค์กรใน Data Factory
รูปแบบที่ได้รับการสนับสนุน
ตัวเชื่อมต่อโฟลเดอร์รองรับรูปแบบไฟล์ต่อไปนี้ ดูแต่ละบทความสําหรับการตั้งค่าตามรูปแบบ
รูปแบบที่สนับสนุนแหล่งที่มา
- รูปแบบ Avro
- รูปแบบไบนารี
- รูปแบบข้อความที่คั่นด้วยตัวคั่น
- ยอดเยี่ยม
- รูปแบบ JSON
- รูปแบบ ORC
- รูปแบบไม้ปาร์เก้
- รูปแบบ XML
รูปแบบปลายทางที่รองรับ
การกําหนดค่าที่ได้รับการสนับสนุน
สําหรับการกําหนดค่าของแต่ละแท็บภายใต้กิจกรรมการคัดลอก ให้ไปที่ส่วนต่อไปนี้ตามลําดับ
ทั่วไป
โปรดดูคําแนะนําการตั้งค่าทั่วไปเพื่อกําหนดแท็บการตั้งค่าทั่วไป
แหล่งที่มา
คุณสมบัติต่อไปนี้ได้รับการสนับสนุนสําหรับ โฟลเดอร์ ภายใต้แท็บ แหล่งที่มา ของกิจกรรมการคัดลอก
จําเป็นต้องมีคุณสมบัติต่อไปนี้:
การเชื่อมต่อ: เลือกการเชื่อมต่อโฟลเดอร์จากรายการการเชื่อมต่อ หากไม่มีการเชื่อมต่อ ให้สร้างการเชื่อมต่อโฟลเดอร์ใหม่
ชนิดเส้นทางไฟล์: คุณสามารถเลือกเส้นทาง ไฟล์ ตัวกรอง ไฟล์ เส้นทาง ไฟล์สัญลักษณ์ตัวแทน หรือ รายการไฟล์ เป็นประเภทเส้นทางไฟล์ได้ การกําหนดค่าสําหรับการตั้งค่าแต่ละรายการคือ:
พาธของไฟล์: เลือก เรียกดู เพื่อเลือกไฟล์ที่คุณต้องการคัดลอก หรือกรอกเส้นทางด้วยตนเอง
ตัวกรองไฟล์: ตัวกรองดั้งเดิมฝั่งเซิร์ฟเวอร์ไฟล์ ซึ่งให้ประสิทธิภาพที่ดีกว่าตัวกรองอักขระตัวแทน
- เส้นทางโฟลเดอร์: ระบุเส้นทางไปยังโฟลเดอร์
-
ตัวกรองไฟล์: ใช้เพื่อ
*จับคู่อักขระเป็นศูนย์หรือมากกว่า และ?เพื่อจับคู่อักขระเป็นศูนย์หรืออักขระตัวเดียว เรียนรู้เพิ่มเติมเกี่ยวกับไวยากรณ์และหมายเหตุจากหมายเหตุในส่วนนี้
เส้นทางไฟล์สัญลักษณ์ตัวแทน: ระบุเส้นทางสัญลักษณ์ตัวแทน
เส้นทางสัญลักษณ์ตัวแทน: ระบุโฟลเดอร์หรือเส้นทางไฟล์ด้วยอักขระตัวแทนเพื่อกรองโฟลเดอร์หรือไฟล์ต้นทาง
สัญลักษณ์ตัวแทนที่อนุญาตคือ:
*(ตรงกับอักขระศูนย์หรือมากกว่า) และ?(ตรงกับศูนย์หรืออักขระเดี่ยว) ใช้เพื่อ^หลบหนีหากชื่อโฟลเดอร์ของคุณมีสัญลักษณ์ตัวแทนหรืออักขระหลบหนีนี้อยู่ภายในเส้นทางโฟลเดอร์สัญลักษณ์แทน: ระบุเส้นทางโฟลเดอร์ด้วยอักขระตัวแทนเพื่อกรองโฟลเดอร์ต้นทาง
ชื่อไฟล์ตัวแทน: ระบุชื่อไฟล์ด้วยอักขระตัวแทนภายใต้เส้นทางโฟลเดอร์ที่คุณระบุ (หรือเส้นทางโฟลเดอร์ตัวแทน) เพื่อกรองไฟล์ต้นฉบับ
รายการไฟล์: ระบุว่าคุณต้องการคัดลอกชุดไฟล์ที่กําหนด
- เส้นทางโฟลเดอร์: ระบุเส้นทางไปยังโฟลเดอร์
- เส้นทางไปยังรายการไฟล์: ชี้ไปยังไฟล์ข้อความที่มีรายการของไฟล์ที่คุณต้องการคัดลอกหนึ่งไฟล์ต่อบรรทัดซึ่งเป็นเส้นทางสัมพัทธ์ไปยังเส้นทางไฟล์ที่กําหนดค่า
รูปแบบไฟล์: เลือกรูปแบบไฟล์ที่ใช้จากรายการดรอปดาวน์ เลือก การตั้งค่า เพื่อกําหนดค่ารูปแบบไฟล์ สําหรับการตั้งค่าของรูปแบบไฟล์ต่างๆ ให้อ้างอิงกับบทความใน รูปแบบที่รองรับ
คุณสมบัติต่อไปนี้เป็นตัวเลือก:
- เรียกซ้ํา: ระบุว่าข้อมูลจะถูกอ่านซ้ําจากโฟลเดอร์ย่อยหรือจากโฟลเดอร์ที่ระบุเท่านั้น คุณสมบัตินี้ถูกเลือกตามค่าเริ่มต้น และจะไม่นําไปใช้เมื่อคุณกําหนดค่า รายการไฟล์
- ลบไฟล์หลังจากเสร็จสิ้น: ระบุว่าไฟล์ไบนารีถูกลบออกจากที่เก็บต้นทางหลังจากย้ายไปยังที่เก็บปลายทางสําเร็จหรือไม่ การลบไฟล์เป็นการลบต่อไฟล์ คุณสมบัตินี้ใช้ได้เฉพาะในสถานการณ์การคัดลอกแฟ้มไบนารีเท่านั้น
ภายใต้ ขั้นสูง คุณสามารถระบุเขตข้อมูลต่อไปนี้:
กรองตามการปรับเปลี่ยนล่าสุด: ไฟล์จะถูกกรองตามวันที่ปรับเปลี่ยนล่าสุด คุณสมบัตินี้ใช้ไม่ได้เมื่อคุณกําหนดค่าชนิดเส้นทางไฟล์ของคุณเป็น รายการไฟล์
เวลาเริ่มต้น (UTC): ไฟล์จะถูกเลือกหากเวลาที่แก้ไขล่าสุดมากกว่าหรือเท่ากับเวลาที่กําหนดค่าไว้
เวลาสิ้นสุด (UTC): ไฟล์จะถูกเลือกหากเวลาที่แก้ไขล่าสุดน้อยกว่าเวลาที่กําหนดค่าไว้
เมื่อ เวลาเริ่มต้น (UTC) มีค่าวันที่และเวลา แต่เวลาสิ้นสุด (UTC) เป็น NULL หมายความว่าไฟล์ที่มีแอตทริบิวต์ที่แก้ไขล่าสุดมากกว่าหรือเท่ากับค่าวันที่และเวลาจะถูกเลือก เมื่อ เวลาสิ้นสุด (UTC) มีค่าวันที่และเวลา แต่เวลาเริ่มต้น (UTC) เป็น NULL หมายความว่าไฟล์ที่มีแอตทริบิวต์ที่แก้ไขล่าสุดน้อยกว่าค่าวันที่และเวลาจะถูกเลือก คุณสมบัติสามารถเป็น NULL ซึ่งหมายความว่าจะไม่มีการนําตัวกรองแอตทริบิวต์ไฟล์ไปใช้กับข้อมูล
เปิดใช้งานการค้นพบพาร์ติชัน: ระบุว่าจะแยกวิเคราะห์พาร์ติชันจากเส้นทางไฟล์และเพิ่มเป็นคอลัมน์ต้นทางเพิ่มเติมหรือไม่ ไม่ได้เลือกตามค่าเริ่มต้น และไม่ได้รับการสนับสนุนเมื่อคุณใช้รูปแบบแฟ้มไบนารี
เส้นทางรากของพาร์ติชัน: เมื่อเปิดใช้งานการค้นพบพาร์ติชัน ให้ระบุเส้นทางรากสัมบูรณ์เพื่ออ่านโฟลเดอร์ที่มีพาร์ติชันเป็นคอลัมน์ข้อมูล
หากไม่ได้ระบุไว้ โดยค่าเริ่มต้น
- เมื่อคุณใช้เส้นทางแฟ้มหรือรายการของแฟ้มบนต้นทาง พาธรากของพาร์ติชันคือเส้นทางที่คุณกําหนดค่าไว้
- เมื่อคุณใช้ตัวกรองโฟลเดอร์ตัวแทน เส้นทางรากของพาร์ติชันคือเส้นทางย่อยก่อนสัญลักษณ์แทนตัวแรก
การเชื่อมต่อพร้อมกันสูงสุด: คุณสมบัตินี้ระบุขีดจํากัดสูงสุดของการเชื่อมต่อพร้อมกันที่สร้างขึ้นกับที่เก็บข้อมูลระหว่างการรันกิจกรรม ระบุค่าเมื่อคุณต้องการจํากัดการเชื่อมต่อที่เกิดขึ้นพร้อมกันเท่านั้น
ปลายทาง
คุณสมบัติต่อไปนี้ได้รับการสนับสนุนสําหรับ โฟลเดอร์ ภายใต้แท็บ ปลายทาง ของกิจกรรมการคัดลอก
จําเป็นต้องมีคุณสมบัติต่อไปนี้:
การเชื่อมต่อ: เลือกการเชื่อมต่อโฟลเดอร์จากรายการการเชื่อมต่อ หากไม่มีการเชื่อมต่อ ให้สร้างการเชื่อมต่อโฟลเดอร์ใหม่
เส้นทางไฟล์: เลือก เรียกดู เพื่อเลือกไฟล์ที่คุณต้องการคัดลอกหรือกรอกข้อมูลในเส้นทางด้วยตนเอง
รูปแบบไฟล์: เลือกรูปแบบไฟล์ที่ใช้จากรายการดรอปดาวน์ เลือก การตั้งค่า เพื่อกําหนดค่ารูปแบบไฟล์ สําหรับการตั้งค่าของรูปแบบไฟล์ต่างๆ ให้อ้างอิงกับบทความใน รูปแบบที่รองรับ
คุณสมบัติต่อไปนี้เป็นตัวเลือก:
ภายใต้ ขั้นสูง คุณสามารถระบุเขตข้อมูลต่อไปนี้:
คัดลอกลักษณะการทํางาน: กําหนดลักษณะการทํางานของการคัดลอกเมื่อแหล่งข้อมูลคือไฟล์จากที่เก็บข้อมูลตามไฟล์ คุณสามารถเลือกลักษณะการทํางานจากรายการดรอปดาวน์
- ลําดับชั้นลดรูปแบบโครงสร้าง: ไฟล์ทั้งหมดจากโฟลเดอร์ต้นทางอยู่ในระดับแรกของโฟลเดอร์ปลายทาง ไฟล์ปลายทางมีชื่อที่สร้างขึ้นโดยอัตโนมัติ
- ผสานไฟล์: ผสานไฟล์ทั้งหมดจากโฟลเดอร์ต้นทางไปยังไฟล์เดียว ถ้ามีการระบุชื่อไฟล์ ชื่อไฟล์ที่ผสานคือชื่อที่ระบุ มิฉะนั้น จะเป็นชื่อไฟล์ที่สร้างโดยอัตโนมัติ
- รักษาลําดับชั้น (ค่าเริ่มต้น): รักษาลําดับชั้นของไฟล์ในโฟลเดอร์เป้าหมาย เส้นทางสัมพัทธ์ของไฟล์ต้นฉบับไปยังโฟลเดอร์ต้นทางจะเหมือนกับเส้นทางสัมพัทธ์ของไฟล์เป้าหมายไปยังโฟลเดอร์เป้าหมาย
การเชื่อมต่อพร้อมกันสูงสุด: ขีดจํากัดสูงสุดของการเชื่อมต่อพร้อมกันที่สร้างไปยังที่เก็บข้อมูลในระหว่างการเรียกใช้กิจกรรม ระบุค่าเมื่อคุณต้องการจํากัดการเชื่อมต่อที่เกิดขึ้นพร้อมกันเท่านั้น
การแม็ป
สําหรับ การกําหนดค่าแท็บการแมป ไปที่ กําหนดค่าการแมปของคุณภายใต้แท็บการแมป
การตั้งค่า
สําหรับการกําหนดค่าแท็บ การตั้งค่า ให้ไปที่ กําหนดค่าการตั้งค่าอื่น ๆ ของคุณภายใต้แท็บ การตั้งค่า
ข้อมูลสรุปของตาราง
ตารางต่อไปนี้ประกอบด้วยข้อมูลเพิ่มเติมเกี่ยวกับกิจกรรมการคัดลอกในโฟลเดอร์
ข้อมูลต้นทาง
| ชื่อ | คำอธิบาย | มูลค่า | จำเป็นต้องระบุ | คุณสมบัติสคริปต์ JSON |
|---|---|---|---|---|
| การเชื่อมต่อ | การเชื่อมต่อของคุณไปยังที่เก็บข้อมูลต้นทาง | <การเชื่อมต่อโฟลเดอร์ของคุณ> | ใช่ | การเชื่อมต่อ |
| ชนิดพาธของไฟล์ | ชนิดเส้นทางไฟล์ที่ใช้ในการรับข้อมูลต้นฉบับ | / | ใช่ | / |
| สําหรับ เส้นทางไฟล์ | ||||
| เส้นทางไฟล์ | โฟลเดอร์หรือเส้นทางไฟล์ที่มีการอ่านไฟล์ | <โฟลเดอร์หรือเส้นทางไฟล์ของคุณ> | ไม่ใช่ | folderPath fileName |
| สําหรับ ตัวกรองไฟล์ | ||||
| เส้นทางโฟลเดอร์ | ระบุเส้นทางไปยังโฟลเดอร์ | <เส้นทางโฟลเดอร์ของคุณ> | ไม่ใช่ | folderPath |
| ตัวกรองไฟล์ | ตัวกรองดั้งเดิมฝั่งเซิร์ฟเวอร์ไฟล์ | <ตัวกรองไฟล์ของคุณ> | ไม่ใช่ | ตัวกรองไฟล์ |
| สําหรับ เส้นทางไฟล์ Wildcard | ||||
| เส้นทางโฟลเดอร์ตัวแทน | เส้นทางโฟลเดอร์ตัวแทนที่ใช้ในการกรองโฟลเดอร์ต้นทาง | <เส้นทางโฟลเดอร์ของคุณด้วยอักขระตัวแทน> | ไม่ใช่ | wildcardFolderPath |
| ชื่อแฟ้มสัญลักษณ์แทน | รูปแบบชื่อไฟล์ตัวแทนที่ใช้ในการกรองไฟล์ต้นฉบับ | <ชื่อแฟ้มของคุณที่มีอักขระตัวแทน> | ไม่ใช่ | ชื่อไฟล์สัญลักษณ์ตัวแทน |
| สําหรับ รายการไฟล์ | ||||
| เส้นทางโฟลเดอร์ | ระบุเส้นทางไปยังโฟลเดอร์ | <เส้นทางโฟลเดอร์ของคุณ> | ไม่ใช่ | folderPath |
| เส้นทางไปยังรายการไฟล์ | เส้นทางไปยังไฟล์ข้อความที่แสดงรายการไฟล์ที่จะคัดลอก (สัมพันธ์กับเส้นทางที่กําหนดค่าไว้) | <เส้นทางรายการไฟล์> | ไม่ใช่ | fileListPath |
| รูปแบบไฟล์ | รูปแบบไฟล์สําหรับข้อมูลต้นฉบับของคุณ สําหรับข้อมูลเกี่ยวกับรูปแบบไฟล์ต่างๆ โปรดดูบทความใน รูปแบบที่รองรับ | / | ใช่ | / |
| Recursively | ระบุว่าข้อมูลถูกอ่านซ้ําจากโฟลเดอร์ย่อยหรือจากโฟลเดอร์ที่ระบุเท่านั้น คุณสมบัตินี้ใช้ไม่ได้เมื่อคุณกําหนดค่ารายการไฟล์ | จริง/เท็จ | ไม่ใช่ | เกิด ซ้ำ |
| ลบไฟล์หลังจากเสร็จสิ้น | ระบุว่าไฟล์ไบนารีถูกลบออกจากที่เก็บต้นทางหลังจากย้ายไปยังที่เก็บปลายทางสําเร็จหรือไม่ | จริง/เท็จ | ไม่ใช่ | deleteFilesAfterCompletion |
| กรองตามการปรับเปลี่ยนล่าสุด | ไฟล์ที่มีเวลาที่ปรับเปลี่ยนครั้งล่าสุดในช่วง [เวลาเริ่มต้น เวลาสิ้นสุด) จะถูกกรองสําหรับการประมวลผลเพิ่มเติม เวลาจะถูกนําไปใช้กับเขตเวลา UTC ในรูปแบบYYYY-MM-DDTHH:mm:ssZ คุณสมบัติเหล่านี้สามารถข้ามได้ ซึ่งหมายความว่าจะไม่ใช้ตัวกรองแอตทริบิวต์ของไฟล์ คุณสมบัตินี้ใช้ไม่ได้เมื่อคุณกําหนดค่าชนิดเส้นทางไฟล์ของคุณเป็น รายการไฟล์ |
<วันที่และเวลา> | ไม่ใช่ | modifiedDatetimeStart modifiedDatetimeEnd |
| เปิดใช้งานการค้นพบพาร์ติชัน | ระบุว่าจะแยกวิเคราะห์พาร์ติชันจากพาธไฟล์ และเพิ่มเป็นคอลัมน์ต้นฉบับเพิ่มเติมหรือไม่ | จริง/เท็จ | ไม่ใช่ | enablePartitionDiscovery |
| เส้นทางรากของพาร์ติชัน | เมื่อเปิดใช้งานการค้นพบพาร์ติชันให้ระบุเส้นทางรากแบบสัมบูรณ์เพื่ออ่านโฟลเดอร์ที่แบ่งพาร์ติชันเป็นคอลัมน์ข้อมูล | <เส้นทางรากของพาร์ติชันของคุณ> | ไม่ใช่ | partitionRootPath |
| การเชื่อมต่อพร้อมกันสูงสุด | ขีดจํากัดสูงสุดของการเชื่อมต่อพร้อมกันที่สร้างขึ้นกับที่เก็บข้อมูลในระหว่างการเรียกใช้กิจกรรม ระบุค่าเมื่อคุณต้องการจํากัดการเชื่อมต่อที่เกิดขึ้นพร้อมกันเท่านั้น | <จํานวนเต็ม> | ไม่ใช่ | maxConcurrentConnections |
ข้อมูลปลายทาง
| ชื่อ | คำอธิบาย | มูลค่า | จำเป็นต้องระบุ | คุณสมบัติสคริปต์ JSON |
|---|---|---|---|---|
| การเชื่อมต่อ | การเชื่อมต่อของคุณไปยังที่เก็บข้อมูลปลายทาง | <การเชื่อมต่อโฟลเดอร์ของคุณ> | ใช่ | การเชื่อมต่อ |
| เส้นทางไฟล์ | เส้นทางโฟลเดอร์ที่ไฟล์ถูกเขียนไป | <เส้นทางโฟลเดอร์ของคุณ> | ใช่ | folderPath fileName |
| รูปแบบไฟล์ | รูปแบบไฟล์สําหรับข้อมูลปลายทางของคุณ สําหรับข้อมูลของรูปแบบไฟล์ต่างๆ ให้อ้างอิงกับบทความใน รูปแบบที่รองรับ | / | ใช่ | / |
| ลักษณะการคัดลอก | กําหนดวิธีการเขียนไฟล์ไปยังปลายทาง | แฟลตเทนลําดับชั้น ผสานไฟล์ รักษาลําดับชั้น (ค่าเริ่มต้น) |
ไม่ใช่ | copyBehavior |
| การเชื่อมต่อพร้อมกันสูงสุด | จํานวนสูงสุดของการเชื่อมต่อพร้อมกันไปยังที่เก็บข้อมูล | <จํานวนเต็ม> | ไม่ใช่ | maxConcurrentConnections |