แปลงพารามิเตอร์ส่วนกลางของ Azure Data Factory เป็นไลบรารีตัวแปร Fabric Data Factory

Fabric ใช้ไลบรารีตัวแปรใน workspace เพื่อกําหนดค่าคงที่ข้าม pipeline และรายการ data factory และ Fabric อื่น ๆ คุณสามารถย้ายพารามิเตอร์ระดับโลกของ Azure Data Factory ไปยังไลบรารีตัวแปรของ Fabric ได้ด้วยขั้นตอนด้วยตนเองไม่กี่ขั้นตอน

คู่มือนี้จะแนะนําคุณตลอดกระบวนการ:

  • ส่งออกพารามิเตอร์ระดับโลกของ Azure Data Factory ของคุณ
  • สร้างตัวแปรพื้นที่ทํางานใน Fabric
  • อัปเดตนิพจน์ไปป์ไลน์
  • ตรวจสอบพฤติกรรม

ทําความเข้าใจไลบรารีตัวแปร Fabric

ไลบรารีตัวแปรใน Fabric เก็บค่าระดับพื้นที่ทํางานที่คุณสามารถอ้างอิงข้าม pipeline และกิจกรรมต่าง ๆ รองรับประเภทต่างๆ เช่น สตริง ตัวเลข และบูลีน รวมถึงค่าที่ปลอดภัยสําหรับข้อมูลลับ คุณสามารถกําหนดเวอร์ชันไลบรารีตัวแปรและปรับใช้ในสภาพแวดล้อมต่างๆ ด้วยไปป์ไลน์การปรับใช้

แตกต่างจากพารามิเตอร์ระดับโลกของ Azure Data Factory ตัวแปร Fabric มีความปลอดภัยที่เข้มงวดกว่า การนํากลับมาใช้ใหม่ได้ง่ายขึ้น และการควบคุมการกํากับดูแลที่ดีกว่า คุณสามารถนําไปใช้กับรายการ Fabric ทั้งหมดได้ สําหรับข้อมูลเพิ่มเติม ให้ดูที่ เริ่มต้นใช้งานไลบรารีตัวแปร

ย้ายพารามิเตอร์ระดับโลกของ Azure Data Factory ไปยังไลบรารีตัวแปร Fabric

  1. ส่งออกพารามิเตอร์ระดับโลกของ Azure Data Factory ของคุณ

    1. ใน Azure Data Factory Studio ไปที่ Manage>Global Parameters บันทึกชื่อ ชนิด และค่าของแต่ละพารามิเตอร์
    2. สําหรับการย้ายข้อมูลขนาดใหญ่ ให้ไปที่จัดการ>เทมเพลต ARM และส่งออกเทมเพลต ARM เพื่อแยกพารามิเตอร์โดยทางโปรแกรม คุณสามารถค้นหาได้ในโฟลเดอร์เทมเพลตภายใต้โฟลเดอร์ โรงงาน ในไฟล์ที่ลงท้ายด้วย ParametersForFactory
  2. เปรียบเทียบประเภทที่มี

    ตรวจสอบประเภทพารามิเตอร์ระดับโลกของ Azure Data Factory (string, int, bool ฯลฯ) และเปรียบเทียบกับประเภทไลบรารีตัวแปรของ Fabric จดบันทึกความแตกต่างของประเภทที่อาจต้องปรับเปลี่ยนระหว่างการย้ายข้อมูล

  3. สร้างไลบรารีตัวแปรใน Fabric.

    1. ในพื้นที่ทํางาน Fabric ของคุณ ให้เลือก + รายการใหม่ แล้วค้นหาและเลือก ไลบรารีตัวแปร
    2. สร้างไลบรารี (ตัวอย่างเช่น GlobalParams)
    3. เปิดไลบรารีตัวแปรใหม่ของคุณ เลือก +ตัวแปรใหม่ และเลือกพารามิเตอร์ global ของ Azure Data Factory แต่ละตัวเป็นตัวแปร

    สําหรับข้อมูลเพิ่มเติมเกี่ยวกับการสร้างไลบรารีตัวแปร ให้ดูที่ เริ่มต้นใช้งานไลบรารีตัวแปร

  4. อัปเดตนิพจน์ไปป์ไลน์ที่ย้าย

    อัปเดตการอ้างอิงพารามิเตอร์ส่วนกลาง เช่น @globalParameters('ParamName') การอ้างอิงไลบรารีตัวแปร เช่น @pipeline.libraryVariables.ParamName.

    อัปเดตนิพจน์กิจกรรม สตริงการเชื่อมต่อ อาร์กิวเมนต์สคริปต์ ตรรกะตัวกรอง และคุณสมบัติชุดข้อมูลทั้งหมดของคุณ สําหรับข้อมูลเพิ่มเติม โปรดดู การรวมไลบรารีตัวแปรกับไปป์ไลน์ข้อมูล

  5. ตรวจสอบพฤติกรรมไปป์ไลน์

    เรียกใช้การตรวจสอบความถูกต้องและทดสอบการดําเนินการเพื่อยืนยันว่าตัวแปรแก้ไขได้อย่างถูกต้องในไปป์ไลน์ของคุณ ตรวจสอบว่าการเชื่อมต่อ การผูกพารามิเตอร์ และการใช้ตัวแปรที่ปลอดภัยทํางานตามที่คาดไว้

รูปแบบการย้ายข้อมูลทั่วไป

ต่อไปนี้คือรูปแบบการโยกย้ายบางส่วนที่คุณอาจใช้เมื่อแปลงพารามิเตอร์ส่วนกลางเป็นไลบรารีตัวแปร:

  • การแมปโดยตรง — พารามิเตอร์ง่าย ๆ ของ Azure Data Factory เช่น ชื่อภูมิภาคหรือชื่อผู้เช่า แมปแบบหนึ่งต่อหนึ่งกับรายการในไลบรารีตัวแปร

  • ไลบรารีเฉพาะสภาพแวดล้อม — แทนที่จะเป็นไลบรารีเดียว ให้สร้างไลบรารีหลายไลบรารี (Global-Dev, Global-Test Global-Prod) ไปป์ไลน์การปรับใช้สามารถผูกไลบรารีที่ถูกต้องตามสภาพแวดล้อม

  • โมเดลไฮบริด — เก็บค่าคงที่ที่ใช้ร่วมกันในไลบรารีตัวแปร แต่ส่งข้อมูลเฉพาะการเรียกใช้ผ่านพารามิเตอร์ไปป์ไลน์

ข้อจํากัดปัจจุบัน

ปัจจุบันมีข้อจํากัดบางประการที่ควรระวัง:

  • ทั้ง ประสบการณ์การอัปเกรดในตัว และ เครื่องมือการโยกย้าย PowerShell จะไม่โยกย้ายพารามิเตอร์ส่วนกลางโดยอัตโนมัติ
  • นิพจน์ภายในบริการที่เชื่อมโยงหรือไปป์ไลน์ที่อ้างอิง @globalParameters() จะไม่ถูกเขียนใหม่โดยอัตโนมัติ
  • การเชื่อมต่อ Fabric (การแทนที่บริการที่เชื่อมโยง Azure Data Factory) ไม่สนับสนุนนิพจน์พารามิเตอร์ในลักษณะเดียวกัน คุณต้องเขียนพารามิเตอร์แบบไดนามิกที่ใช้ในข้อกําหนดการเชื่อมต่อใหม่ด้วยตนเอง

แนวทางปฏิบัติที่ดีที่สุด

โปรดคํานึงถึงเคล็ดลับเหล่านี้:

  • จัดแนวการตั้งชื่อให้สอดคล้องกันก่อนการย้ายข้อมูล
  • หลีกเลี่ยงการโอเวอร์โหลดตัวแปรระดับพื้นที่ทํางาน ใช้พารามิเตอร์ไปป์ไลน์สําหรับค่ารันไทม์แทน
  • ใช้ไปป์ไลน์การปรับใช้เพื่อจัดการไลบรารีตัวแปรเฉพาะสภาพแวดล้อม
  • จัดทําเอกสารไลบรารีตัวแปรของคุณเพื่อให้สมาชิกในทีมรู้ว่าไปป์ไลน์ใดขึ้นอยู่กับตัวแปรใด