จัดการไลบรารีในสภาพแวดล้อม Fabric

สภาพแวดล้อม Microsoft Fabric มีการกําหนดค่าที่ยืดหยุ่นสําหรับการเรียกใช้งาน Spark ไลบรารีมีโค้ดที่นํากลับมาใช้ใหม่ได้สําหรับสมุดบันทึกและข้อกําหนดงาน Spark นอกเหนือจากไลบรารีในตัวที่มาพร้อมกับรันไทม์ Spark แต่ละรายการแล้ว คุณยังสามารถติดตั้งไลบรารีสาธารณะและไลบรารีแบบกําหนดเองในสภาพแวดล้อม Fabric ได้

ไลบรารีในตัว

ใน Fabric รันไทม์แต่ละเวอร์ชันจะโหลดไว้ล่วงหน้าด้วยชุดไลบรารีในตัวที่คัดสรรมาอย่างดี ซึ่งได้รับการปรับให้เหมาะสมสําหรับประสิทธิภาพ ความเข้ากันได้ และความปลอดภัยใน Python, R, Java และ Scala หน้า ไลบรารี ที่มีอยู่แล้วภายใน ในสภาพแวดล้อมช่วยให้คุณสามารถเรียกดูและค้นหาไลบรารีที่ติดตั้งไว้ล่วงหน้าเหล่านี้ตามรันไทม์ที่เลือก

ไลบรารีเหล่านี้จะถูกติดตั้งตามค่าเริ่มต้นในทุกสภาพแวดล้อมและไม่สามารถเปลี่ยนแปลงได้ มันสามารถใช้งานได้หากคุณเรียกใช้โน้ตบุ๊กหรือ Spark job definition ในสภาพแวดล้อมนี้

หากต้องการดูรายการของแพ็คเกจที่ติดตั้งไว้ล่วงหน้าและเวอร์ชันสําหรับแต่ละรันไทม์ โปรดดู Apache Spark รันไทม์ใน Fabric

ที่เก็บภายนอก

คุณสามารถเพิ่มไลบรารีจากคลังสาธารณะอย่าง PyPI, Conda และ Maven หรือจากคลังส่วนตัว ตัวเลือกโหมดแหล่งที่มาและโหมดเผยแพร่จะแตกต่างกันไปตามประเภทที่เก็บ เมื่อคุณเพิ่มไลบรารี คุณจะเลือกโหมดการประกาศ (เต็มหรือด่วน) สําหรับรายละเอียดเกี่ยวกับวิธีการทํางานของแต่ละโหมด โปรดดู เลือกโหมดการเผยแพร่สําหรับไลบรารี

เพิ่มไลบรารีจากที่เก็บ Python สาธารณะ

ที่เก็บสาธารณะให้คุณติดตั้งแพ็คเกจจาก PyPI หรือ Conda

1. ในแท็บ ที่เก็บภายนอก ให้เลือก เพิ่มไลบรารี

2. เลือก เพิ่มไลบรารีจากที่เก็บสาธารณะ

3. เลือกแหล่งที่มา (PyPI หรือ Conda)

4. ป้อนชื่อไลบรารีในช่องค้นหา ขณะที่คุณพิมพ์ กล่องค้นหาจะแนะนําไลบรารียอดนิยม แต่รายการมีจํากัด หากคุณไม่เห็นคลังของคุณ ให้ป้อนชื่อเต็มของคลัง

   

   หากการค้นหาพบชื่อไลบรารี คุณจะเห็นเวอร์ชันที่มีอยู่

5. เลือกรุ่น จากนั้นบันทึกและเผยแพร่สภาพแวดล้อมของคุณ

เพิ่มไลบรารีจาก Maven

Fabric รองรับการติดตั้งไลบรารีโดยตรงจากที่เก็บ Maven เพื่อใช้ฟีเจอร์นี้ ให้สร้าง ไฟล์ POM ที่แสดงรายการ Maven dependencies ที่คุณต้องการติดตั้ง และอัปโหลดไปยัง Environment

1. ในแท็บ ที่เก็บภายนอก ให้เลือก นําเข้า pom.xml

2. เลือกไฟล์ pom.xml จากไดเรกทอรีในเครื่องของคุณ

เพิ่มไลบรารีจากที่เก็บส่วนตัว

ที่เก็บข้อมูลส่วนตัวช่วยให้คุณติดตั้งแพ็กเกจโดยใช้ pip หรือ conda

1. ในแท็บ ที่เก็บภายนอก ให้เลือก เพิ่มไลบรารี

2. เลือก เพิ่มไลบรารีจากที่เก็บส่วนตัว

3. เลือกแหล่งที่มา (pip หรือ conda)

4. ป้อนชื่อและเวอร์ชันของไลบรารี ตรวจสอบให้แน่ใจว่าคุณกรอกชื่อและ เวอร์ชันของไลบรารีอย่างถูกต้อง เพราะการค้นหาไลบรารีในคลังส่วนตัวขณะพิมพ์จะไม่รองรับ ข้อมูลแพคเกจที่ไม่ถูกต้องทําให้การเผยแพร่ล้มเหลว

เพิ่มไลบรารีจากตัวดึงข้อมูลสิ่งประดิษฐ์ Azure

คุณสามารถกําหนดขอบเขต Azure Artifact Feeds ให้เป็นโปรเจกต์ (ส่วนตัว) หรือองค์กร (สาธารณะ) Fabric รองรับทั้งสองขอบเขต โดยไม่คํานึงถึงการมองเห็นของฟีดใน Azure DevOps Fabric จะเชื่อมต่อผ่านการเชื่อมต่อ Data Factory ที่รับรองความถูกต้องเสมอ ดังนั้นคุณจึงต้องตั้งค่าการเชื่อมต่อแม้กระทั่งสําหรับฟีดสาธารณะ

ตั้งค่าการเชื่อมต่อสําหรับตัวดึงข้อมูลสิ่งประดิษฐ์ Azure ของคุณ

สภาพแวดล้อมไม่ได้จัดเก็บข้อมูลประจําตัวโดยตรง แต่คุณสร้างการเชื่อมต่อผ่าน Data Factory Connector และอ้างอิงตามรหัสการเชื่อมต่อในไฟล์ YML แทน ดูข้อมูลเพิ่มเติมเกี่ยวกับ Azure ฟีดสิ่งประดิษฐ์

1. เลือกไอคอนรูปเฟือง Settings ที่มุมบนขวาของพอร์ทัล Fabric แล้วเลือก จัดการการเชื่อมต่อและเกตเวย์

   

2. สร้างการเชื่อมต่อใหม่ เลือก + ใหม่ แล้วเลือก Cloud เป็นชนิด และเลือก Azure ตัวดึงข้อมูลสิ่งประดิษฐ์ (พรีวิว) เป็นชนิดการเชื่อมต่อ

   

3. ป้อน URL ฟีดในแบบฟอร์มใดรูปแบบหนึ่งต่อไปนี้

   https://pkgs.dev.azure.com/{organization}/{project}/_packaging/{feed}/pypi/simple/
   https://{organization}.pkgs.visualstudio.com/{project}/_packaging/{feed}/pypi/simple/
   

4. ให้สิทธิ์การเข้าถึงบนฟีดผ่าน โทเค็นการเข้าถึงส่วนบุคคล (PAT) หรือผ่าน ข้อมูลประจําตัวของพื้นที่ทํางาน

   • สําหรับโหมดโทเค็น PAT ให้สร้าง PAT (ใน ADO → การตั้งค่าผู้ใช้ → โทเค็นการเข้าถึงส่วนบุคคล) ด้วยแพ็กเกจ: ขอบเขตการอ่าน เพิ่มผู้ใช้ที่เป็นเจ้าของ PAT ลงในฟีดที่มีบทบาทผู้ อ่านฟีด ภายใต้การตั้งค่า→ฟีด→สิทธิ์
   • สําหรับโหมดข้อมูลประจําตัวพื้นที่ทํางาน ผู้ดูแลระบบพื้นที่ทํางานจะเปิดใช้งานข้อมูลประจําตัวพื้นที่ทํางานในการตั้งค่าพื้นที่ทํางาน→ข้อมูลประจําตัวพื้นที่ทํางาน→ + ข้อมูลประจําตัวพื้นที่ทํางาน ในฟีด ADO ให้ค้นหา การตั้งค่าตัวดึงข้อมูล → สิทธิ์ → เพิ่มผู้ใช้/กลุ่ม เพิ่มข้อมูลประจําตัวของพื้นที่ทํางาน (ตั้งชื่อเหมือนกับพื้นที่ทํางาน) ที่มีบทบาท ผู้อ่านตัวดึงข้อมูล เป็นอย่างน้อย

5. เลือก อนุญาตให้สิ่งประดิษฐ์ Code-First เช่น สมุดบันทึก เพื่อเข้าถึงการเชื่อมต่อนี้ (พรีวิว)

   

6. เลือก สร้าง เพื่อบันทึกการเชื่อมต่อ คุณควรเห็นในรายการการเชื่อมต่อ

7. บันทึก ID การเชื่อมต่อหลังจากสร้าง คุณต้องการมันในขั้นตอนต่อไป

เตรียมและอัปโหลดไฟล์ YML

สร้างไฟล์ YML ที่แสดงรายการแพ็กเกจที่คุณต้องการติดตั้งและอ้างอิงรหัสการเชื่อมต่อแทน URL ฟีดและข้อมูลเข้าสู่ระบบ Fabric ใช้รหัสการเชื่อมต่อเพื่อตรวจสอบสิทธิ์และดึงแพ็คเกจจากฟีดของคุณในเวลาที่เผยแพร่

การกําหนดค่า pip มาตรฐานจะอ้างอิง URL ฟีดและข้อมูลประจําตัวโดยตรง:

dependencies:
  - pip:
    - fuzzywuzzy==0.18.0
    - wordcloud==1.9.4
    - --index-url <URL_TO_THE_AZURE_ARTIFACT_FEED_WITH_AUTH>

สําหรับ Fabric ให้แทนที่ URL ด้วยรหัสการเชื่อมต่อที่คุณบันทึกไว้ก่อนหน้านี้:

dependencies:
  - pip:
    - fuzzywuzzy==0.18.0
    - wordcloud==1.9.4
    - --index-url <YOUR_CONNECTION_ID>

อัปโหลดไฟล์ YML ไปยังสภาพแวดล้อมโดยตรง หรือสลับไปยัง มุมมองตัวแก้ไข YML และวางเนื้อหา เมื่อคุณเผยแพร่สภาพแวดล้อม Fabric จะอ่านแพคเกจจากฟีดของคุณและคงไว้ ถ้าคุณอัปเดตแพคเกจในฟีดสิ่งประดิษฐ์ Azure ของคุณ ให้ เผยแพร่สภาพแวดล้อมใหม่ เพื่อรับเวอร์ชันล่าสุด

เพิ่มไลบรารีจาก JFrog Artifactory

คุณสามารถติดตั้งแพ็กเกจจากคลัง JFrog Artifactory ส่วนตัวได้โดยสร้างการเชื่อมต่อ Data Factory และอ้างอิงรหัสการเชื่อมต่อในไฟล์ YML

ตั้งค่าการเชื่อมต่อสําหรับ JFrog Artifactory

1. เลือกไอคอนรูปเฟือง Settings ที่มุมบนขวาของพอร์ทัล Fabric แล้วเลือก จัดการการเชื่อมต่อและเกตเวย์

2. สร้างการเชื่อมต่อใหม่ เลือก + ใหม่, เลือก Cloud เป็นประเภท และเลือก JFrog Artifactory (Preview) เป็นประเภทการเชื่อมต่อ

3. กรอก URL ของคลัง JFrog Artifactory ตัวอย่างเช่น:

   https://{organization}.jfrog.io/artifactory/{repository}
   

4. สําหรับวิธีการตรวจสอบสิทธิ์ ให้เลือกกลไกที่คาดหวัง

   สําหรับที่เก็บข้อมูล Conda ให้ระบุทั้งชื่อผู้ใช้และโทเค็นในการเชื่อมต่อ

5. เลือก อนุญาตให้สิ่งประดิษฐ์ Code-First เช่น สมุดบันทึก เพื่อเข้าถึงการเชื่อมต่อนี้ (พรีวิว)

   

6. เลือก สร้าง เพื่อบันทึกการเชื่อมต่อ จากนั้นบันทึกรหัสการเชื่อมต่อ

เตรียมและอัปโหลดไฟล์ YML

ในไฟล์ YML ของคุณ ให้อ้างอิง connection ID เป็น URL ดัชนีแทนที่จะใส่ URL ของคลังข้อมูลและโทเค็นการเข้าถึง:

dependencies:
  - pip:
    - fuzzywuzzy==0.18.0
    - wordcloud==1.9.4
    - --index-url <YOUR_CONNECTION_ID>

เฉพาะ connection ID เปล่าเท่านั้นที่รองรับสําหรับดัชนีหรือช่องสัญญาณ JFrog Artifactory อย่าฝังชื่อผู้ใช้หรือโทเค็นก่อนโฮสต์ใน --index-url URL Fabric ปฏิเสธ URL ดัชนีหรือช่องทางที่กําหนดเองที่มีข้อมูลรับรองฝังอยู่ พร้อมข้อผิดพลาด "URL ดัชนี/ช่องทางที่กําหนดเองต้องไม่ฝังข้อมูลรับรอง" เก็บข้อมูลรับรองไว้ในการเชื่อมต่อแทน

อัปโหลดไฟล์ YML ไปยังสภาพแวดล้อมโดยตรง หรือสลับไปยัง มุมมองตัวแก้ไข YML และวางเนื้อหา เมื่อคุณเผยแพร่สภาพแวดล้อม Fabric จะอ่านแพ็กเกจจากคลังของคุณและเก็บรักษาไว้ รีพับลิสต์สภาพแวดล้อมเพื่อรับการอัปเดตแพ็กเกจ

จัดการไลบรารีภายนอก

หลังจากที่คุณเพิ่มไลบรารีภายนอก คุณสามารถจัดการได้จากส่วน ที่เก็บภายนอก

• ตัวกรอง – ใช้ชื่อแพคเกจเป็นคําสําคัญเพื่อกรองรายการไลบรารีภายนอก
• อัปเดต – เลือกไลบรารีเพื่ออัปเดต ชื่อรุ่น หรือ ชนิดแหล่งข้อมูล ในมุมมองรายการ ในมุมมองตัวแก้ไข YML คุณยังสามารถอัปเดต Azure Artifact Feed หรือ JFrog Artifactory connection ID ได้ด้วย
• ลบ – วางเมาส์เหนือแถวไลบรารีเพื่อดูตัวเลือก ลบ หรือเลือกไลบรารีหลายรายการ แล้วเลือก ลบ คุณยังสามารถลบไลบรารีได้โดยใช้มุมมองตัวแก้ไข YML
• ดูการขึ้นต่อกัน – วางเมาส์เหนือไลบรารีที่เก็บสาธารณะ แล้วเลือก ดูการขึ้นต่อกัน เพื่อดึงข้อมูลแผนผังการขึ้นต่อกัน ข้อมูลการพึ่งพาไม่สามารถใช้งานได้สําหรับไลบรารีส่วนตัวหรือไลบรารีจาก Azure Artifact Feed หรือ JFrog Artifactory
• ส่งออกไปยัง .yml – ส่งออกรายการไลบรารีภายนอกทั้งหมดไปยัง .yml ไฟล์และดาวน์โหลดไปยังไดเร็กทอรีในเครื่องของคุณ

ไลบรารีแบบกําหนดเอง

ไลบรารีแบบกําหนดเองอ้างอิงถึงโค้ดที่คุณหรือองค์กรของคุณสร้างขึ้น Fabric รองรับไฟล์ไลบรารีแบบกําหนดเองในรูปแบบ .whl, .py, .jar และ .tar.gz เช่นเดียวกับไลบรารีภายนอก คุณเลือกโหมดการเผยแพร่ (แบบเต็มหรือด่วน) เมื่อคุณอัปโหลดแพ็คเกจแบบกําหนดเอง สําหรับรายละเอียด โปรดดู เลือกโหมดการเผยแพร่สําหรับไลบรารี

ใช้ปุ่ม อัปโหลด และ ดาวน์โหลด ในหน้าไลบรารี แบบกําหนดเอง เพื่อเพิ่มไลบรารีจากไดเรกทอรีภายในเครื่องของคุณหรือดาวน์โหลดในเครื่อง

หากต้องการลบไลบรารี ให้วางเมาส์เหนือแถวของไลบรารีแล้วเลือกไอคอนถังขยะ หรือเลือกไลบรารีหลายรายการ แล้วเลือก ลบ

เลือกโหมดการเผยแพร่สําหรับไลบรารี

เมื่อคุณเพิ่มไลบรารีภายนอกหรือแบบกําหนดเอง ให้เลือกโหมดเผยแพร่ โหมดเต็ม พร้อมใช้งานสําหรับแหล่งที่มาของไลบรารีและปริมาณงานทุกประเภท โหมดด่วน พร้อมใช้งานสําหรับที่เก็บสาธารณะและรูปแบบไลบรารีแบบกําหนดเองส่วนใหญ่ แต่เฉพาะเมื่อเรียกใช้สมุดบันทึกเท่านั้น

ตารางต่อไปนี้แสดงโหมดการประกาศที่แหล่งข้อมูลไลบรารีแต่ละแหล่งสนับสนุน

เลือกโหมดที่เหมาะกับความต้องการของคุณ

ใช้ความซับซ้อนของการขึ้นต่อกัน และชนิดปริมาณงานเพื่อตัดสินใจว่าโหมดใดเหมาะสม

• โหมดเต็ม จะแก้ไขการขึ้นต่อกัน ตรวจสอบความเข้ากันได้ และสร้างสแนปช็อตไลบรารีที่เสถียรระหว่างการเผยแพร่ snapshot นั้นจะถูกปล่อยเมื่อเริ่มเซสชันใหม่ ใช้สําหรับชุดการพึ่งพาขนาดใหญ่ (เช่น มากกว่า 10 แพ็กเกจ), งานผลิต และท่อส่งข้อมูล โดยทั่วไปการเผยแพร่จะใช้เวลา 3 ถึง 6 นาที การเริ่มต้นเซสชันจะเพิ่ม 1 ถึง 3 นาทีสําหรับการปรับใช้การขึ้นต่อกัน โดยขึ้นอยู่กับขนาดการขึ้นต่อกัน หากต้องการรักษาสแนปช็อตที่เสถียรในขณะที่เริ่มต้นเซสชันประมาณ 5 วินาที ให้ใช้โหมดเต็มร่วมกับพูลสดแบบกําหนดเอง
• โหมดด่วน ข้ามการประมวลผลการขึ้นต่อกันระหว่างการเผยแพร่และติดตั้งแพคเกจเมื่อเริ่มต้นเซสชันสมุดบันทึกแทน ใช้สําหรับชุดการพึ่งพาที่เบากว่า การวนซ้ําอย่างรวดเร็ว และการทดลองในระยะเริ่มต้น เผยแพร่เสร็จสมบูรณ์ในเวลาประมาณ 5 วินาที การติดตั้งไลบรารีเกิดขึ้นเมื่อเริ่มเซสชัน

คุณสามารถผสมโหมดระหว่างการพัฒนา รูปแบบทั่วไปคือการวนซ้ําในโหมดด่วน จากนั้นย้ายการขึ้นต่อกันที่ตรวจสอบแล้วไปยังโหมดเต็มเพื่อให้ได้สแนปช็อตการผลิตที่เสถียร คุณยังสามารถเก็บ snapshot โหมดเต็มที่มีอยู่ไว้โดยไม่เปลี่ยนแปลง และซ้อนแพ็กเกจทดสอบใหม่ในโหมดด่วน — โดยจะปล่อย snapshot โหมดเต็มรูปแบบก่อน จากนั้นจึงติดตั้งแพ็กเกจโหมดด่วนด้านบน

ข้อจํากัดและพฤติกรรมของโหมด

โปรดคํานึงถึงข้อจํากัดเหล่านี้เมื่อทํางานกับโหมดการเผยแพร่

• โหมดด่วนใช้งานได้กับสมุดบันทึกเท่านั้น ไม่ใช่ข้อกําหนดงาน Spark
• หากต้องการย้ายไลบรารีแบบกําหนดเองระหว่างโหมดต่างๆ ให้ดาวน์โหลดไฟล์ ลบออกจากโหมดปัจจุบัน จากนั้นอัปโหลดไปยังโหมดเป้าหมาย ไม่รองรับการถ่ายโอนโดยตรงระหว่างโหมด
• บันทึกการติดตั้งไม่ปรากฏในสมุดบันทึก ใช้ การตรวจสอบ (ระดับ 2) เพื่อติดตามความคืบหน้าและแก้ไขปัญหา
• เมื่อทั้งสองโหมดมีแพ็คเกจ สแนปช็อตโหมดเต็มจะนําไปใช้ก่อน แพ็คเกจโหมดด่วนติดตั้งที่ด้านบนและแทนที่แพ็คเกจโหมดเต็มที่มีชื่อเดียวกัน
• เมื่อมีแพคเกจที่ซ้ํากันในโหมดต่างๆ เวอร์ชันโหมดด่วนจะแทนที่เวอร์ชันโหมดเต็มสําหรับเซสชันสมุดบันทึกปัจจุบันเท่านั้น การเริ่มเซสชันใหม่จะใช้สแนปช็อตโหมดเต็มอีกครั้งก่อน จากนั้นจึงติดตั้งแพ็คเกจโหมดด่วนที่ด้านบน
• แพคเกจโหมดด่วนจะติดตั้งเมื่อเซลล์โค้ดแรกสําหรับภาษานั้นทํางาน ตัวอย่างเช่น แพ็คเกจ Python จะติดตั้งเมื่อเซลล์ Python เซลล์แรกทํางาน และแพ็คเกจ R จะติดตั้งเมื่อเซลล์ R เซลล์แรกทํางาน

เนื้อหาที่เกี่ยวข้อง

• สร้าง กําหนดค่า และใช้สภาพแวดล้อมใน Fabric
• จัดการไลบรารี Apache Spark ใน Fabric