Hallinnoi kirjastoja Fabric-ympäristöissä

Microsoft Fabric -ympäristöt tarjoavat joustavan konfiguroinnin Spark-töiden ajamiseen. Kirjastot tarjoavat uudelleenkäytettävää koodia muistikirjoille ja Spark-tehtävämäärittelyille. Sisäänrakennettujen kirjastojen lisäksi, jotka tulevat jokaisen Spark-ajontimen mukana, voit asentaa julkisia ja mukautettuja kirjastoja Fabric-ympäristöihin.

Sisäänrakennetut kirjastot

Fabric-versiossa jokainen ajonaikainen versio on valmiiksi ladattu valikoidulla sisäänrakennetun kirjastosarjan kanssa, jotka on optimoitu suorituskyvyn, yhteensopivuuden ja turvallisuuden kannalta Python-, R-, Java- ja Scala-yhteensopivuuden osalta. Ympäristön Built-in libraries -sivu antaa sinun selata ja hakea näitä valmiiksi asennettuja kirjastoja valitun ajonajan perusteella.

Nämä kirjastot asennetaan oletuksena kaikkiin ympäristöihin, eikä niitä voi muuttaa. Ne ovat käytettävissä, jos käytät muistikirjasi tai Spark-työn määrittelyä tässä ympäristössä.

Esiasennettujen pakettien ja niiden versioiden listan näkemiseksi kullekin ajonaikalle katso Apache Spark -suoritusajat Fabric.

Ulkoiset tietovarastot

Voit lisätä kirjastoja julkisista arkistoista kuten PyPI, Conda ja Maven tai yksityisistä repositorioista. Lähde- ja julkaisutilavaihtoehdot vaihtelevat varastotyypin mukaan. Kun lisäät kirjaston, valitset julkaisutilan (Full tai Quick). Lisätietoja siitä, miten kukin tila toimii, löydät osoitteesta Valitse julkaisutila kirjastoille.

Lisää kirjasto julkisesta Python-repositoriosta

Julkisissa repositorioissa voi asentaa paketteja PyPI:stä tai Condasta.

1. Ulkoiset varastot -välilehdeltä valitse Lisää kirjasto.

2. Valitse Lisää kirjasto julkisesta tietovarastosta.

3. Valitse lähde (PyPI tai Conda).

4. Syötä kirjaston nimi hakukenttään. Kirjoittaessasi hakukenttä viittaa suosittuihin kirjastoihin, mutta lista on rajallinen. Jos et näe kirjastoasi, syötä sen koko nimi.

   

   Jos haku löytää kirjaston nimen, näet saatavilla olevat versiot.

5. Valitse versio ja tallenna sekä julkaise ympäristösi.

Lisää kirjasto Mavenista

Fabric tukee kirjastojen asentamista suoraan Maven-repositorioista. Tämän ominaisuuden käyttämiseksi luo POM-tiedosto , joka listaa haluamasi Maven-riippuvuudet, ja lataa se ympäristöön.

1. Ulkoiset varastot -välilehdellä valitse Tuo pom.xml.

2. Valitse pom.xml-tiedosto paikallisesta hakemistosta.

Lisää kirjasto yksityisestä arkistosta

Yksityiset tietovarastot mahdollistavat pakettien asentamisen pip- tai conda-koodilla.

1. Ulkoiset varastot -välilehdeltä valitse Lisää kirjasto.

2. Valitse Lisää kirjasto yksityisestä varastosta.

3. Valitse lähde (pip tai conda).

4. Syötä kirjaston nimi ja versio. Varmista, että syötät kirjaston nimen ja version oikein, sillä kirjastojen hakeminen yksityisistä arkistoista kirjoittaessasi ei ole tuettua. Virheelliset pakettitiedot aiheuttavat julkaisun epäonnistumisen.

Lisää kirjastoja Azure-artefaktisyötteestä

Voit rajata Azure-artefaktisyötteet joko projektiin (yksityinen) tai organisaatioon (julkinen). Fabric tukee molempia tähtäimiä. Riippumatta syötteen näkyvyydestä Azure DevOps:ssa, Fabric yhdistyy aina todennuksella varustetun Data Factory -yhteyden kautta, joten yhteys täytyy perustaa myös julkisia syötteitä varten.

Luo yhteys Azure Artifact Feedille

Ympäristö ei tallenna tunnuksia suoraan. Sen sijaan luot yhteyden Data Factory Connectorin kautta ja viittaat siihen yhteystunnuksella YML-tiedostossa. Lue lisää Azure Artfact Feedistä.

1. Valitse Settings rattaiskuvake Fabric-portaalin oikeasta yläkulmasta ja valitse sitten Hallinnoi yhteyksiä ja portteja.

   

2. Luo uusi yhteys. Valitse + New ja valitse sitten Cloud tyypiksi ja valitse Azure Artifact Feed (Preview) yhteystyypiksi.

   

3. Syötä syötteen URL jommassakummassa näistä muodoista:

   https://pkgs.dev.azure.com/{organization}/{project}/_packaging/{feed}/pypi/simple/
   https://{organization}.pkgs.visualstudio.com/{project}/_packaging/{feed}/pypi/simple/
   

4. Myönnä pääsy syötteeseen henkilökohtaisen pääsytunnuksen (PAT) tai työtilan identiteetin kautta

   • PAT-token-tilassa luo PAT (ADO → User Settings → Personal Access Tokens) käyttäen Packaging: Read scope. Lisää PAT-omistajan käyttäjä syötteeseen Feed Reader -roolilla Feed → Settings → Permissions.
   • Työtilan identiteettitilassa Workspace Admin ottaa Workspace Identityn käyttöön Workspace-asetuksissa → Workspace Identity → + Workspace Identity. ADO-syötteestä etsi Feed-asetukset → Käyttöoikeudet → Lisää käyttäjiä/ryhmiä, lisää työtilan identiteetti (nimeltään sama kuin työtila) vähintään Feed Reader -roolilla.

5. Valitse Salli Code-First artefaktit, kuten muistikirjat, päästäksesi tähän yhteyteen (esikatselu).

   

6. Valitse Luo tallentaaksesi yhteyden. Sinun pitäisi nähdä se yhteyslistalla.

7. Tallenna yhteystunnus luomisen jälkeen. Tarvitset sitä seuraavassa vaiheessa.

Valmistele ja lataa YML-tiedosto

Luo YML-tiedosto, joka listaa asennettavat paketit ja viittaa yhteystunnukseen syötteen URL-osoitteen ja tunnistetietojen sijaan. Fabric käyttää yhteys-ID:tä todentaakseen ja hakeakseen paketteja syötteestäsi julkaisuaikana.

Tavallinen pip-konfiguraatio viittaa suoraan syötteen URL-osoitteeseen ja tunnuksiin:

dependencies:
  - pip:
    - fuzzywuzzy==0.18.0
    - wordcloud==1.9.4
    - --index-url <URL_TO_THE_AZURE_ARTIFACT_FEED_WITH_AUTH>

Fabric:lle korvaa URL aiemmin tallentamallasi yhteystunnuksella:

dependencies:
  - pip:
    - fuzzywuzzy==0.18.0
    - wordcloud==1.9.4
    - --index-url <YOUR_CONNECTION_ID>

Lataa YML-tiedosto suoraan ympäristöön tai vaihda YML-editorinäkymään ja liitä sisältö. Kun julkaiset ympäristön, Fabric lukee syötteesi paketit ja säilyttää ne. Jos päivität paketteja Azure Artfact Feedissä, julkaise ympäristön uudelleen saadaksesi uusimmat versiot.

Lisää kirjastoja JFrog Artifactorysta

Voit asentaa paketteja yksityisestä JFrog Artifactory -varastosta luomalla Data Factory -yhteyden ja viittaamalla sen yhteystunnukseen YML-tiedostossa.

Luo yhteys JFrog Artifactorylle

1. Valitse Settings rattaiskuvake Fabric-portaalin oikeasta yläkulmasta ja valitse sitten Hallinnoi yhteyksiä ja portteja.

2. Luo uusi yhteys. Valitse + Uusi, valitse Cloud tyypiksi ja valitse JFrog Artifactory (Preview) yhteystyypiksi.

3. Syötä JFrog Artifactory -repositorin URL. Esimerkiksi:

   https://{organization}.jfrog.io/artifactory/{repository}
   

4. Tunnistautumismenetelmälle valitse odotettu mekanismi.

   Conda-repositoriossa anna sekä käyttäjätunnus että tokeni yhteyteen.

5. Valitse Salli Code-First artefaktit, kuten muistikirjat, päästäksesi tähän yhteyteen (esikatselu).

   

6. Valitse Luo tallentaaksesi yhteyden ja kirjaa sen yhteystunnus.

Valmistele ja lataa YML-tiedosto

YML-tiedostossasi viittaa yhteystunnukseen indeksin URL-osoitteena sen sijaan, että lisäisit repositorin URL:n ja pääsytunnuksen:

dependencies:
  - pip:
    - fuzzywuzzy==0.18.0
    - wordcloud==1.9.4
    - --index-url <YOUR_CONNECTION_ID>

Vain paljas yhteystunnus on tuettu JFrog Artifactory -indeksille tai kanavalle. Älä upota käyttäjänimeä tai tokenia isännän eteen URL-osoitteeseen --index-url . Fabric hylkää mukautetut indeksi- tai kanava-URL-osoitteet, joissa on upotettuja tunnistetietoja, virheellä "Custom index/channel URLs must not embed credentials". Tallenna tunnukset sen sijaan yhteyteen.

Lataa YML-tiedosto suoraan ympäristöön tai vaihda YML-editorinäkymään ja liitä sisältö. Kun julkaiset ympäristön, Fabric lukee paketit varastostasi ja säilyttää ne. Julkaise ympäristö uudelleen saadaksesi pakettipäivitykset.

Hallinnoi ulkoisia kirjastoja

Kun olet lisännyt ulkoiset kirjastot, voit hallita niitä Ulkoiset varastot -osiosta.

• Suodatin – Käytä paketin nimeä avainsanana ulkoisten kirjastojen listan suodattamiseen.
• Päivitys – Valitse kirjasto päivittääksesi sen nimen, version tai lähdetyypin Listanäkymässä. YML-editorinäkymässä voit myös päivittää Azure Artifact Feedin tai JFrog Artifactory -yhteystunnuksen.
• Delete – Vie hiiri kirjastorivin päälle nähdäksesi Delete-vaihtoehdon, tai valitse useita kirjastoja ja valitse sitten Delete. Voit myös poistaa kirjastoja käyttämällä YML-editorinäkymää.
• Näytä riippuvuudet – Vie hiiri julkisen tietovarastokirjaston päälle ja valitse Näytä riippuvuudet hakeaksesi sen riippuvuuspuun. Riippuvuustietoja ei ole saatavilla yksityisissä kirjastoissa tai Azure Artifact Feedin tai JFrog Artifactoryn kirjastoissa.
• Vie .yml – Vie koko ulkoinen kirjastoluettelo tiedostoksi .yml ja lataa se paikalliseen hakemistoosi.

Mukautetut kirjastot

Mukautetut kirjastot viittaavat sinun tai organisaatiosi luomaan koodiin. Fabric tukee mukautettuja kirjastotiedostoja .whl, .py, .jar ja .tar.gz -formaateissa. Kuten ulkoisissa kirjastoissa, valitset julkaisutilan (Full tai Quick) kun lataat mukautettuja paketteja. Lisätietoja löytyy osoitteesta Valitse julkaisutila kirjastoille.

Käytä Mukautetut kirjastot -sivun Lataa ja lataa -painikkeita lisätäksesi kirjastoja paikallisesta hakemistosta tai ladata ne paikallisesti.

Poistaaksesi kirjaston, vie hiiri sen rivin päälle ja valitse roskakorikuvake tai valitse useita kirjastoja ja valitse sitten Poista.

Valitse julkaisutila kirjastoille

Kun lisäät ulkoisia tai mukautettuja kirjastoja, valitse julkaisutila. Täysi tila on saatavilla kaikille kirjastolähteille ja työkuormatyypeille. Pikatila on saatavilla julkisissa arkistoissa ja useimmissa mukautetuissa kirjastomuodoissa, mutta vain muistikirjojen käytössä.

Seuraava taulukko näyttää, mitä julkaisutilaa kukin kirjastolähde tukee.

Valitse tarpeisiisi sopiva tila

Käytä riippuvuusmonimutkaisuutta ja työkuormatyyppiä päättääksesi, mikä tila sopii.

• Täysi tila ratkaisee riippuvuuksia, validoi yhteensopivuuden ja luo vakaan kirjastokuvan julkaisun aikana. Tuo tilannekuva aktivoituu, kun uusi istunto alkaa. Käytä sitä suuremmille riippuvuusjoukoille (esimerkiksi yli 10 pakettia), tuotantokuormille ja putkistoille. Julkaisu kestää tyypillisesti 3–6 minuuttia; Istunnon käynnistys lisää riippuvuuden käyttöönottoon 1–3 minuuttia riippuen riippuvuuden koosta. Jotta saat vakaan snapshotin ja noin 5 sekunnin session aloitukset, käytä Täysi-tilaa yhdessä mukautetun live-poolin kanssa.
• Pikatila ohittaa riippuvuuskäsittelyn julkaisun aikana ja asentaa paketit muistikirjan istunnon käynnistyessä. Käytä sitä kevyempiin riippuvuussarjoihin, nopeaan iterointiin ja varhaisen vaiheen kokeiluihin. Julkaisu valmistuu noin 5 sekunnissa; Kirjaston asennus tapahtuu istunnon alussa.

Voit sekoittaa tiloja kehityksen aikana. Yleinen tapa on iteroida pikatilassa ja siirtää validoidut riippuvuudet täyteen tilaan vakaan tuotantotilan saamiseksi. Voit myös pitää olemassa olevan täyden tilan snapshotin ennallaan ja kerrostaa uusia testipaketteja pikatilassa – full mode snapshot julkaistaan ensin, sitten quick mode -paketit asennetaan päälle.

Tilan rajoitukset ja käyttäytyminen

Pidä nämä rajoitukset mielessä, kun työskentelet julkaisutilojen kanssa.

• Pikatila toimii vain muistikirjojen kanssa, ei Spark-tehtävien määrittelyillä.
• Siirtääksesi mukautettua kirjastoa tilojen välillä, lataa tiedosto, poista se nykyisestä tilasta ja lataa sitten kohdetilaan. Suoria siirtoja tilojen välillä ei tueta.
• Asennuslokit eivät näy muistikirjassa. Käytä seurantaa (taso 2) edistymisen seuraamiseen ja vianetsintään.
• Kun molemmissa tiloissa on paketteja, koko tilan snapshot otetaan käyttöön ensin. Pikatilapaketit asennetaan päälle ja ohittavat kaikki samannimisen full mode -paketit.
• Kun kaksoispaketteja on eri tilojen välillä, pikatilaversiot ohittavat Full mode -versiot vain nykyisessä notebook-istunnossa. Uuden istunnon aloittaminen palauttaa ensin Full mode snapshotin, sitten Quick mode -paketit asennetaan päälle.
• Pikatilapaketit asennetaan, kun kyseisen kielen ensimmäinen koodisolu käynnistyy. Esimerkiksi Python-paketit asennetaan, kun ensimmäinen Python-solu käynnistyy, ja R-paketit asennetaan, kun ensimmäinen R-solu käynnistyy.

Liittyvä sisältö

• Luo, konfiguroi ja käytä ympäristöä Fabric
• Hallinnoi Apache Spark -kirjastoja Fabric