Määritä mukautetut live poolit Microsoft Fabricissa

Koskee:✅ Fabric-data-insinöörit ja datatiede

Mukautetut live-poolit ovat valmiiksi hydratoituja Spark-klustereita, jotka mahdollistavat lähes välittömän istuntokäynnistyksen muistikirjoille Fabric-muistikirjoille. Tässä artikkelissa näytetään, miten luodaan, konfiguroida ja hallita räätälöityjä live-pooleita optimaalisen suorituskyvyn saavuttamiseksi.

Edellytykset

Ennen kuin perustat räätälöityjä live-altaita, varmista, että sinulla on:

• Pääsy Fabric-työtilaan, jossa on maksullinen Fabric-SKU (Fabric-kokeilukapasiteettia ei tueta).
• Ylläpitäjä - tai jäsenrooli työtilassa.
• Aktiivinen Fabric-kapasiteetti on määritetty työtilallesi.
• Julkaistu Fabric-ympäristö kirjaston konfigurointiin.
• Olemassa oleva räätälöity Spark-allas. Vain työtilan ylläpitäjät voivat luoda omia Spark-pooleja.

Jos sinulla on jäsenrooli , työtilan ylläpitäjän täytyy ottaa käyttöön olemassa oleva Customize compute configuration for items workspace setting.

Käytä olemassa olevaa laskennan muokkausasetusta

Mukautetut live poolit käyttävät olemassa olevaa Customize compute configuration for items workspace -asetusta. Heillä ei ole erillistä delegointiasetusta. Ennen kuin työtilan jäsen voi luoda tai päivittää mukautetun live poolin konfiguraation, työtilan ylläpitäjän on otettava käyttöön olemassa oleva asetus:

1. Siirry Fabric-työtilaan.

2. Valitse Workspace-asetukset työtilan kotinauhasta.

3. Laajenna Data Engineering/Science ja valitse Spark-asetukset.

4. Valitse Pool-välilehti .

5. Ota käyttöön Räätälöi laskennan konfiguraatio esineille.

   

6. Valitse Tallenna.

Kun tämä asetus on päällä, jäsenet voivat käyttää Fabric-ympäristöä valitakseen olemassa olevan mukautetun Spark-poolin, säätää istuntotason ajuriytimiä, ajurimuistia, suoritusytimiä ja suoritinmuistia sekä luoda tai päivittää live-poolin konfiguraatiota. Jäsenet voivat sitten tallentaa ja julkaista ympäristön.

Tämä asetus ei anna jäsenten luoda tai hallita omia Spark-pooleita työtilan asetuksissa. Työtilan ylläpitäjän on luotava taustalla oleva mukautettu Spark-pooli.

Kun Mukauta laskentakonfiguraatio kohteille on pois päältä, ympäristöt käyttävät työtilan oletuspoolia ja sen laskentakonfiguraatiota. Jäsenet eivät voi luoda tai päivittää mukautettua live-poolin konfiguraatiota ennen kuin työtilan ylläpitäjä ottaa asetuksen käyttöön.

Lisätietoja tästä työtilan ohjauksesta löytyy kohdasta Data Engineering workspace administration settings.

Luo oma pooli live-poolille (vain ylläpitäjä)

Tämä tehtävä vaatii ylläpitäjän työtilan roolin. Jos mukautettu Spark-pooli on jo olemassa, työtilan jäsenet voivat ohittaa tämän tehtävän ja konfiguroida live pool -laskennan olemassa olevalle poolille.

1. Siirry Fabric-työtilaasi.
2. Valitse Workspace-asetukset työtilan kotinauhasta.
3. Laajenna Data Engineering/Science ja valitse Spark-asetukset.
4. Valitse Pool-välilehti .
5. Valitse Workspace-oletuksena oleva pooli pudotusvalikosta Uusi pooli.
6. Syötä altaalle nimi. Tämä nimi on yksilöllinen tunniste poolille, kuten dev-team-pool tai prod-daily-analytics.
7. Valitse solmuperheja koko työkuormallesi.
8. Valitse Autoscale-valintaruutu , jotta automaattinen skaalaus voi ottaa käyttöön poolille.

Säädä live-allas

Workspace-ylläpitäjät ja jäsenet voivat luoda tai päivittää live-poolin konfiguraatiota ympäristöasetusten kautta. Jäsenille työtilan ylläpitäjän on ensin otettava käyttöön Mukauta laskentakonfiguraatio kohteille. Jäsenten on valittava olemassa oleva mukautettu Spark-allas, jonka työtilan ylläpitäjä on luonut.

1. Avaa Fabric-työtilassasi ympäristö, jonka haluat liittää mukautettuun live-pooliin.

2. Vasemmasta ruudusta valitse Compute.

3. Valitse edellisessä vaiheessa luomasi pooli pudotusvalikosta.

4. Live poolista valitse radiopainike aktivoidaksesi live poolin laskennan tässä ympäristössä.

   

5. Live-altaan aikataulusta valitse radiopainike käynnistääksesi sen. Kaikilla räätälöidyillä live-pooleilla on oltava aikataulu. Klusterit pidetään nesteytetyinä vain aikataulun aikana.

6. Määritä aikatauluasetukset:

   • Onko aikataulu toistuva
   • Aloitus ja loppu päivä ja aika
   • Aikavyöhyke
   • Milloin allas kannattaa poistaa käytöstä ja aktivoida uudelleen
   • Muut soveltuvat asetukset

   Tärkeää

   Fabric käyttää tavanomaista Spark-provisointia aktiviteeteille aikataulutetun ikkunan ulkopuolella, jolloin käynnistysajat ovat hitaampia. Ryhmiä ei pidetä lämpimänä aikataulun ulkopuolella.

   Aikatauluvinkkejä löytyy kohdasta Aikataulun parhaat käytännöt.

7. Tallenna laskenta-asetukset.

8. Valitse Julkaise-painike yläreunasta.

Julkaisun jälkeen allas on aktiivinen ja Fabric alkaa kosteuttaa klustereita ennen seuraavaa aikataulua.

Ymmärrä aikatauluikkuna

Aikataulu määrittelee ikkunan, jolloin Fabric pitää klusterit nesteytyneinä ja voi rehydroida klusterit, jotka se on deaktivoinut. Se ei pidä elävää allasta lämpimänä konfiguroidun ikkunan ulkopuolella.

Esimerkiksi tarkastellaan toistuvaa aikataulua, joka on joka päivä klo 8.00–17.00:

• Klo 8:00 alkaa päivittäinen aikatauluikkuna ja Fabric aloittaa tai jatkaa nesteytystä.
• Aikatauluikkunan aikana lepotilan klusteri voidaan deaktivoida konfiguroidun lepotilasaikakatkaisun jälkeen. Fabric voi kosteuttaa korvaavan aineen määritettyjen reaktivaatiovälien mukaan.
• Klo 17:00 aikataulu päättyy. Fabric ei jatka klusterien uudelleennesteyttämistä klo 17:00–8:00 aamulla seuraavana päivänä.
• Aikataulun ulkopuolella toimitettu muistikirja käyttää tavallista Spark-provisionointia eikä saa live pool warm-start -etua.
• Sama päivittäinen käyttäytyminen toistuu määritettyyn aikataulun päättymispäivään asti.

Aikataulun aloitusaika ei takaa, että klusteri olisi jo käytettävissä juuri silloin. Hydraatio vie aikaa, erityisesti ympäristöpäivityksen jälkeen tai kun Fabric joutuu luomaan uuden klusterin. Jos aikataulutetun muistikirjan täytyy alkaa klo 8:00, aloita live-allasaikataulu 60–90 minuuttia aiemmin. Ennen kuin kannettava käynnistyy, käytä valvontakeskusta varmistaaksesi, että käytettävissä olevat klusterit ovat suurempia kuin nolla. Saapuva muistikirja saa lämpimän istunnon vain, kun yhteensopiva hydratoitu klusteri on käytettävissä.

Monitor poolin tila

Tarkistaaksesi oman live-poolisi tilan:

1. Avaa Fabric-portaalissa Monitoring hub.

2. Etsi julkaisemasi ympäristö ja valitse kolmen pisteen (...) avataksesi kontekstivalikon.

3. Valitse Näytä tiedot.

   

4. Oikeassa ruudussa laajenna Live pool -tila nähdäksesi poolin nykyisen tilan.

Live-altaan tila sisältää tietoja kuten:

• Altaan tila: Esimerkiksi aktiivinen, nesteytetty, lepotilassa tai pysähtynyt
• Saatavilla olevat klusterit: Valmiina muistikirjan istuntoihin valmiiden klusterien määrä
• Varatut klusterit: Klusterien määrä, jotka tällä hetkellä suorittavat istuntoja
• Seuraava aikataulu: Tuleva toimintaikkuna

Parhaat käytännöt

Saadaksesi parhaan hyödyn räätälöidyistä live-pooleista, harkitse seuraavia parhaita konfigurointi- ja hallintakäytäntöjä:

Optimoi kustannusten ja suorituskyvyn mukaan

• Sovita määrä kysyntään: Aseta maksimiklusterimäärä odotettujen samanaikaisten sessioiden perusteella. Ylitarjoaminen lisää kustannuksia.
• Seuraa käyttöastetta: Tarkista säännöllisesti poolin mittareita ja säädä klusterimäärää tarvittaessa.
• Skaalaa aikatauluja tehokkaasti: Vältä aikataulujen päällekkäisyyttä useiden poolien välillä, ellei se ole välttämätöntä.
• Hyödynnä lepotilan aikakatkaisua: Aseta sopivat lepotila-aikakatkaisut tasapainon ylläpitämiseksi resurssien saatavuuden ja toistuvien klusterin uudelleenkäynnistysten välttämisen välillä.

Klusterikoot

Kun konfiguroit poolia, ota huomioon seuraavat asetukset ja suositukset:

• Klusterin koko: Executor-instanssien määrä muistikirjan istunnoille (vaihteluväli: 1–16).
• Maksimiryhmämäärä: Suurin määrä klustereita, jotka pidetään nesteytettyinä. Asetetaan odotettujen samanaikaisten sessioiden mukaan.
• Idle timeout: Kuinka kauan käyttämätön klusteri pysyy varalla ennen kuin Fabric lopettaa sen.

Hallinnoi kirjastoriippuvuuksia

• Käytä ympäristöryhmittelyä: Esiasenna yleiset kirjastot ympäristöön sen sijaan, että asentaisit lennossa -asennuksen.
• Ympäristön versiointi: Liitetyn ympäristön päivittäminen vaatii hydratoitujen klustereiden uudelleenjulkaisua ja päivittämistä.
• Päivitä hydratoituneet klusterit: Ympäristön muutosten jälkeen päivitä allas tai odota seuraavaa suunniteltua kiertoa muutosten tekemiseksi.

Sopeudu työkuorman kaavoihin

• Seuraa ulkopuolista käyttäytymistä: Säädä lepotilatilaiden aikakatkaisuja todellisten käyttötottumusten mukaan.
• Jaa sessioiden välillä: Harkitse saman ympäristön jakamista useiden poolien välillä, jos sinulla on johdonmukaiset työkuormamallit resurssien käytön parantamiseksi.

Aikataulun parhaat käytännöt

• Sovita työkuorman kaavoja: Aikatauluta aktiiviset ajat, kun tiimisi pyörittää vuorovaikutteisia tai aikataulutettuja muistikirjoja.
• Puskuriaika: Aloita aikataulu 60–90 minuuttia ennen ensimmäistä odotettua kannettavan käyttöä, jotta nesteytys ehtii valmistua.
• Varmista saatavuus: Ennen viiveelle herkkää aikataulutettua ajoa varmista, että live-poolilla on vähintään yksi käytettävissä oleva klusteri Monitoring hubissa.
• Ota huomioon aikavyöhykkeet: Jos joukkueesi kattaa useita aikavyöhykkeidiä, laajenna aikataulua kattamaan vaaditut aikavälit.

Vianmääritys

Mukautettujen live-poolien vianetsintä sisältää altaan tilan, ympäristön kunnon ja aikataulujen konfiguroinnin tarkistamisen seuraavissa tilanteissa:

Uima-allas ei ole edelleen käytettävissä

Jos pooli ei aktivoidu tai näyttää "Ei saatavilla" -tilan:

• Tarkista, että Fabric-kapasiteetti on aktiivinen ja tällä hetkellä määritetty työtilaan
• Varmista, että liitetty ympäristö on "Valmis"-tilassa.
• Varmista, että liitetty ympäristö on julkaistu eikä siinä ole virheitä.

Nesteytys kestää odotettua kauemmin

Jos nesteytys on odotettua hitaampi:

• Tarkista ympäristön riippuvuudet ja buildin tila.
• Varmista, että ympäristö on "Valmis"-tilassa.
• Seuraa uima-altaan yksityiskohtia saadaksesi lisätietoja.

Istunnot tai muistikirjat eivät käynnisty

Jos muistikirjan istunnot eivät käynnisty, vaikka pooli olisi aktiivinen:

• Tarkista, että sessiossa käytetään oikeaa ympäristöä.
• Varmista, että allas on "Saatavilla"-tilassa ja täysin nesteytetty.

Live pool -asetuksia ei ole saatavilla

Jos et voi luoda tai päivittää live poolin konfiguraatiota:

• Varmista, että sinulla on Admin - tai Member-työtilan rooli.
• Jos sinulla on jäsenrooli , pyydä työtilan ylläpitäjää ottamaan käyttöön Räätälöi laskentakonfiguraatio kohteille.
• Varmista, että työtilan ylläpitäjä on luonut mukautetun Spark-poolin, jonka voit valita ympäristössä.

Liittyvä sisältö

• Räätälöityjen live-altaiden yleiskatsaus
• Aloituspoolien konfigurointi
• Luo omia Spark-pooleita
• Luo ja käytä ympäristöä