Aangepaste livepools configureren in Microsoft Fabric

Van toepassing op:✅ Fabric Data Engineering en Data Science

Custom live pools zijn voorgehydrateerde Spark-clusters die bijna directe sessiestart bieden voor notebooks in Fabric. In dit artikel wordt beschreven hoe u aangepaste livepools maakt, configureert en beheert voor optimale prestaties.

Vereiste voorwaarden

Voordat u aangepaste livegroepen instelt, moet u het volgende doen:

• Toegang tot een Fabric-werkruimte met een betaalde Fabric SKU (Fabric proefcapaciteiten worden niet ondersteund).
• Admin- of lidrol in de werkruimte.
• Een actieve Fabric-capaciteit die aan je werkruimte is toegewezen.
• Een gepubliceerde Fabric-omgeving die moet worden gebruikt voor bibliotheekconfiguratie.
• Een bestaand aangepast Spark-pool. Alleen workspace-beheerders kunnen aangepaste Spark-pools aanmaken.

Als je de rol Member hebt, moet een werkruimtebeheerder de bestaande werkruimte-instelling Customize compute configuration for items inschakelen.

Gebruik de bestaande instelling voor compute-aanpassing

Aangepaste live pools maken gebruik van de bestaande werkruimte-instelling 'Rekenconfiguratie voor items aanpassen'. Ze hebben geen aparte delegatie-instelling. Voordat een workspace-lid een aangepaste live pool-configuratie kan aanmaken of bijwerken, moet een workspace-beheerder de bestaande instelling inschakelen:

1. Ga naar uw Fabric-werkruimte.

2. Selecteer Werkruimte-instellingen op het startlint van de werkruimte.

3. Vouw Data Engineering/Science uit en selecteer Spark-instellingen.

4. Selecteer het tabblad Pool .

5. Zet 'Compute configuratie aanpassen' voor items aan.

   

6. Selecteer Opslaan.

Wanneer deze instelling is ingeschakeld, kunnen Leden een Fabric-omgeving gebruiken om een bestaande aangepaste Spark-pool te selecteren, stuurprogrammakernen, stuurprogrammageheugen, executorkernen en executorgeheugen op sessieniveau aan te passen en de livepoolconfiguratie te maken of bij te werken. Leden kunnen vervolgens de omgeving opslaan en publiceren.

Deze instelling laat Leden niet toe om aangepaste Spark-pools te maken of te beheren in werkruimte-instellingen. Een workspace-beheerder moet de onderliggende aangepaste Spark-pool aanmaken.

Wanneer Computeconfiguratie voor items aanpassen is uitgeschakeld, gebruiken omgevingen de standaardpool van de werkruimte en de bijbehorende computeconfiguratie. Leden kunnen geen aangepaste live pool-configuratie aanmaken of bijwerken totdat een workspace-beheerder de instelling inschakelt.

Voor meer informatie over deze werkruimtebesturing, zie Data Engineering werkruimtebeheerinstellingen.

Maak een aangepaste pool aan voor de live pool (alleen voor de admin)

Deze taak vereist de Admin-werkruimterol. Als er al een aangepaste Spark-pool bestaat, kunnen workspace-leden deze taak overslaan en live pool-berekening configureren op de bestaande pool.

1. Navigeer naar uw Fabric-werkruimte.
2. Selecteer Werkruimte-instellingen op het startlint van de werkruimte.
3. Vouw Data Engineering/Science uit en selecteer Spark-instellingen.
4. Selecteer het tabblad Pool .
5. Selecteer nieuwe pool in de vervolgkeuzelijst Standaardgroep voor werkruimte.
6. Voer een naam in voor de pool. Deze naam is een unieke id voor de pool, zoals dev-team-pool of prod-daily-analytics.
7. Selecteer een knooppuntfamilie en knooppuntgrootte voor uw workload.
8. Schakel het selectievakje Automatisch schalen in om automatisch schalen voor de pool in te schakelen.

Een livepool configureren

Workspace-beheerders en leden kunnen een live pool-configuratie aanmaken of bijwerken via de omgevingsinstellingen . Voor leden moet een workspace-beheerder eerst Rekenconfiguratie voor items aanpassen inschakelen. Leden moeten een bestaande, aangepaste Spark-pool selecteren die is aangemaakt door een workspace-beheerder.

1. Open in uw Fabric-werkruimte de omgeving die u wilt koppelen aan een aangepaste live-pool.

2. Selecteer Compute in het linkerdeelvenster.

3. Selecteer de pool die u in de vorige stap hebt gemaakt in de vervolgkeuzelijst.

4. Selecteer onder live pool de optieknop om de live pool-computebronnen voor deze omgeving te activeren.

   

5. Selecteer onder Live pool schedule het keuzerondje om het in te schakelen. Alle aangepaste livepools moeten een schema hebben. Clusters worden alleen gehydrateerd binnen het geplande tijdvenster.

6. Geef de planningsinstellingen op:

   • Of het schema terugkerend is
   • Begin- en einddag en -tijd
   • Tijdzone
   • Wanneer de pool moet worden gedeactiveerd en opnieuw geactiveerd
   • Andere instellingen, indien van toepassing

   Belangrijk

   Fabric maakt gebruik van standaard Spark-inrichting voor activiteiten buiten het geplande venster, met tragere opstarttijden. Clusters worden niet warm gehouden buiten het geplande tijdsvenster.

   Zie Best practices plannen voor tips voor planning.

7. Sla de rekeninstellingen op.

8. Selecteer de knop Publiceren op het bovenste lint.

Nadat u de pool heeft gepubliceerd, is de pool actief en begint Fabric clusters te hydrateren vóór de volgende schema periode.

Begrijp het planningsvenster

Het schema bepaalt het venster waarin Fabric clusters gehydrateerd houdt en clusters die het heeft gedeactiveerd kan rehydrateren. Het houdt het live zwembad buiten het geconfigureerde venster niet warm.

Denk bijvoorbeeld aan een terugkerend schema dat elke dag loopt van 8:00 uur tot 17:00 uur:

• Om 8:00 uur begint het dagelijkse planningsvenster en start Fabric met hydratatie of gaat daarmee door.
• Tijdens de planningsperiode kan een inactief cluster worden gedeactiveerd na de geconfigureerde time-out voor inactiviteit. Fabric kan een vervanging rehydrateren volgens het geconfigureerde reactivatieinterval.
• Om 17:00 uur eindigt het schema. Fabric gaat niet door met het opnieuw hydrateren van clusters tussen 17:00 uur en 8:00 uur de volgende dag.
• Een notebook dat buiten het planningsvenster wordt ingediend, gebruikt standaard Spark-provisioning en ontvangt niet het live pool warmstart-voordeel.
• Hetzelfde dagelijkse gedrag herhaalt zich tot de geconfigureerde einddatum.

De starttijd van de planning garandeert niet dat er op dat exacte moment al een cluster beschikbaar is. Hydratatie kost tijd, vooral na een omgevingsupdate of wanneer Fabric een nieuw cluster moet provisioneren. Als een geplande notebook om 8:00 uur moet starten, start dan de planning van de live pool 60-90 minuten eerder. Gebruik vóór het uitvoeren van het notebook de Monitoring-hub om te bevestigen dat Beschikbare clusters groter zijn dan nul. Een binnenkomende notebook krijgt alleen een warme sessie als er een compatibele hydrated cluster beschikbaar is.

Poolstatus bewaken

De status van uw aangepaste live-pool controleren:

1. Open de bewakingshub in het Fabric-portaal.

2. Zoek de omgeving die u hebt gepubliceerd en selecteer het beletselteken (...) om het contextmenu te openen.

3. Selecteer Details weergeven.

   

4. Vouw in het rechterdeelvenster de live poolstatus uit om de huidige status van de live pool weer te geven.

De status van de livepool bevat details zoals:

• Poolstatus: bijvoorbeeld Actief, Hydrateren, Niet-actief of Gestopt
• Beschikbare clusters: Aantal clusters dat gereed is voor notebooksessies
• Bezet clusters: aantal clusters dat momenteel sessies uitvoert
• Volgend schema: Komende activiteiten

Beste praktijken

Bekijk de volgende aanbevolen procedures voor configuratie en beheer om optimaal gebruik te maken van aangepaste live-pools:

Optimaliseren voor kosten en prestaties

• Aantal afstemmen op de vraag: stel het maximumaantal clusters in op basis van verwachte gelijktijdige sessies. Overprovisioning verhoogt de kosten.
• Bewaak het gebruik: controleer regelmatig de metrische gegevens van de pool en pas indien nodig het aantal clusters aan.
• Schaal schema's efficiënt: vermijd overlappende schema's in meerdere pools, tenzij dat nodig is.
• Benut time-outs voor inactiviteit: stel de juiste time-outs voor inactiviteit in om een evenwicht te behouden tussen de beschikbaarheid van middelen en het vaak herstarten van clusters te voorkomen.

Grootte van cluster

Houd bij het configureren van uw pool rekening met de volgende instellingen en aanbevelingen:

• Clustergrootte: het aantal uitvoerders voor notebooksessies (bereik: 1-16).
• Maximum aantal clusters: het maximale aantal clusters dat gehydrateerd moet worden. Instellen op basis van verwachte gelijktijdige sessies.
• Time-out voor inactiviteit: hoe lang een ongebruikt cluster toegewezen blijft voordat Fabric het beëindigt.

Bibliotheekafhankelijkheden beheren

• Omgevingsgroepering gebruiken: installeer algemene bibliotheken vooraf in de omgeving in plaats van on-the-fly-installatie.
• Versiebeheer van de omgeving: Voor het bijwerken van een gekoppelde omgeving moeten gehydrateerde clusters opnieuw gepubliceerd en vernieuwd worden.
• Vernieuw gehydrateerde clusters: Nadat de omgeving is gewijzigd, vernieuw de pool of wacht tot de volgende geplande cyclus de wijzigingen toepast.

Aanpassen aan werkbelastingpatronen

• Extern gedrag bewaken: time-outs voor inactiviteit aanpassen op basis van werkelijke gebruikspatronen.
• Delen tussen sessies: Overweeg om dezelfde omgeving te delen in meerdere pools als u consistente workloadpatronen hebt om het resourcegebruik te verbeteren.

Best practices plannen

• Stem af op workloadpatronen: Plan werktijden wanneer uw team interactieve of geplande notebooks uitvoert.
• Buffertijd: Begin het schema 60-90 minuten voor de eerste verwachte notebookrun om hydratatie te voltooien.
• Verifieer beschikbaarheid: Controleer vóór een latency-gevoelige geplande run of de live pool ten minste één beschikbare cluster in de monitoringshub heeft.
• Houd rekening met tijdzones: als uw team meerdere tijdzones omvat, kunt u het schema uitbreiden om de vereiste tijdsbereiken te dekken.

Troubleshooting

Het oplossen van problemen met aangepaste livegroepen omvat het controleren van de poolstatus, de omgevingsstatus en de planningsconfiguratie, zoals wordt beschreven in de volgende scenario's:

Pool blijft niet beschikbaar

Als de pool niet kan worden geactiveerd of de status Niet beschikbaar wordt weergegeven:

• Controleer dat de Fabric-capaciteit actief is en momenteel aan de werkruimte is toegewezen.
• Controleer of de gekoppelde omgeving de status Gereed heeft.
• Zorg ervoor dat de gekoppelde omgeving is gepubliceerd en geen fouten bevat.

Hydratatie duurt langer dan verwacht

Als hydratatie langzamer is dan verwacht:

• Controleer de omgevingsafhankelijkheden en de buildstatus.
• Controleer of de omgeving de status Gereed heeft.
• Bewaak de pooldetails voor meer informatie.

Sessies of notitieblokken kunnen niet worden gestart

Als notebooksessies niet kunnen worden gestart, zelfs niet met een actieve pool:

• Controleer of de sessie de juiste omgeving gebruikt.
• Controleer of het zwembad de status Beschikbaar heeft en volledig gehydrateerd is.

Live pool-instellingen zijn niet beschikbaar

Als je de live pool-configuratie niet kunt aanmaken of bijwerken:

• Controleer of je de werkruimterol Admin of Lid hebt.
• Als je de Lid-rol hebt, vraag dan een workspace-beheerder om Compute-configuratie aanpassen voor items in te schakelen.
• Controleer of een workspace-beheerder een aangepaste Spark-pool heeft aangemaakt die je in de omgeving kunt selecteren.

Verwante inhoud

• Overzicht van aangepaste livegroepen
• Starterspools configureren
• Aangepaste Spark-pools maken
• Een omgeving maken en gebruiken