Konfigurowanie niestandardowych pul na żywo w usłudze Microsoft Fabric

Dotyczy:✅ Inżynieria danych sieci szkieletowej i nauka o danych

Niestandardowe live pooli to wstępnie nawodnione klastry Spark, które zapewniają niemal natychmiastowe uruchomienie sesji dla notebooków w Fabric. W tym artykule pokazano, jak tworzyć, konfigurować niestandardowe pule na żywo i zarządzać nimi w celu uzyskania optymalnej wydajności.

Wymagania wstępne

Przed skonfigurowaniem niestandardowych pul na żywo upewnij się, że masz:

• Dostęp do obszaru roboczego usługi Fabric z płatnym SKU usługi Fabric (pojemności próbne usługi Fabric nie są obsługiwane).
• Rola administratora lub członka w przestrzeni roboczej.
• Aktywna pojemność Fabric przypisana do Twojego miejsca pracy.
• Opublikowane środowisko sieci szkieletowej do użycia na potrzeby konfiguracji biblioteki.
• Istniejąca niestandardowa pula Spark. Tylko administratorzy przestrzeni roboczych mogą tworzyć niestandardowe pule Sparka.

Jeśli masz rolę Członek, administrator obszaru roboczego musi włączyć istniejące ustawienie obszaru roboczego Dostosuj konfigurację obliczeniową dla elementów.

Użyj istniejącego ustawienia personalizacji obliczeniowej

Niestandardowe pule na żywo używają istniejącego ustawienia obszaru roboczego Dostosuj konfigurację obliczeń dla elementów. Nie mają osobnego ustawienia delegacji. Zanim członek workspace będzie mógł utworzyć lub zaktualizować niestandardową konfigurację live pool, administrator workspace musi włączyć istniejące ustawienie:

1. Przejdź do obszaru roboczego usługi Fabric.

2. Wybierz Ustawienia obszaru roboczego z głównej wstążki obszaru roboczego.

3. Rozwiń Inżynieria danych/Nauka i wybierz Ustawienia Spark.

4. Wybierz kartę Pula.

5. Włącz Dostosowywanie konfiguracji obliczeń dla elementów.

   

6. Wybierz Zapisz.

Gdy to ustawienie jest włączone, członkowie mogą użyć środowiska Fabric do wyboru istniejącej niestandardowej puli Spark, dostosowania rdzeni sterowników na poziomie sesji, pamięci sterowników, rdzeni wykonawczych i pamięci wykonawczej oraz utworzenia lub aktualizacji konfiguracji puli na żywo. Członkowie mogą następnie zapisać i opublikować środowisko.

To ustawienie nie pozwala członkom tworzyć ani zarządzać niestandardowymi pulami Spark w ustawieniach przestrzeni roboczej. Administrator przestrzeni roboczej musi stworzyć własną pulę Sparka.

Gdy funkcja Dostosowywania konfiguracji obliczeniowej dla elementów jest wyłączona, środowiska korzystają z domyślnej puli przestrzeni roboczej oraz jej konfiguracji obliczeniowej. Członkowie nie mogą tworzyć ani aktualizować niestandardowej konfiguracji puli na żywo, dopóki administrator przestrzeni roboczej nie włączy tego ustawienia.

Aby uzyskać więcej informacji o tej kontroli przestrzeni roboczej, zobacz ustawienia administracji przestrzeni roboczej w inżynierii danych.

Stwórz niestandardową pulę dla puli na żywo (tylko dla administratora)

To zadanie wymaga roli Administratora w przestrzeni roboczej. Jeśli niestandardowa pula Spark już istnieje, członkowie obszaru roboczego mogą pominąć to zadanie i skonfigurować obliczenia puli na żywo w istniejącej puli.

1. Przejdź do obszaru roboczego Fabric.
2. Wybierz Ustawienia obszaru roboczego z głównej wstążki obszaru roboczego.
3. Rozwiń Inżynieria danych/Nauka i wybierz Ustawienia Spark.
4. Wybierz kartę Pula.
5. Z listy rozwijanej Domyślna pula dla obszaru roboczego wybierz pozycję Nowa pula.
6. Wprowadź nazwę puli. Ta nazwa jest unikatowym identyfikatorem puli, takim jak dev-team-pool lub prod-daily-analytics.
7. Wybierz rodzinę węzłów i rozmiar węzła dla obciążenia.
8. Zaznacz pole wyboru Autoskalowanie , aby włączyć skalowanie automatyczne dla puli.

Skonfiguruj pulę aktywną

Administratorzy i członkowie przestrzeni roboczej mogą tworzyć lub aktualizować konfigurację aktywnej puli w ustawieniach środowiska. Dla członków administrator przestrzeni roboczej musi najpierw włączyć opcję Dostosowanie konfiguracji obliczeniowej dla elementów. Członkowie muszą wybrać istniejącą, niestandardową pulę Spark utworzoną przez administratora przestrzeni roboczej.

1. W obszarze roboczym Fabric otwórz środowisko, które chcesz dołączyć do niestandardowej puli na żywo.

2. W panelu po lewej stronie wybierz pozycję Przetwarzanie.

3. Wybierz pulę utworzoną w poprzednim kroku z listy rozwijanej.

4. W obszarze Pula na żywo wybierz przycisk radiowy, aby aktywować zasoby obliczeniowe puli na żywo dla tego środowiska.

   

5. W Harmonogramie puli na żywo wybierz przycisk radiowy, aby włączyć tę funkcję. Wszystkie niestandardowe pule na żywo muszą mieć harmonogram. Klastry są utrzymywane w stanie gotowości tylko podczas zaplanowanego okresu.

6. Określ ustawienia harmonogramu:

   • Czy harmonogram jest cykliczny
   • Początek i koniec dnia i godziny
   • Strefa czasowa
   • Kiedy dezaktywować i na nowo aktywować pulę
   • Inne ustawienia zgodnie z zastosowaniem

   Ważna

   Platforma Fabric używa standardowej aprowizacji systemu Spark dla aktywności poza zaplanowanym oknem, co powoduje wolniejszy czas uruchomienia. Klastry nie są utrzymywane w aktywności poza zaplanowanym przedziałem czasowym.

   Aby uzyskać porady dotyczące planowania, zobacz Planowanie najlepszych rozwiązań.

7. Zapisz ustawienia obliczeniowe.

8. Wybierz przycisk Publikuj na górnej wstążce.

Po opublikowaniu pula jest aktywna, a Fabric zaczyna przygotowywanie klastrów przed kolejnym zaplanowanym okresem.

Zrozum okno harmonogramowe

Harmonogram określa przedział czasowy, w którym usługa Fabric utrzymuje klastry w gotowości i może ponownie aktywować klastry, które dezaktywowała. Nie utrzymuje basenu na żywo ciepłym poza skonfigurowanym oknem.

Na przykład rozważmy cykliczny harmonogram, który trwa codziennie od 8:00 do 17:00:

• O 8:00 rozpoczyna się okno harmonogramu dziennego, a Fabric rozpoczyna lub kontynuuje proces hydration.
• Podczas okna harmonogramu bezczynny klaster może zostać dezaktywowany po upływie skonfigurowanego limitu czasu bezczynności. Fabric może nawilżać zamiennik zgodnie z ustalonym interwałem reaktywacji.
• O 17:00 kończy się okno zajęć. Fabric nie kontynuuje nawadniania klastrów między 17:00 a 8:00 następnego dnia.
• Notatnik przesłany poza oknem harmonogramu korzysta ze standardowego systemu Spark i nie otrzymuje korzyści z uruchomienia ciepła na żywo w basenie.
• To samo codzienne zachowanie powtarza się aż do skonfigurowanej daty zakończenia harmonogramu.

Harmonogram rozpoczęcia nie gwarantuje, że klaster jest już dostępny dokładnie w tym czasie. Nawodnienie wymaga czasu, zwłaszcza po aktualizacji środowiska lub gdy Fabric musi uruchomić nowy klaster. Jeśli zaplanowany notatnik ma zostać uruchomiony o 8:00 rano, uruchom harmonogram puli aktywnej 60–90 minut wcześniej. Przed uruchomieniem notebooka użyj Monitoring hub , aby potwierdzić, że liczba dostępnych klastrów jest większa niż zero. Przychodzący notes otrzymuje ciepłą sesję tylko wtedy, gdy dostępny jest kompatybilny nawadniony klaster.

Monitorowanie stanu puli

Aby sprawdzić stan niestandardowej puli na żywo:

1. W portalu Fabric otwórz centrum Monitorowania.

2. Znajdź opublikowane środowisko i wybierz przycisk z trzema kropkami (...), aby otworzyć menu kontekstowe.

3. Wybierz pozycję Wyświetl szczegóły.

   

4. W okienku po prawej stronie rozwiń Stan puli na bieżąco, aby wyświetlić bieżący stan puli.

Stan puli na żywo zawiera szczegółowe informacje, takie jak:

• Stan puli: na przykład Aktywny, Nawilżający, Bezczynny lub Zatrzymany
• Dostępne klastry: liczba klastrów gotowych do sesji notebooka
• Zajęte klastry: liczba klastrów z aktywnie uruchomionymi sesjami
• Następny harmonogram: Nadchodzące okno działania

Najlepsze rozwiązania

Aby jak najlepiej wykorzystać niestandardowe pule na żywo, rozważ następujące najlepsze praktyki dotyczące konfiguracji i zarządzania:

Optymalizowanie pod kątem kosztów i wydajności

• Dopasowanie liczby do zapotrzebowania: ustaw maksymalną liczbę klastrów na podstawie oczekiwanych sesji współbieżnych. Nadmierne przydzielanie zasobów zwiększa koszty.
• Monitorowanie wykorzystania: regularnie przeglądaj metryki puli i dopasowuj liczbę klastrów w razie potrzeby.
• Efektywne zarządzanie harmonogramami: unikaj nakładania się harmonogramów na wiele pul, chyba że jest to konieczne.
• Wykorzystaj limit czasu bezczynności: Ustaw limity czasu bezczynności, aby zachować równowagę między dostępnością zasobów a unikaniem częstych ponownych uruchomień klastra.

Ustalanie rozmiaru klastra

Podczas konfigurowania puli należy wziąć pod uwagę następujące ustawienia i zalecenia:

• Rozmiar klastra: liczba instancji wykonawczych dla sesji notebooków (zakres: 1–16).
• Maksymalna liczba klastrów: maksymalna liczba klastrów do utrzymania nawodnienia. Ustaw na podstawie oczekiwanych sesji współbieżnych.
• Limit czasu bezczynności: jak długo nieużywany klaster pozostaje przydzielony, zanim Fabric zakończy jego działanie.

Zarządzanie zależnościami biblioteki

• Użyj grupowania środowisk: wstępnie zainstaluj wspólne biblioteki w środowisku, a nie instalację na bieżąco.
• Wersjonowanie środowiska: aktualizowanie dołączonego środowiska wymaga ponownego publikowania i odświeżania nawodnionych klastrów.
• Odśwież nawilżone klastry: po zmianie środowiska odśwież pulę lub poczekaj na następny zaplanowany cykl, aby zastosować zmiany.

Dostosowywanie do wzorców obciążeń

• Monitorowanie zachowania zewnętrznego: dostosuj limity czasu bezczynności na podstawie rzeczywistych wzorców użycia.
• Udostępnianie między sesjami: Rozważ udostępnienie tego samego środowiska w różnych pulach, jeśli masz spójne wzorce obciążenia, aby optymalizować wykorzystanie zasobów.

Planowanie najlepszych rozwiązań

• Dostosuj się do wzorców obciążeń: zaplanuj harmonogramy aktywności, gdy zespół uruchamia notatniki interaktywne lub planowane.
• Czas buforowy: Rozpocznij harmonogram 60–90 minut przed pierwszym oczekiwanym uruchomieniem notebooka, aby proces hydracji mógł się zakończyć.
• Sprawdź dostępność: Przed zaplanowanym uruchomieniem wrażliwym na opóźnienia upewnij się, że w aktywnej puli jest dostępny co najmniej jeden klaster w centrum monitorowania.
• Rozważ strefy czasowe: jeśli twój zespół obejmuje wiele stref czasowych, rozszerz harmonogram, aby uwzględnić wymagane zakresy czasu.

Troubleshooting

Rozwiązywanie problemów z niestandardowymi pulami transmisji na żywo obejmuje sprawdzanie statusu puli, stanu środowiska i ustawień harmonogramu, jak opisano w następujących scenariuszach.

Pula zasobów pozostaje niedostępna

Jeśli aktywacja puli nie powiedzie się lub zostanie wyświetlony stan "Niedostępny":

• Sprawdź, czy pojemność infrastruktury sieciowej jest aktywna i obecnie przypisana do obszaru roboczego.
• Sprawdź, czy dołączone środowisko jest w stanie "Gotowe".
• Upewnij się, że dołączone środowisko zostało opublikowane i nie ma żadnych błędów.

Nawodnienie trwa dłużej niż oczekiwano

Jeśli nawodnienie jest wolniejsze niż oczekiwano:

• Sprawdź zależności środowiska i stan kompilacji.
• Sprawdź, czy środowisko jest w stanie "Gotowe".
• Więcej informacji: Śledź szczegóły puli.

Nie można uruchomić sesji lub notatników

Jeśli sesje notebooka nie uruchamiają się nawet przy aktywnej puli:

• Sprawdź, czy sesja używa poprawnego środowiska.
• Sprawdź, czy basen jest w stanie "Dostępne" i w pełni nawodniony.

Ustawienia basenu na żywo nie są dostępne

Jeśli nie możesz utworzyć lub zaktualizować konfiguracji live pool:

• Sprawdź, czy masz rolę Administrator lub Członek w obszarze roboczym.
• Jeśli masz rolę członka , poproś administratora przestrzeni roboczej o włączenie opcji Dostosowywania konfiguracji obliczeniowej dla elementów.
• Sprawdź, czy administrator obszaru roboczego utworzył niestandardową pulę Spark, którą możesz wybrać w środowisku.

Treści powiązane

• Omówienie niestandardowych aktywnych pul
• Konfigurowanie pul startowych
• Tworzenie niestandardowych pul platformy Spark
• Tworzenie i używanie środowiska