Kolejkowanie zadań na platformie Apache Spark dla Microsoft Fabric

Dotyczy:✅ Inżynieria danych sieci szkieletowej i nauka o danych

Microsoft Fabric obsługuje kolejkowanie zadań platformy Spark w tle, gdy pojemność osiągnie limity obliczeniowe. Zadania w kolejce są automatycznie ponawiane aż do ich rozpoczęcia lub wygaśnięcia.

Kiedy pojemność jest wystarczająca, zadania są uruchamiane natychmiast. Gdy pojemność jest w pełni używana, zachowanie zależy od typu zadania i uprawnień do kolejki.

Aby dowiedzieć się więcej o limitach współbieżności, zobacz Limity współbiegu i kolejki w Apache Spark for Fabric.

Co trafia do kolejki

Kolejkowanie jest obsługiwane w następujących celach:

  • Zadania notatnika wyzwalane przez potoki.
  • Zadania notebooka wyzwalane przez planistę.
  • Definicja zadań Spark uruchamiana jest wyzwalana przez potoki lub planistę.

Kolejkowanie nie jest obsługiwane w następujących celach:

  • Zadania notebooku interaktywnego.
  • Zadania notebooków wywoływane przez publiczne API notebooków.

Kolejka używa porządku pierwszy na wejściu, pierwszy na wyjściu (FIFO).

Uwaga

Nie obsługuje się kolejkowania, gdy pojemność Fabric jest ograniczona. Nowe przesłane zadania są odrzucane.

Jak działa kolejkowanie zadań

Jeśli przesłane zadanie kwalifikuje się do kolejki, a pojemność Fabric jest na maksymalnym poziomie wykorzystania zasobów obliczeniowych, zadanie zostanie dodane do kolejki FIFO.

W przypadku kolejkowania notatnika za pośrednictwem wyzwalacza potoku należy skonfigurować potok Data Factory z aktywnością notatnika. Aby dowiedzieć się, jak skonfigurować, zobacz Szybki start: tworzenie pierwszego pipeline'u w celu skopiowania danych i aktywność notesu.

Wykonaj następujące kroki, aby utworzyć kolejkę notesu z potoku:

  1. Utwórz nowy element Pipeline i dodaj czynność Notatnik, aby uruchomić notatnik.

  2. Wybierz czynność Notebook, otwórz kartę Ustawienia, wybierz notes, który chcesz umieścić w kolejce, a następnie uruchom pipeline.

    Zrzut ekranu przedstawiający sposób uruchamiania notesu z potoku.

  3. Zadanie przechodzi do kolejki FIFO. W centrum monitorowania zadanie jest wyświetlane jako Nie rozpoczęte, gdy czeka na dostępność zasobów.

  4. Gdy uruchomione zadania zostaną ukończone i zasoby zostaną zwolnione, zadania w kolejce zostaną uruchomione. Po rozpoczęciu wykonywania stan zmieni się z Nie rozpoczęto na W toku.

Uwaga

Wpisy kolejki wygasają 24 godziny po przyjęciu do kolejki. Wygasłe zadania muszą zostać ponownie złożone.

Rozmiary kolejek

Fabric Spark wymusza limity kolejek według SKU pojemności.

Jednostka SKU pojemności fabryki sieci Równoważna jednostka SKU Power BI Limit kolejki
F2 - 4
F4 - 4
F8 - 8
F16 - 16
F32 - 32
F64 P1 64
F128 P2 128
F256 P3 256
F512 P4 512
F1024 - 1024
F2048 - 2048
F4096 - 4096
F8192 - 8192
Pojemność wersji próbnej P1 Niedostępne

Uwaga

Kolejkowanie nie jest obsługiwane w przypadku wersji próbnych Fabric. Aby użyć kolejkowania, przejdź do płatnego SKU Fabric F lub P.

Gdy pojemność osiągnie limit kolejki, nowe przesyłki są odrzucane kodem TooManyRequestsForCapacity (HTTP 430). Aby kontynuować, anuluj aktywne zadania platformy Spark, wybierz opcję SKU o większej pojemności lub prześlij ponownie później.