Limity prędkości współbieżności i API dla pul Apache Spark w Azure Synapse Analytics

W poniższych sekcjach wymieniono różne limity liczbowe dla pul i API Spark do zarządzania zadaniami w Azure Synapse Analytics.

Limity zasobów

Poniższa tabela pokazuje maksymalne limity zadań i rdzeni dla poszczególnych przestrzeni roboczych oraz pul Spark.

Ważna

Ograniczenia określone dla pul Spark są niezależne od ich rozmiarów węzłów, konfiguracji vCore i pamięci i obowiązują we wszystkich utworzonych instancjach puli Spark niezależnie od użytkownika, chyba że zaznaczono inaczej.

Resource Metric Limit Scope Regions Notatki
Jobs Działanie jednocześnie 50 Basen Iskrowy Wszystko Limit obowiązuje dla wszystkich użytkowników definicji Spark Pool. Na przykład, jeśli dwóch użytkowników zgłasza zadania do tej samej puli Spark, to łączna liczba zadań działających dla tych dwóch użytkowników nie może przekroczyć 50.
Jobs W kolejce 200 Basen Iskrowy Wszystko Limit obowiązuje dla wszystkich użytkowników definicji Spark Pool.
Jobs Maksymalna liczba aktywnych stanowisk 250 Basen Iskrowy Wszystko Limit obowiązuje dla wszystkich użytkowników definicji Spark Pool.
Jobs Maksymalna liczba aktywnych stanowisk 1000 Workspace Wszystko
Rdzenie Limit rdzeni na użytkownika Na podstawie definicji puli Basen Iskrowy Wszystko Na przykład, jeśli pula Spark jest zdefiniowana jako pula 50-rdzeniowa, każdy użytkownik może użyć do 50 rdzeni w ramach konkretnej puli Spark, ponieważ każdy użytkownik otrzymuje własną instancję puli.
Rdzenie Limit rdzeni dla wszystkich użytkowników Na podstawie definicji przestrzeni roboczej Workspace Wszystko Na przykład, jeśli przestrzeń robocza ma limit 200 rdzeni, to wszyscy użytkownicy we wszystkich pulach w obrębie przestrzeni roboczej nie mogą użyć więcej niż 200 rdzeni łącznie.
Livy Maksymalny rozmiar ładunku dla żądania Livy 100kBajtów Livy Wszystko

Note

  • Maksymalna liczba aktywnych stanowisk to łączna liczba zgłoszonych zadań, która obejmuje zarówno Jobs Running Simultaneously oboje, jak i Jobs Queued, tzn. Max Active Jobs = Jobs Running Simultaneously + Jobs Queued

Limity szybkości interfejsu API

Poniższa tabela pokazuje limity ograniczania dla API zarządzania zadaniami iskrowymi i sesjami.

Resource Metric Limit (zapytania na sekundę) Scope Regions
Interfejs API zadań Uzyskiwanie sesji platformy Spark 200 Sesja platformy Spark Wszystko
Interfejs API zadań Uzyskiwanie sesji platformy Spark 200 Basen Iskrowy Wszystko
Interfejs API zadań Get Spark, instrukcja 200 Sesja platformy Spark Wszystko
Interfejs API zadań Uzyskaj wiele instrukcji Spark 200 Sesja platformy Spark Wszystko
Interfejs API zadań Utwórz sesję 2 Workspace EastUS, EastUS2, WestUS, WestUS2, CentralUS, EastUS2EUAP, Europa Zachodnia
Interfejs API zadań Utwórz sesję 2 Workspace Wszystkie inne regiony
Interfejs API zadań Utwórz zadanie wsadowe 2 Workspace Wszystko
Interfejs API zadań Pobieranie zadania usługi Spark Batch 200 Workspace Wszystko
Interfejs API zadań Pobierz zadanie z wieloma iskrami wsadowymi 200 Workspace Wszystko

Note

Maksymalny limit żądań dla wszystkich zasobów i operacji wynosi 200 zapytań na sekundę dla wszystkich regionów.

Wskazówka

Jeśli pojawi się komunikat o błędzie lub odpowiedź HTTP 429, która brzmi

Your request has hit layered throttling rate-limit of 200 requests per 1 second(s) for requests on resource(s) identified by pattern {subscriptionId}. {workspaceName}. {HTTP-Verb}. {operationName} - You are currently hitting at a rate of 282 requests per 1 second(s). Please retry after 1 second(s)

lub

Your request has hit layered throttling rate-limit of 2 requests per 1 second(s) for requests on resource(s) identified by {subscriptionId}. {workspaceName}. {HTTP-Verb}. {operationName} - You are currently hitting at a rate of 24 requests per 1 second(s). Please retry after 1 second(s)

Użytkownik powinien użyć wartości okresu czasu podanej w nagłówku odpowiedzi HTTP "Retry-After", aby poczekać na ten przedział czasu podczas wykonywania prób.W scenariuszach o dużym natężeniu ruchu użycie losowego, stałego lub wykładniczego odstępu czasu na ponowne próby nadal skutkowałoby niepowodzeniami HTTP 429 i dużą liczbą powtórzeń, co wydłużało całkowity czas potrzebny na zaakceptowanie żądań przez usługę.

Zamiast tego, korzystając z usługi świadczonej Retry-After wartości, użytkownicy doświadczyliby wyższego wskaźnika sukcesu w zgłoszeniach zadań, ponieważ wartość w sekundach jest obliczana na podstawie ruchu punktowego w czasie, aby zoptymalizować liczbę powtórek i czas potrzebny na zaakceptowanie żądań klienta przez serwer

Następne kroki