Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Transformacja ograniczająca szybkość ogranicza częstotliwość przekazywania wiadomości w temacie MQTT. Zamiast odrzucać wiadomości na podstawie ich treści, transformacja dławienia odrzuca wiadomości na podstawie momentu, w którym są przetwarzane, przekazując maksymalnie jedną wiadomość dla każdego wzorca tematu w każdym skonfigurowanym przedziale czasu. Stosuj throttling do ochrony systemów downstream przed źródłami generującymi skoki ruchu lub o wysokiej częstotliwości bez zmiany treści wiadomości.
Aby zapoznać się z omówieniem wykresów przepływu danych i sposobem tworzenia przekształceń w potoku, zobacz Omówienie wykresów przepływu danych.
Prerequisites
- Instancja usługi Operacje Azure IoT wdrożona w klastrze Kubernetes. Aby uzyskać więcej informacji, zobacz Deploy Operacje Azure IoT.
- Wdrożenie automatycznie tworzy domyślny punkt końcowy rejestru o nazwie
defaultwskazujący namcr.microsoft.com. Wbudowane przekształcenia używają tego punktu końcowego.
Ograniczenie skalowania dla wykresów stanowych
Ważna
Transformacje okien i ograniczania są stanowe. Każda instancja utrzymuje swój własny stan i instancje nie dzielą tego stanu ze sobą. Gdy liczba instancji profilu przepływu danych jest większa niż jedna, subskrypcje współdzielone rozprowadzają wiadomości między instancjami, tak że każda instancja widzi tylko podzbiór tych komunikatów. Transformacja okna oblicza agregacje takie jak średnie, sumy i liczby na częściowym zbiorze danych, a transformacja throttle egzekwuje skonfigurowany limit szybkości niezależnie w każdej instancji, zamiast w całym potoku.
Ustaw liczbę instancji profilu przepływu danych na 1 dla każdego grafu przepływu danych wykorzystującego transformację Window lub Throttle. Bezstanowe grafy przepływu danych, które wykorzystują jedynie transformacje mapowania, filtrowania, rozgałęzienia i konkatenacji, mogą bezpiecznie wykorzystywać większą liczbę instancji do zwiększenia przepustowości.
Jak działa transformacja przepustnicy
Transformacja przepustzenia ocenia temat każdej nadchodzącej wiadomości względem uporządkowanej listy reguł dla poszczególnych tematów:
- Pierwszy mecz wygrywa. Transform przetwarza reguły po kolei. Pierwsza reguła, której
topicwzorzec odpowiada tematowi wiadomości, decyduje, czy transformacja przekazuje wiadomość. Transformacja nie sprawdza późniejszych reguł, nawet jeśli one również by pasowały. - Niedopasowane tematy przechodzą przez portal. Jeśli żadna reguła nie odpowiada tematowi wiadomości, transformacja przekierowuje wiadomość bez ograniczania częstotliwości.
- Przekierowanie jest oparte na czasie, a nie na liczbie. Dla reguły dopasowanej transformacja przekazuje pierwszą przetworzoną wiadomość, a następnie odrzuca każdą kolejną wiadomość w tym wzorze, aż do upływu skonfigurowanego odstępu czasu (
1000 / maxMessagesPerSecondmilisekundy, zaokrąglone w górę) od ostatniej przekazanej wiadomości. To zachowanie ogranicza maksymalną szybkość, ale nie pozwala na nagłe wzrosty rekompensujące wcześniejsze odrzucenia. - Współdzielony stan dla wzorca, nie dla tematu. Gdy wzorzec reguły
topicużywa dzikiej karty, wszystkie konkretne tematy odpowiadające jej mają ten sam stan przepustnicy w instancji transformacji. Na przykład jednasensors/+reguła ogranicza łączną stawkę dlasensors/temperatureisensors/humidity, a nie każdego osobno. -
0Upuszcza wszystko. Ustawienie opcjimaxMessagesPerSecondna0powoduje usunięcie każdej wiadomości, która pasuje do wzorca tej reguły. - Czas jest oparty na czasie przetwarzania, a nie na treści wiadomości. Transformacja wykorzystuje swój monotoniczny zegar podczas przetwarzania każdej wiadomości. Nie odczytuje pola znacznika czasu z ładunku wiadomości.
Note
Transformacja przepustnicy decyduje tylko o tym, czy przekazać czy odrzucić wiadomość. Nigdy nie modyfikuje treści wiadomości.
Konfiguruj reguły przepustnicze dla poszczególnych tematów
Zdefiniuj reguły throttle w kluczu konfiguracyjnym throttle (nie rules) jako obiekt JSON z tablicą perTopicThrottles .
W konfiguracji transformacji przepustnicy dodaj jedną lub więcej reguł przepustnicy. Dla każdej reguły określ:
| Setting | Opis |
|---|---|
| Topic | Wzorzec tematu MQTT do dopasowania. Obsługuje symbole wieloznaczne + (jednopoziomowy) i # (wielopoziomowy). |
| Maksymalne liczby wiadomości na sekundę | Maksymalna częstotliwość przekazywania dla tematów odpowiadających temu wzorcowi. Ustaw na 0, aby odrzucać każdą pasującą wiadomość. |
Przy tej zasadzie transformacja przekazuje pierwszą sensors/temperature przetworzoną wiadomość, a następnie odrzuca wszelkie kolejne wiadomości na ten temat, które przetworzy w mniej niż 100 milisekund później (1000 / 10). Ta zasada dotyczy wyłącznie sensors/temperature.
Każdy wpis w perTopicThrottles ma następujące właściwości:
| Property | Wymagane | Opis |
|---|---|---|
topic |
Tak | Wzorzec tematu MQTT do dopasowania. Obsługuje symbole wieloznaczne + (jednopoziomowe) i # (wielopoziomowe, tylko na końcu). |
maxMessagesPerSecond |
Tak | Maksymalna szybkość przekazywania dla tematów pasujących do tego wzorca, wyrażona w liczbie wiadomości na sekundę. Transformacja pozwala na wartości ułamkowe. Na przykład pozwala 0.1 na jedną wiadomość co 10 sekund. Musi być zero lub dodatnia, skończona liczba. Ustaw tak, 0 by odrzucała każdą wiadomość odpowiadającą wzorcowi. Czas ma precyzję 1 milisekundę, więc wartości większe niż 1000 mają taką samą efektywną granicę jak 1000. |
Ważna
Każdy schemat w topic musi być unikalny perTopicThrottles. Transformacja odrzuca konfigurację tego samego ciągu wzorców więcej niż raz podczas inicjalizacji.
Używaj wielu reguł dla każdego tematu
Ponieważ transformacja ocenia zasady w kolejności, a pierwsze dopasowanie ma pierwszeństwo, wypisz bardziej szczegółowe wzorce przed bardziej ogólnymi, jeśli chcesz, aby miały własny limit szybkości:
Dodaj dwie zasady, w tej kolejności:
| Order | Temat | Maksymalne liczby wiadomości na sekundę |
|---|---|---|
| 1 | sensors/temperature |
10 |
| 2 | sensors/# |
1 |
Wiadomości na poziomie sensors/temperature odpowiadają pierwszej zasadzie i są ograniczone do 10 wiadomości na sekundę. Wiadomości na sensors/* dowolny inny temat (na przykład sensors/humidity) spełniają drugą regułę i łącznie mają limit 1 wiadomości na sekundę.
Ważna
Kolejność ma znaczenie. Gdyby reguła była wymieniona sensors/# jako pierwsza, pasowałaby również do komunikatów sensors/temperature, a przekształcenie nigdy nie dotarłoby do bardziej precyzyjnej reguły.
Użyj symboli wieloznacznych, aby ograniczać grupy tematów
Wzorzec topic obsługuje te same symbole wieloznaczne co filtry tematów MQTT:
| Symbol wieloznaczny | Dopasowania | Example |
|---|---|---|
+ |
Dokładnie jeden poziom tematu |
sensors/+/status pasuje do sensors/line1/status, ale nie do sensors/line1/sub/status |
# |
Zero lub więcej pozostałych poziomów tematu, i musi być ostatnim segmentem |
sensors/# dopasowywuje sensors, sensors/temperaturei sensors/line1/temperature |
Wszystkie konkretne tematy, które pasują do tej samej reguły z symbolem wieloznacznym, współdzielą jeden stan ograniczania przepustowości.
Dodaj regułę z tematem sensors/+ i maksymalną liczbą wiadomości na sekundę 1.
Przy tej regule wiadomość na sensors/temperature i wiadomość na sensors/humidity, przetworzone w odstępie 500 milisekund, nie są obie przekazywane dalej — druga zostaje odrzucona, ponieważ wlicza się do tego samego współdzielonego 1-sekundowego interwału co pierwsza, niezależnie od tego, którego konkretnego tematu dotyczy.
Note
Sam wzorzec # dopasowuje się do wszystkich tematów i stosuje pojedyncze, wspólne ograniczenie szybkości w obrębie każdej instancji transformacji.
Usuń wszystkie wiadomości dotyczące tematu
Ustaw maxMessagesPerSecond tak, 0 aby usuwała każdą wiadomość odpowiadającą wzorcowi, bez usuwania reguły czy tematu z pipeline:
Dodaj regułę z tematem debug/# i maksymalną liczbą wiadomości na sekundę 0.
Wdrożenie grafu przepływu danych z przepustnicą
Aby zastosować ograniczanie od początku do końca, wdroż graf przepływu danych, który łączy źródło, transformację ograniczania oraz cel docelowy. Używaj narzędzia, które odpowiada twojemu workflow.
W doświadczeniu operacyjnym stwórz wykres przepływu danych z transformacją przepustnicy:
- Dodaj źródło , które odczytuje z tematu MQTT.
- Dodaj transformację przepustnicy . Dodaj jedną lub więcej reguł dla każdego tematu, ułożonych od najbardziej do najmniej szczegółowych.
- Dodaj miejsce docelowe, które przekierowuje do tematu docelowego.
Przykład: przekazuj maksymalnie dwie wiadomości na sekundę
Ten przykład zmniejsza strumień 10 wiadomości na sekundę do maksymalnie 2 wiadomości na sekundę. Przekazywane wiadomości zachowują oryginalną treść; nadmiar wiadomości jest usuwany. Używaj go, gdy możesz odrzucić wyniki pośrednie.
Wypełnij wymagania wstępne wspólne dla przykładu, w tym default profil i factory-mqtt punkt końcowy MQTT w azure-iot-operations przestrzeni nazw. Utrzymuj profil na jednej instancji dla określonego limitu; każda instancja utrzymuje swój własny stan ograniczania.
W obszarze Operacje stwórz wykres przepływu danych o nazwie rate-limit-telemetry na profilu default:
- Dodaj źródło o nazwie
sourcez punktem końcowymfactory-mqtti topicfactory/readings. - Dodaj wbudowaną transformację throttle o nazwie
throttle. Dodaj jedną regułę dla tematufactory/readingsz parametrem Maks. liczba wiadomości na sekundę ustawionym na2. - Dodaj miejsce docelowe o nazwie
destinationz punktem końcowymfactory-mqtti tematemfactory/rate-limited. - Połącz
sourcezthrottle, a następniethrottlezdestination. Zapisz i włącz wykres.
Ogranicznik przekazuje wiadomości bez zmian w odstępach co najmniej 500 milisekund i odrzuca nadmiar wiadomości. Nie buforuje wiadomości ani nie wybiera najnowszej wartości.
Sprawdzanie danych wyjściowych
Dla nowej instancji transformacji przetwarzaj te dziesięć wiadomości na factory/readings w odstępach 100 milisekund. Czasy są liczone względem przetworzenia pierwszej wiadomości. Transform wykorzystuje monotoniczny zegar przetwarzania; znaczniki czasowe wydawcy i czasy dostawy są oddzielne.
Wejście na factory/readings |
Czas przetwarzania | Wyjście na factory/rate-limited |
|---|---|---|
{"messageId":"reading-001","temperature":20} |
0 ms | Ten sam payload |
{"messageId":"reading-002","temperature":21} |
100 ms | Dropped |
{"messageId":"reading-003","temperature":22} |
200 ms | Dropped |
{"messageId":"reading-004","temperature":23} |
300 ms | Dropped |
{"messageId":"reading-005","temperature":24} |
400 ms | Dropped |
{"messageId":"reading-006","temperature":25} |
500 ms | Ten sam payload |
{"messageId":"reading-007","temperature":26} |
600 ms | Dropped |
{"messageId":"reading-008","temperature":27} |
700 ms | Dropped |
{"messageId":"reading-009","temperature":28} |
800 ms | Dropped |
{"messageId":"reading-010","temperature":29} |
900 ms | Dropped |
Oczekiwane dwie wiadomości wyjściowe to:
{"messageId":"reading-001","temperature":20}
{"messageId":"reading-006","temperature":25}
Ograniczanie natychmiast odrzuca nadmiarowe odczyty. Buforowanie, kolejkowanie, wybór najnowszych wartości oraz wygładzanie wymagają oddzielnego przetwarzania. Używaj trwałego buforowania i kontrolowanego przez aplikację mechanizmu backpressure dla alarmów, poleceń lub zdarzeń audytowych, które wymagają zachowania każdego zdarzenia.
Aby poznać ograniczenia dotyczące stanu i skalowania, zobacz Ograniczenia.
Ograniczenia
- Nie modyfikuje wiadomości. Transformacja ograniczająca tylko przekazuje dalej lub odrzuca komunikaty; nie zmienia treści komunikatów.
- Pierwszy mecz wygrywa. Transformacja stosuje tylko pierwszą regułę, której wzorzec
topicpasuje do tematu wiadomości. Wypisz bardziej szczegółowe wzorce przed bardziej ogólnymi. - Współdzielony stan według wzoru. Reguła z symbolem wieloznacznym współdzieli swój limit szybkości między wszystkimi konkretnymi topikami, którym odpowiada. Nie ma osobnego limitu dla każdego tematu.
- Brak tolerancji chwilowych skoków przepustowości. Transformacja wymusza minimalny czas między przekazywanymi wiadomościami według dopasowanego wzorca. Nie gromadzi niewykorzystanej pojemności z wcześniejszych, wolniejszych okresów.
- Precyzja milisekundowa. Minimalny odstęp przepustzenia wynosi 1 milisekundę, więc wartości wyższe niż
1000dlamaxMessagesPerSecondnie zwiększają efektywnej prędkości przekazywania powyżej 1000 wiadomości na sekundę. - Czas jest oparty na czasie przetwarzania, a nie na treści wiadomości. Transformacja wykorzystuje czas przetwarzania każdej wiadomości, a nie czas jej otrzymania przez brokera ani pole znacznika czasu w ładunku.
- Stan jest lokalny i przechowywany w pamięci. Każda instancja profilu przepływu danych utrzymuje własny stan przepustnicy. Ponowne uruchomienie lub rekonfiguracja transformacji resetuje ten stan. Jeśli profil ma wiele instancji, każda instancja wymusza konfigurowaną szybkość niezależnie.
- Duplikaty wzorców tematów nie są dozwolone. Skonfigurowanie tego samego ciągu
topicwięcej niż raz wperTopicThrottlespowoduje błąd, gdy transformacja jest inicjalizowana.