Dostarczaj zatwierdzone aktualizacje modeli za pośrednictwem MQTT

Wyślij nowe, zatwierdzone współczynniki do uruchomionego predyktora przez MQTT. Predyktor wykorzystuje je do kolejnych odczytów. Samo otrzymanie aktualizacji nie daje prognozy.

Ten przykład zaczyna się od zatwierdzonego modelu z Twojej aplikacji, zwanego nadzorcą. Niestandardowy predyktor przechowuje swoje współczynniki w pamięci.

Jak działa pętla sprzężenia zwrotnego

Schemat dostarczania zatwierdzonego modelu na dwóch wykresach. Wbudowane filtry i transformacje map publikują zatwierdzony model na factory/model-updates. Niestandardowy moduł predykcyjny aktywuje go, a następnie wykorzystuje do późniejszych pomiarów. Tylko prognozy docierają do factory/predictions-from-updates.

Dwa zasoby kierują zatwierdzone modele DataflowGraph i generują prognozy. Odczyt używa v8 po aktywacji go przez tę instancję predyktora.

  1. Zatwierdź zewnętrznie. Przełożony publikuje zatwierdzoną obwiednię w dniu factory/approved-envelopes.
  2. Publikuj ponownie z wbudowanymi transformacjami. republish-approved-modelFiltruje według zatwierdzenia, wyodrębnia approvedModel i zmienia temat docelowy na factory/model-updates.
  3. Aktywuj, a potem przewiduj. predict-from-approved-updates dostarcza aktualizacje oraz factory/readings do predyktora stworzonego przez klienta. Aktualizacja zmienia model bez przewidywania; późniejszy odczyt daje prognozę na factory/predictions-from-updates. Potwierdzenia odbioru aktualizacji są tłumione.

Odwzorowanie ustawia $metadata.topic na "model-updates"; element docelowy rozwiązuje factory/${outputTopic} do factory/model-updates. Stały dataDestination: factory/model-updates też działa.

W opcjonalnym kolejnym cyklu zewnętrzna aplikacja dopasowuje prognozy do zmierzonych wag,dopasowuje model i przegląda kandydata, a następnie przesyła go do przełożonego w dniu factory/model-proposals. W przypadku dostarczania do magazynu stanu należy zapisać zatwierdzone współczynniki i odczytać je na potrzeby predykcji.

Prerequisites

Ukończ wspólne przykładowe wymagania wstępne, w tym default profil i factory-mqtt punkt końcowy. Używaj YAML do debugowania oraz Azure CLI lub Bicep do zarządzania środowiskiem produkcyjnym.

Używaj istniejącego default endpointu rejestru do wbudowanych transformacji oraz factory-artifacts do niestandardowego artefaktu. Przed wdrożeniem tych wykresów wykonaj konfigurację współdzielonego profilu pojedynczej instancji, aby odczyty i aktualizacje docierały do tej samej instancji predyktora. Karty wdrożenia nie tworzą ani nie zmieniają profili ani endpointów rejestru.

Dla wdrożeń CLI ustaw AIO_INSTANCE_NAME i RESOURCE_GROUP na istniejącą instancję i grupę zasobów. W przypadku wdrożeń Bicep można również ustawić CUSTOM_LOCATION_NAME na istniejącą lokalizację niestandardową instancji.

Konfiguruj wykresy opinii

Te tematy łączą graf supervisora, graf ponownego publikowania oraz graf predykcji:

Temat Wydawca → konsument Purpose
factory/readings Czujniki → wykres predykcji Prognozy wyzwolenia
factory/approved-envelopes Supervisor → ponowne opublikowanie wykresu Zatwierdzony model i informacje o przeglądzie
factory/model-updates Ponowne opublikowanie wykresu → wykres predykcji Wyodrębniony, zatwierdzony ładunek danych modelu
factory/predictions-from-updates Graf predykcyjny → korelator końcowy Prognozy, nie aktualizacje modeli

Przełożony publikuje tę kopertę syntetyczną po zatwierdzeniu zgodnie z polityką Twojej aplikacji. Autoryzacja brokera musi ograniczać publikację na factory/model-updates i factory/approved-envelopes do zaufanych redaktorów; zatwierdzenie zależy zarówno od tego zaufania, jak i od pola approved: true.

Przykład wybiera wiadomości przez kind, a nie według tematu. Tylko zaufani wydawcy mogą publikować do jednego z dwóch tematów wejściowych predyktora, w tym factory/readings. Dla niezaufanych wydawców sensorów należy zweryfikować topic i rodzaj wiadomości przed predyktorem.

Wdróż oba wykresy, korzystając z zakładek wdrożeń w kolejnej sekcji. Subskrybuj factory/predictions-from-updates, a następnie publikuj tę kopertę do factory/approved-envelopes. Sprawdź diagnostykę predyktorów pod kątem aktywacji przed publikacją przykładowego odczytu. Użyj ustawień uwierzytelniania i TLS swojego brokera.

{
  "approval": {"approved": true, "reviewId": "review-42"},
  "approvedModel": {
    "kind": "model",
    "assetId": "line-1",
    "updateId": "update-42",
    "expectedModelVersion": 7,
    "modelVersion": 8,
    "speedCoefficient": 2,
    "temperatureCoefficient": 0.5,
    "intercept": 173
  }
}

Ponowna publikacja wykresu:

  1. W doświadczeniu operacyjnym otwórz swoją instancję i wybierz wykres przepływu danych>Utwórz wykres przepływu danych.

  2. Nadaj nazwę wykresowi republish-approved-model i wybierz profil default.

  3. Dodaj źródło source z endpointem factory-mqtt i tematem factory/approved-envelopes.

  4. Dodaj transformację filtra approved-only, używając azureiotoperations/graph-dataflow-filter:1.1.0 z punktu końcowego rejestru default. Ustaw wejście approval.approved ?? false i wyrażenie $1 != true. Ta zasada odrzuca niezatwierdzone koperty.

  5. Dodaj transformację mapy extract-and-route, używając azureiotoperations/graph-dataflow-map:1.0.0 z punktu końcowego rejestru default. Konfiguruj te reguły po kolei:

    Input Output Expression
    approvedModel.kind kind Pozostaw pole puste
    approvedModel.assetId assetId Pozostaw pole puste
    approvedModel.updateId updateId Pozostaw pole puste
    approvedModel.expectedModelVersion expectedModelVersion Pozostaw pole puste
    approvedModel.modelVersion modelVersion Pozostaw pole puste
    approvedModel.speedCoefficient speedCoefficient Pozostaw pole puste
    approvedModel.temperatureCoefficient temperatureCoefficient Pozostaw pole puste
    approvedModel.intercept intercept Pozostaw pole puste
    approvedModel.assetId $metadata.topic "model-updates"
  6. Dodaj element docelowy destination z endpointem factory-mqtt i tematem factory/${outputTopic}.

  7. Połącz source → approved-only → extract-and-route → destination i wybierz Zapisz.

Graf publikuje wyodrębniony model poniżej na factory/model-updates. Koperta z fałszywym lub brakującym zatwierdzeniem nie generuje żadnego wyjścia.

{"kind":"model","assetId":"line-1","updateId":"update-42","expectedModelVersion":7,"modelVersion":8,"speedCoefficient":2,"temperatureCoefficient":0.5,"intercept":173}

W przypadku dynamicznego kierowania tematów należy utrzymywać miejsca docelowe w obrębie zatwierdzonego przez operatora zestawu.

Graf predykcji: użyj niestandardowej próbki graph-versioned-predictor z endpointu rejestru factory-artifacts dla ghcr.io, jak opisano w wymaganiach wstępnych przykładu. Próbka uruchamia zasób line-1 z modelem v7 i współczynnikami 2, 0.5 oraz 175, gotowy do przyjęcia zatwierdzonej wiadomości v8.

Ten przykład wykorzystuje niestandardowy artefakt z ghcr.io. Środowisko operacji obsługuje niestandardowe artefakty z Azure Container Registry (ACR), a nie z GHCR. Użyj zakładki Azure CLI lub Bicep, aby wdrożyć ten przykład bez zmian, włącznie z filtrem po niestandardowym predyktorze.

Aby poznać obsługiwany workflow interfejsu użytkownika z niestandardowymi artefaktami, zobacz Korzystanie z transformacji WASM. Obszar Operations generuje połączenia z wybranego artefaktu; nie obsługuje edytowania tych połączeń. Ponowne opublikowanie predyktora wyłącznie do ACR nie tworzy pełnego pipeline'u predyktora i filtra tego przypadku.

Odczyt do publikacji po aktywacji v8:

{"kind":"reading","assetId":"line-1","pieceId":"part-44","speed":10,"temperature":20}

Dane wyjściowe na factory/predictions-from-updates:

{"kind":"prediction","assetId":"line-1","pieceId":"part-44","modelVersion":8,"speed":10,"temperature":20,"speedCoefficient":2,"temperatureCoefficient":0.5,"intercept":173,"predictedWeight":203}

Predyktor próbek utrzymuje w pamięci ograniczony stan dla każdego zasobu oraz sprawdzenia oczekiwanej wersji. Jego graf tłumi wewnętrzne potwierdzenia aktualizacji modelu; dodatkowy filtr wyłącznie predykcyjny powyżej chroni również cel. Dla zasobu z brakującym modelem początkowym rejestruje diagnostykę i pomija predykcję. Uruchom jedną instancję przetwarzania dla tego dema, aby odczyty i aktualizacje miały ten sam stan. Domyślnie każdy zasób może akceptować 512 aktualizacji; po osiągnięciu limitu skoordynuj ponowne uruchomienie z najnowszym zatwierdzonym modelem zamiast odrzucać historię aktualizacji.

Zewnętrzny przełożony posiada trwałe zatwierdzenia, aktualizacje ID oraz odzyskiwanie. Przed dopuszczeniem odczytów po wznowieniu, ustaw konfigurację wykresu settings na kompletny obiekt JSON zawierający "role":"versioned-predictor" i ostatni zatwierdzony initialModels. Alternatywnie, wstrzymaj odczyty podczas odtwarzania zatwierdzonych aktualizacji w kolejności wersji, począwszy od znanego modelu początkowego. Ponowne użycie domyślnej wersji demonstracyjnej przywróciłoby wersję 7.

Zapobieganie temu, by aktualizacje stały się nowymi wyzwalaczami

Traktuj zatwierdzoną aktualizację modelu jako zmianę stanu:

Wejście do niestandardowego predyktora Zmiana stanu Wynik predykcji
Odczyt przy użyciu prawidłowego aktywnego modelu Żaden Jedna prognoza z jej wersją modelu
Zatwierdzono aktualizację do następnej wersji zgodną z oczekiwaną wersją Zamień współczynniki dla danego składnika aktywów Żaden
Zduplikowana lub starsza aktualizacja modelu Brak; zapisz powód Żaden

Aktualizacje muszą przechodzić o dokładnie jedną wersję naprzód: ten przykład akceptuje wersję 8 tylko wtedy, gdy wersja 7 jest aktywna. Brakujące wersje lub sprzeczne ponowne użycie ID aktualizacji pozostawiają stan bez zmian. Sprawdź diagnostykę predyktora i emitowane modelVersion; samo skuteczne dostarczenie MQTT nie potwierdza aktywacji.

Aplikacja musi ograniczać częstotliwość aktualizacji, odrzucać przestarzałe obserwacje i deduplikować propozycje. Używaj dopasowanych obserwacji jako próbek treningowych; przechowuj potwierdzenia odbioru i zapisy w magazynie stanu na osobnych ścieżkach.

Utrzymuj połączenia grafowe acykliczne oraz tematy źródłowe i docelowe na tym samym punkcie końcowym MQTT jako rozłączne. Zobacz zasady nazewnictwa i ograniczenia.