Monitorowanie wdrożonego modelu
Bezpieczne wdrożenie modelu no-show pozwala wprowadzić go do środowiska produkcyjnego, ale to właśnie tam rzeczywiste zachowanie modelu i dane, które do niego trafiają, mogą zacząć odbiegać od tego, co zaprojektował zespół data science. Monitorowanie polega na tym, jak to przechwytywać.
Obserwowanie kondycji operacyjnej punktu końcowego
Punkty końcowe Azure Machine Learning w trybie online wysyłają metryki do Azure Monitor, w tym opóźnienie żądań, liczbę żądań, współczynnik błędów oraz wykorzystanie procesora i pamięci zasobów obliczeniowych wdrożenia. Można je wyświetlić w Azure Machine Learning studio lub tworzyć alerty i pulpity nawigacyjne bezpośrednio w Azure Monitor. Jeśli wskaźnik błędów punktu końcowego gwałtownie rośnie lub zwiększa się opóźnienie, taki wzorzec wskazuje na problem z infrastrukturą lub mechanizmem oceniania, który należy zbadać, niezależnie od tego, czy przewidywania modelu są nadal trafne.
Wskazówka
Dowiedz się więcej o monitorowaniu punktów końcowych online.
Jeśli wdrożenie nie może aprowizować lub oceniać żądań, najpierw oddziel problemy z konfiguracją od problemów ze środowiskiem uruchomieniowym. Przetestuj model lokalnie, jeśli to możliwe, przejrzyj stan wdrożenia i szczegóły błędu oraz sprawdź dzienniki kontenera. Dzienniki mogą ujawniać brakujące zależności, nieprawidłowe działanie mechanizmu oceniania, problemy z obrazami lub ograniczenia dotyczące zasobów i limitów wykorzystania.
Wskazówka
Dowiedz się więcej na temat rozwiązywania problemów z wdrażaniem i ocenianiem punktów końcowych online.
Konfigurowanie monitorowania prognoz modelu
Metryki informują, że punkt końcowy odpowiada; nie mówią jednak, czy jego przewidywania nadal pozostają trafne, gdy dane rzeczywiste się zmieniają. Azure Machine Learning zapewnia monitorowanie modelu, ale jest to możliwość, którą można skonfigurować. Wdrożenie nie jest domyślnie monitorowane pod kątem jakości przewidywania. Aby go użyć, najpierw włącz zbieranie danych we wdrożeniu online, aby żądania przychodzące i odpowiedzi były rejestrowane, a następnie utworzyć monitor porównujący te dane produkcyjne z zestawem danych referencyjnych, zazwyczaj dane, na których model został wytrenowany lub zweryfikowany.
Monitor modelu oblicza sygnały takie jak te zgodnie z zdefiniowanym harmonogramem:
| Sygnał | Co wykrywa |
|---|---|
| Dryf danych | Rozkład cech wejściowych odbiega od rozkładu w danych referencyjnych. |
| Dryf przewidywania | Rozkład danych wyjściowych modelu zmienia się w czasie. |
| Jakość danych | Brakujące wartości, nowe kategorie lub wartości poza zakresem są wyświetlane w danych produkcyjnych. |
| Dryf atrybucji cech | Względne znaczenie cech zmienia się względem etapu trenowania. |
Wskazówka
Dowiedz się więcej o monitorowaniu wydajności modeli wdrożonych w środowisku produkcyjnym.
Zdecyduj, kiedy zbadać lub ponownie wytrenować
Sygnał monitorowania, który przekracza skonfigurowany próg, jest monitem o zbadanie, a nie automatyczną poprawkę. W przypadku modelu firmy Proseware przewidującego niepojawienie się pacjenta na wizycie alert dryfu danych dotyczący czasu wyprzedzenia rezerwacji wizyty może oznaczać, że klinika zmieniła zasady planowania, czemu warto przyjrzeć się bliżej, zanim zdecydujesz, czy konieczne jest ponowne uczenie modelu. Utrzymujący się sygnał dryfu predykcji, w połączeniu z informacją zwrotną od personelu kliniki, że oznaczone wizyty w rzeczywistości nie są obarczone wyższym ryzykiem, stanowi mocniejszą przesłankę do ponownego wytrenowania modelu na nowszych danych i ponownego wdrożenia go za pośrednictwem tego samego pipeline’u, który został wcześniej zautomatyzowany w tym module.
Wybieranie między wycofywaniem i ponownym trenowaniem
Wycofanie wdrożenia jest właściwe, gdy problem pojawia się po nowym wdrożeniu, a poprzedni model nadal działa prawidłowo. Najpierw przenieś ruch do zachowanego wdrożenia, a następnie zbadaj nową wersję. Ponowne trenowanie jest bardziej odpowiednie, gdy dane produkcyjne lub zachowanie w świecie rzeczywistym zmieniły się wystarczająco, aby poprzedni model miał takie samo ograniczenie. Monitorowanie przedstawia dowody na decyzję; nie powinna wyzwalać żadnej odpowiedzi bez oceny.