Övervaka den distribuerade modellen
Att driftsätta no-show-modellen på ett säkert sätt gör att den tas i produktion, men det är i produktion som modellens verkliga beteende, och den data den ser, kan börja avvika från det som datavetenskapsteamet har utformat den för. Det upptäcker du genom övervakning.
Titta på slutpunktens driftshälsa
Azure Machine Learning onlineslutpunkter genererar mått till Azure Monitor, inklusive svarstid för begäran, antal förfrågningar, felfrekvens och processor- och minnesanvändning för distributionens beräkning. Du kan visa dessa i Azure Machine Learning Studio eller skapa aviseringar och instrumentpaneler direkt i Azure Monitor. Om slutpunktens felfrekvens skjuter i höjden eller latensen ökar, tyder det mönstret på ett infrastruktur- eller bedömningsproblem som bör undersökas, oberoende av om modellens förutsägelser fortfarande är korrekta.
Tips/Råd
Läs mer om övervakning av onlineslutpunkter.
Om en distribution inte kan etablera eller poängsätta begäranden separerar du först konfigurationsproblem från körningsproblem. Testa modellen lokalt när det är möjligt, granska distributionstillståndet och felinformationen och granska dess containerloggar. Loggarna kan visa saknade beroenden, ogiltigt bedömningsbeteende, bildfel eller resurs- och kvotbegränsningar.
Tips/Råd
Läs mer om felsökning av distribution och bedömning av onlineslutpunkter.
Konfigurera övervakning för modellens förutsägelser
Mätvärden visar att ändpunkten svarar, men de talar inte om för dig om dess prediktioner fortfarande står sig i takt med att data från verkligheten förändras. Azure Machine Learning tillhandahåller modellövervakning för det, men det är en funktion som du konfigurerar. En distribution övervakas inte för förutsägelsekvalitet som standard. Om du vill använda den aktiverar du först datainsamling på onlinedistributionen så att inkommande begäranden och svar loggas och skapar sedan en övervakare som jämför produktionsdata med en referensdatauppsättning, vanligtvis de data som modellen har tränats eller verifierats på.
En modell övervakar beräkningssignaler som dessa enligt ett schema som du definierar:
| Signal | Vad den identifierar |
|---|---|
| Dataavvikelse | Fördelningen av inkommande funktioner flyttas från referensdata. |
| Förutsägelseavvikelse | Fördelningen av modellens utdata skiftar över tid. |
| Datakvalitet | Saknade värden, nya kategorier eller out-of-range-värden visas i produktionsdata. |
| Funktionsatributionsavvikelse | Funktionernas relativa betydelse skiftar jämfört med träning. |
Tips/Råd
Läs mer om övervakning av prestanda för modeller som distribueras till produktion.
Bestäm när du ska undersöka eller träna om
En övervakningssignal som överskrider det konfigurerade tröskelvärdet är en uppmaning att undersöka, inte en automatisk korrigering. För Prosewares no-show-modell kan en varning om datadrift för bokningsledtid innebära att kliniken har ändrat sin policy för schemaläggning, vilket är värt att undersöka närmare innan du avgör om omträning behövs. En ihållande förutsägelseavvikelsesignal, i kombination med feedback från klinikpersonalen om att flaggade möten faktiskt inte är högre risk, är ett starkare argument för att träna om modellen på nyare data och distribuera den igen via samma pipeline som du automatiserade tidigare i den här modulen.
Välj mellan återställning och omträning
Återställning till en tidigare version är lämplig när ett problem uppstår i samband med en ny driftsättning och den tidigare modellen fortfarande fungerar som den ska. Flytta först trafiken till den kvarvarande driftsättningen och undersök sedan den nya versionen. Omträning är lämpligare när produktionsdata eller verkliga beteenden har ändrats tillräckligt för att den tidigare modellen ska ha samma begränsning. Övervakning ger bevis för beslutet. det bör inte utlösa något av svaren utan utvärdering.