Het geïmplementeerde model bewaken
Als u het no-show-model implementeert, wordt het veilig in productie genomen, maar productie is de plek waar het echte gedrag van een model en de gegevens die worden weergegeven, kunnen afwijken van waar het data science-team voor is ontworpen. Met monitoring vang je dat op.
De operationele status van het eindpunt bekijken
Azure Machine Learning online-eindpunten metrische gegevens verzenden naar Azure Monitor, waaronder latentie van aanvragen, aantal aanvragen, foutpercentage en het CPU- en geheugengebruik van de rekenkracht van de implementatie. U bekijkt deze in Azure Machine Learning Studio of bouwt waarschuwingen en dashboards rechtstreeks in Azure Monitor. Als het foutenpercentage van het eindpunt piekt of de latentie toeneemt, wijst dat patroon op een infrastructuurprobleem of een probleem met de scoring dat moet worden onderzocht, los van de vraag of de voorspellingen van het model nog steeds nauwkeurig zijn.
Tip
Meer informatie over het bewaken van online-eindpunten.
Als een implementatie geen aanvragen inricht of scoren, moet u eerst configuratieproblemen scheiden van runtimeproblemen. Test het model lokaal indien mogelijk, controleer de implementatiestatus en foutdetails en inspecteer de containerlogboeken. In de logboeken kunnen ontbrekende afhankelijkheden, ongeldig scoregedrag, afbeeldingsfouten of resource- en quotumbeperkingen worden weergegeven.
Tip
Meer informatie over het oplossen van problemen met online-eindpuntimplementatie en scoren.
Bewaking instellen voor de voorspellingen van het model
Metingen vertellen u dat het endpoint reageert; ze vertellen u niet of de voorspellingen nog steeds standhouden wanneer gegevens uit de praktijk veranderen. Azure Machine Learning biedt hiervoor modelbewaking, maar dit is een mogelijkheid die u configureert. Een implementatie wordt standaard niet gecontroleerd op de voorspellingskwaliteit. Als u deze wilt gebruiken, schakelt u eerst het verzamelen van gegevens in op de onlineimplementatie, zodat binnenkomende aanvragen en antwoorden worden geregistreerd en vervolgens een monitor maken waarmee die productiegegevens worden vergeleken met een referentiegegevensset, meestal de gegevens waarop het model is getraind of gevalideerd.
Een modelmonitor berekent signalen zoals deze volgens een schema dat u definieert:
| Signaal | Wat wordt gedetecteerd |
|---|---|
| Gegevensdrift | De distributie van binnenkomende functies verschuift van de referentiegegevens. |
| Voorspellingsdrift | De verdeling van de uitvoer van het model verschuift in de loop van de tijd. |
| Gegevenskwaliteit | Ontbrekende waarden, nieuwe categorieën of buiten bereikwaarden worden weergegeven in productiegegevens. |
| Drift in kenmerktoewijzing | Het relatieve belang van functies verschuift ten opzichte van training. |
Tip
Meer informatie over het bewaken van de prestaties van modellen die zijn geïmplementeerd in productie.
Bepalen wanneer u wilt onderzoeken of opnieuw trainen
Een bewakingssignaal dat de geconfigureerde drempelwaarde overschrijdt, is een prompt om te onderzoeken, niet een automatische oplossing. Voor het no-showmodel van Proseware kan een waarschuwing voor gegevensdrift over de aanlooptijd van afspraken betekenen dat de kliniek het planningsbeleid heeft gewijzigd, wat een nader overzicht waard is voordat u besluit of hertraining nodig is. Een aanhoudend signaal van voorspellingsdrift, in combinatie met feedback van medewerkers van de kliniek dat gemarkeerde afspraken in werkelijkheid geen hoger risico vormen, is een sterker argument om het model opnieuw te trainen op recentere gegevens en het opnieuw uit te rollen via dezelfde pijplijn die u eerder in deze module hebt geautomatiseerd.
Kiezen tussen terugdraaien en opnieuw trainen
Terugdraaien is geschikt wanneer een probleem begint met een nieuwe implementatie en het vorige model in orde blijft. Verplaats eerst verkeer naar de bewaarde implementatie en onderzoek vervolgens de nieuwe versie. Opnieuw trainen is geschikter wanneer productiegegevens of praktijkgedrag zodanig is gewijzigd dat het vorige model dezelfde beperking zou hebben. De controle geeft bewijs voor de beslissing; het zou geen van beide reacties moeten activeren zonder evaluatie.