Überwachen des bereitgestellten Modells
Durch die sichere Bereitstellung des No-Show-Modells wird es in die Produktion aufgenommen, aber die Produktion ist der Ort, an dem das reale Verhalten eines Modells und die darin angezeigten Daten von dem, wofür das Data Science-Team entwickelt hat, abwehen können. Die Überwachung ist, wie Sie dies abfangen.
Überwachen Sie den Betriebsstatus des Endpunkts
Azure Machine Learning Online-Endpunkte geben Metriken an Azure Monitor aus, darunter Anforderungslatenz, die Anzahl der Anforderungen, die Fehlerrate sowie die CPU- und Arbeitsspeicherauslastung der Compute-Ressourcen der Bereitstellung. Sie zeigen diese in Azure Machine Learning Studio an, oder erstellen Sie Benachrichtigungen und Dashboards direkt in Azure Monitor. Wenn die Fehlerrate eines Endpunkts sprunghaft ansteigt oder die Latenz zunimmt, deutet dieses Muster auf ein Infrastruktur- oder Scoring-Problem hin, das separat untersucht werden sollte – unabhängig davon, ob die Vorhersagen des Modells weiterhin korrekt sind.
Tip
Erfahren Sie mehr über die Überwachung von Onlineendpunkten.
Wenn eine Bereitstellung Anfragen nicht bereitstellen oder bewerten kann, trennen Sie zunächst Konfigurationsprobleme von Laufzeitproblemen. Testen Sie das Modell nach Möglichkeit lokal, überprüfen Sie den Bereitstellungsstatus und fehlerdetails, und überprüfen Sie die Containerprotokolle. Die Protokolle können fehlende Abhängigkeiten, ungültiges Bewertungsverhalten, Bildfehler oder Ressourcen- und Kontingenteinschränkungen anzeigen.
Tip
Erfahren Sie mehr über die Problembehandlung bei der Bereitstellung und Bewertung von Onlineendpunkten.
Einrichten der Überwachung für die Vorhersagen des Modells
Metriken zeigen Ihnen, dass der Endpoint reagiert; sie sagen Ihnen jedoch nicht, ob seine Vorhersagen auch dann noch standhalten, wenn sich die Daten aus der realen Welt ändern. Azure Machine Learning bietet dafür eine Modellüberwachung, aber es ist eine Funktion, die Sie konfigurieren. Eine Bereitstellung wird standardmäßig nicht hinsichtlich der Vorhersagequalität überwacht. Um sie zu verwenden, aktivieren Sie zunächst die Datensammlung in der Onlinebereitstellung, sodass eingehende Anforderungen und Antworten protokolliert werden, und erstellen Sie dann einen Monitor, der diese Produktionsdaten mit einem Referenzdatenset vergleicht, in der Regel die Daten, auf denen das Modell trainiert oder überprüft wurde.
Ein Modellmonitor berechnet Signale wie diese in einem von Ihnen definierten Zeitplan:
| Signal | Was erkannt wird |
|---|---|
| Datendrift | Die Verteilung der eingehenden Features weicht von den Referenzdaten ab. |
| Vorhersagedrift | Die Verteilung der Ausgaben des Modells verschiebt sich im Laufe der Zeit. |
| Datenqualität | Fehlende Werte, neue Kategorien oder Out-of-Range-Werte werden in Produktionsdaten angezeigt. |
| Featurezuordnungsabweichung | Die relative Bedeutung von Features verschiebt sich im Vergleich zu Schulungen. |
Tip
Erfahren Sie mehr über die Überwachung der Leistung von Modellen, die in der Produktion bereitgestellt werden.
Entscheiden Sie, wann eine Untersuchung durchgeführt oder erneut trainiert werden soll
Ein Überwachungssignal, das seinen konfigurierten Schwellenwert überschreitet, ist eine Aufforderung zur Untersuchung, keine automatische Behebung. Bei Prosewares No-Show-Modell könnte eine Datenabweichungswarnung für die Terminvorlaufzeit bedeuten, dass die Klinik ihre Terminplanungsrichtlinie geändert hat, was einen genaueren Blick wert ist, bevor Sie entscheiden, ob eine Umschulung erforderlich ist. Ein Signal für anhaltenden Prediction Drift, gepaart mit Rückmeldungen von Klinikmitarbeitern, dass gekennzeichnete Termine in Wirklichkeit kein höheres Risiko aufweisen, spricht eher dafür, das Modell mit aktuelleren Daten neu zu trainieren und es über dieselbe Pipeline erneut bereitzustellen, die Sie zuvor in diesem Modul automatisiert haben.
Wählen Sie zwischen Rollback und Umschulung
Ein Rollback ist geeignet, wenn ein Problem mit einer neuen Bereitstellung beginnt und das vorherige Modell fehlerfrei bleibt. Verschieben Sie zuerst den Datenverkehr in die beibehaltene Bereitstellung, und untersuchen Sie dann die neue Version. Die Umschulung ist besser geeignet, wenn Produktionsdaten oder reales Verhalten so geändert wurden, dass das vorherige Modell dieselbe Einschränkung hätte. Die Überwachung liefert Nachweise für die Entscheidung; sie sollte keine Antwort ohne Auswertung auslösen.