Ocenianie błędów w modelach uczenia maszynowego

Jednym z największych wyzwań związanych z bieżącymi praktykami debugowania modelu jest użycie zagregowanych metryk do oceniania modeli w zestawie danych porównawczych. Dokładność modelu może nie być jednolita w podgrupach danych i mogą występować kohorty wejściowe, dla których model częściej kończy się niepowodzeniem. Te błędy prowadzą do braku niezawodności i bezpieczeństwa, pojawienia się problemów z sprawiedliwością i całkowitego utraty zaufania do uczenia maszynowego.

Analiza błędów oddala się od agregowanych metryk dokładności. Uwidacznia dystrybucję błędów deweloperom w przejrzysty sposób i umożliwia im efektywne identyfikowanie i diagnozowanie błędów.

Komponent analizy błędów w pulpicie nawigacyjnym Odpowiedzialnej AI zapewnia praktykom uczenia maszynowego głębsze zrozumienie rozkładu awarii modeli i pomaga szybko identyfikować błędne kohorty danych. Ten składnik identyfikuje kohorty danych z wyższym współczynnikiem błędów w porównaniu z ogólnym współczynnikiem błędów testu porównawczego. Przyczynia się on do etapu identyfikacji przepływu pracy cyklu życia modelu za pomocą następujących elementów:

• Drzewo decyzyjne, które ujawnia kohorty z wysokimi współczynnikami błędów.
• Mapa cieplna, która wizualizuje sposób, w jaki funkcje wejściowe wpływają na szybkość błędów w kohortach.

Rozbieżności w błędach mogą wystąpić, gdy system nie radzi sobie z określonymi grupami demograficznymi lub rzadko obserwowanymi kohortami wejściowymi w danych treningowych.

Możliwości tego składnika pochodzą z pakietu Analiza błędów, który generuje profile błędów modelu.

Użyj analizy błędów, jeśli musisz:

• Zdobądź dogłębne zrozumienie, jak awarie modelu są rozmieszczane w zestawie danych oraz w różnych wymiarach danych wejściowych i cech.
• Podziel zagregowane metryki wydajności, aby automatycznie odnaleźć błędną kohortę, aby można było wykonać ukierunkowane kroki zaradcze.

Drzewo błędów

Wzorce błędów są często złożone i obejmują więcej niż jedną lub dwie funkcje. Możesz mieć trudności z eksploracją wszystkich możliwych kombinacji cech w celu odnalezienia ukrytych kieszeni danych, w których występują krytyczne awarie.

Aby złagodzić obciążenie, wizualizacja drzewa binarnego automatycznie partycjonuje dane porównawcze w podgrupy z możliwością interpretacji, które mają nieoczekiwanie wysokie lub niskie współczynniki błędów. Innymi słowy, drzewo używa funkcji wejściowych, aby maksymalnie oddzielić błąd modelu od powodzenia. Dla każdego węzła definiującego podgrupę danych można zbadać następujące informacje:

• Współczynnik błędów: część wystąpień w węźle, dla którego model jest niepoprawny. Wizualizacja pokazuje tę wartość przez intensywność koloru czerwonego.
• Pokrycie błędów: odsetek wszystkich błędów, które przypadają na węzeł. Wizualizacja przedstawia tę wartość za pośrednictwem współczynnika wypełnienia węzła.
• Reprezentacja danych: liczba wystąpień w każdym węźle drzewa błędów. Wizualizacja pokazuje tę wartość poprzez grubość krawędzi wchodzącej do węzła, a także całkowitą liczbę przypadków w węźle.

Mapa cieplna błędów

Ten widok fragmentuje dane na podstawie jednowymiarowej lub dwuwymiarowej siatki cech wejściowych. Możesz wybrać interesujące cię funkcje wejściowe do analizy.

Mapa cieplna wizualizuje komórki o wysokim błędzie przy użyciu ciemniejszego koloru czerwonego, aby zwrócić uwagę na te regiony. Ta funkcja jest szczególnie przydatna, gdy motywy błędów różnią się między partycjami, co często występuje w praktyce. W tym widoku identyfikacji błędów wiedza lub hipotezy prowadzą analizę i pomagają zrozumieć, które funkcje mogą być najważniejsze dla zrozumienia błędów.

Następne kroki

• Dowiedz się, jak wygenerować pulpit nawigacyjny odpowiedzialnej sztucznej inteligencji za pomocą interfejsu wiersza polecenia i zestawu SDK lub interfejsu użytkownika usługi Azure Machine Learning Studio.
• Zapoznaj się z obsługiwanymi wizualizacjami analizy błędów.
• Dowiedz się, jak wygenerować kartę wyników odpowiedzialnej sztucznej inteligencji na podstawie szczegółowych informacji obserwowanych na pulpicie nawigacyjnym odpowiedzialnej sztucznej inteligencji.