Rewolucjonizowanie kontroli pojazdów za pomocą aplikacji EVVIE

Enterprise Visual Vehicle Inspection Engine (EVVIE) używa sztucznej inteligencji i Microsoft Power Platform do rewolucji procesu kontroli pojazdów. Automatyzując inspekcje, EVVIE oszczędza czas i zwiększa dokładność, co czyni go nieocenionym narzędziem dla organizacji zarządzających dużymi flotami pojazdów. Ten artykuł zawiera przegląd architektury, przepływu pracy i kluczowych składników EVVIE, oferując wgląd w to, w jaki sposób to innowacyjne rozwiązanie może usprawnić inspekcje i konserwację pojazdów.

Aby zapoznać się z prezentacją i uzyskać więcej informacji na temat EVVIE, odwiedź aka.ms/EVVIE.

Wykres architektury

Workflow

EVVIE używa unikatowej mieszanki platformy Power Platform i Microsoft Azure zasobów w celu zautomatyzowania procesu inspekcji pojazdów przy użyciu zaawansowanych modeli sztucznej inteligencji. Ogólnie rzecz biorąc, wewnętrzny proces EVVIE wygląda następująco:

1. Aplikacja kanwy Power Apps służy jako interfejs umożliwiający użytkownikom zbieranie zdjęć uszkodzeń pojazdów w ramach kontroli pojazdów. Obrazy są kodowane jako ciąg base64.

2. Aplikacja używa łącznika niestandardowego do udostępniania przechwyconych obrazów do niestandardowego interfejsu API— aplikacji funkcji .NET opartej na Azure.

3. Aplikacja funkcji odbiera i analizuje wywołanie interfejsu API HTTP z aplikacji, pobiera zdjęcia i wchodzi w interakcje z wielomodalnym modelem językowym w Azure OpenAI Service. Model przegląda zdjęcia i klasyfikuje uszkodzenia w trzech polach: obszar samochodu, poziom ciężkości i ogólny opis uszkodzenia.

4. Aplikacja inspekcyjna odbiera odpowiedź z aplikacji funkcji i przedstawia utworzoną przez sztuczną inteligencję ocenę szkód użytkownikowi, który może zaakceptować, zmodyfikować lub odrzucić ocenę. Użytkownik finalizuje ocenę i przesyła ją dla danego pojazdu. Ocena jest bezpiecznie przechowywana w Dataverse.

5. Napędzany modelem z niestandardowymi stronami umożliwia administratorom przeglądanie danych z inspekcji pojazdów.

Składniki

Microsoft Dataverse: Usługa Dataverse przechowuje wszystkie dane zebrane w ramach inspekcji pojazdów, takich jak zdjęcia uszkodzeń, klasyfikacja poziomu ważności i opisy.

Power Apps: Pracownicy w terenie, którzy dokonują inspekcji pojazdów, oraz pracownicy administracyjni, którzy je przeglądają, używają aplikacji tworzonych w Power Apps, platformie firmy Microsoft do tworzenia aplikacji bez kodu lub z małą ilością kodu.

Łącznik niestandardowy: Łącznik niestandardowy umożliwia aplikacji mobilnej do kontroli pojazdów EVVIE (używanej przez personel kontrolujący pojazdy w terenie) wywołanie usługi zaplecza, która wykorzystuje zaawansowaną sztuczną inteligencję do oceny dostarczonych zdjęć.

Azure Functions: Azure Functions, bezserwerowa platforma obliczeniowa Microsoft, działająca jako internetowy interfejs API, który aplikacja EVVIE może wywołać za pomocą żądania HTTP za pośrednictwem łącznika niestandardowego. Aplikacja funkcji Azure odbiera obrazy za pośrednictwem wywołania interfejsu API, używa zaawansowanego modelu sztucznej inteligencji do oceny szkód i zwraca ocenę do aplikacji.

Azure OpenAI Service: EVVIE używa wielomodalnego modelu sztucznej inteligencji do oceny szkód na dostarczonych obrazach i sklasyfikowania go na trzy pola: poziom ważności (1–5), obszar pojazdu (na przykład drzwi, szyba przednia, zderzak) i opis uszkodzenia. Podczas gdy każdy przyszły multimodalny model językowy może być używany (to znaczy "o1" lub "o3", gdy będą powszechnie dostępne), GPT-4o jest używany w momencie pisania tego tekstu.

Szczegóły scenariusza

EVVIE pomaga organizacjom posiadającym duże floty pojazdów zarządzać regularnymi przeglądami i konserwacją. Rutynowe kontrole zabierają czas i odwracają uwagę pracowników od bardziej wartościowej pracy.

Aby zmniejszyć to obciążenie i zaoszczędzić czas, EVVIE wykorzystuje zaawansowaną wielomodalną sztuczną inteligencję generatywną do automatycznej oceny i rejestrowania uszkodzeń pojazdów. Zamiast ręcznie dokumentować każdy przypadek uszkodzenia, pracownicy dostarczają EVVIE zdjęcie. Na podstawie tego pojedynczego obrazu EVVIE ocenia uszkodzenia, rejestruje ich lokalizację w pojeździe, określa poziom dotkliwości i przedstawia krótki opis.

Inspiracją dla EVVIE są rozmowy z Departamentem Szeryfa Hrabstwa Los Angeles, który zarządza flotą tysięcy pojazdów. Tradycyjnie, każdy funkcjonariusz musiał sprawdzić swój pojazd za pomocą długopisu, papieru i notatnika przed rozpoczęciem służby, udokumentować wszelkie uszkodzenia i przekazać te informacje swojemu przełożonemu. Jednak ta rutynowa kontrola często schodziła na dalszy plan ze względu na pilne obowiązki, pozostawiając niewiele czasu na uciążliwą 20-minutową kontrolę.

Korzystając z EVVIE, funkcjonariusze muszą otworzyć aplikację tylko na telefonie i zrobić zdjęcie pojazdu. Sztuczna inteligencja dokumentuje uszkodzenia i zgłasza je przełożonemu, eliminując potrzebę stosowania procesów opartych na dokumentach papierowych.

Considerations

Te rozważania wdrażają filary Power Platform Well-Architected, zestaw zasad przewodnich, które poprawiają jakość obciążenia. Dowiedz się więcej w Microsoft Power Platform Well-Architected.

Reliability

Każdy chmurowy składnik Microsoft w architekturze EVVIE jest zaprojektowany pod kątem wyjątkowej niezawodności, zapewniając, że nieustannie spełnia krytyczne cele dotyczące czasu bezawaryjnego działania i odzyskiwania. Niezawodność ta jest osiągana dzięki skalowalnej redundancji, zapewniającej solidną wydajność i odporność.

Zabezpieczenia

W przypadku wersji EVVIE służącej do weryfikacji koncepcji internetowy interfejs API oparty na Azure Functions, który komunikuje się z aplikacją, nie zawiera żadnych protokołów zabezpieczeń. Każdy, kto zna unikalne punkty końcowe API (adresy URL), może potencjalnie uzyskać dostęp do usługi zaplecza EVVIE.

We wdrożeniu produkcyjnym niezbędne jest zaimplementowanie standardowej warstwy uwierzytelniania, takiej jak uwierzytelnianie oparte na kluczach za pośrednictwem Azure API Management. Takie środki bezpieczeństwa zapewniają, że dostęp do usługi interfejsu API zaplecza jest możliwy wyłącznie w sposób zaplanowany przez aplikację frontonową EVVIE.

Doskonałość operacyjna

Jako dowód słuszności koncepcji, EVVIE jest budowany od podstaw z fikcyjnymi wymaganiami, aby zademonstrować zdolność technologii do oceny uszkodzeń pojazdów. Każdy aspekt, począwszy od procesu kontroli, a skończywszy na kryteriach ocenianych przez EVVIE – obszar uszkodzenia, poziom dotkliwości, opis i konkretne obszary pojazdu, w których można wskazać uszkodzenia – może i powinien być dostosowany do unikalnych potrzeb każdej organizacji wdrażającej EVVIE.

Integrator systemów może na przykład:

• Dostosować określone obszary pojazdu, w których EVVIE może zidentyfikować uszkodzenia.
• Uściślij monit systemowy używany do instruowania modelu.
• Zaimplementuj wymóg minimalnej liczby zdjęć.

Modyfikacje te zapewniają, że EVVIE działa optymalnie i jest zgodny ze specyficznymi potrzebami organizacji.

Wydajność operacyjna

Dwa potencjalne wąskie gardła mogą znacząco wpłynąć na skalowalność aplikacji EVVIE.

• API oparte na Azure Functions: Jako główne wejście EVVIE do usługi AI służącej ocenie uszkodzeń pojazdów, niezwykle ważne jest zapewnienie, że aplikacja funkcji Azure jest skonfigurowana z myślą o ogromnej skali. W zależności od konsumpcji organizacji, wdrożenie dedykowanego planu może być zalecane, aby zapewnić skalowalność.

• Azure OpenAI Service: Model Azure OpenAI, wywoływany przez aplikację funkcji, jest niezbędny do oceny i rejestrowania szkód. Niezwykle ważne jest zapewnienie, że wdrożenie Azure openAI, na którym opiera się interfejs API zaplecza, zawsze działa. Ponieważ Azure OpenAI używa systemu opartego na tokenach, ważne jest, aby zagwarantować, że model używany w EVVIE ma wysoki limit przydziału tokenów dla danego okresu użycia.

Optymalizacja doświadczeń

Zespół, który opracował EVVIE, poświęcił dużo czasu i wysiłku na optymalizację interfejsu użytkownika i doświadczenia użytkownika, aby pracownicy mogli intuicyjnie i łatwo kontrolować pojazdy i przeglądać inspekcje.

Aplikacja EVVIE do inspekcji to aplikacja typu canvas, którą można łatwo zmodyfikować poprzez prosty interfejs typu przeciągnij-i-upuść, podobnie jak w PowerPoint, aby lepiej zaspokoić potrzeby organizacji.

Interfejs używany przez pracowników administracyjnych do przeglądania tych inspekcji jest aplikacją opartą na modelu. Strona niestandardowa jest łatwa do zmodyfikowania w celu dopasowania do określonych wymagań.

Odpowiedzialna sztuczna inteligencja

Niewrażliwy przypadek użycia: Aplikacja EVVIE działa w obszarze niesensytywnym, co znacznie zmniejsza ryzyko stronniczości mającej negatywny wpływ na inspekcje pojazdów. Biorąc pod uwagę charakter oceny uszkodzeń pojazdu, istnieje minimalna przestrzeń dla stronniczości, która mogłaby wpłynąć na wyniki.

Kontrolowana generatywna sztuczna inteligencja: Modele generatywnej sztucznej inteligencji używane przez EVVIE zawierają funkcje, które ograniczają ich oceny do wstępnie zdefiniowanych szablonów. Ten projekt gwarantuje, że sztuczna inteligencja zapewnia konkretne, faktyczne odpowiedzi, które są zgodne z wytycznymi dla deweloperów, ograniczają kreatywność i obsługują dokładne, spójne oceny.

Contributors

Microsoft utrzymuje ten artykuł. Następujący współautorzy napisali ten artykuł.

Główni autorzy:

• Tim Hanewich, Power Platform specjalista techniczny
• Kelly Cason, specjalista ds. technicznych aplikacji biznesowych

Następne kroki

Aby zapoznać się z filmem demonstracyjnym, dalszymi wyjaśnieniami dotyczącymi funkcjonalności, architektury, kodu źródłowego i nie tylko, odwiedź EVVIE na GitHub pod adresem aka.ms/EVVIE.