Klasyfikacja obrazów na platformie Azure

Narzędzia usługi Foundry
Zestaw SDK programu Foundry
Azure Blob Storage
Azure Cosmos DB
Azure Event Grid
Azure Functions

Rozwiązania — pomysły

W tym artykule opisano pomysł rozwiązania. Architekt chmury może użyć tych wskazówek, aby ułatwić wizualizowanie głównych składników dla typowej implementacji tej architektury. Skorzystaj z tego artykułu jako punktu wyjścia, aby zaprojektować dobrze zaprojektowane rozwiązanie zgodne z konkretnymi wymaganiami obciążenia.

Korzystając z usług Azure, takich jak Azure Content Understanding i Azure Functions, można dodać klasyfikację obrazów i wyodrębnianie metadanych do aplikacji internetowej lub mobilnej bez zarządzania serwerami lub trenowania własnych modeli. Ten pomysł rozwiązania jest przeznaczony dla klasyfikacji obrazów i tagowania. Jeśli masz inne potrzeby dotyczące sztucznej inteligencji, zapoznaj się z szerszymi katalogami narzędzi Microsoft Foundry i Foundry Tools.

Architektura

Diagram przedstawiający inteligentny potok przetwarzania obrazów korzystający z usług Azure.

Pobierz plik programu Visio tej architektury.

Przepływ danych

Ten scenariusz obejmuje składniki zaplecza aplikacji internetowej lub mobilnej. Poniższy przepływ danych odpowiada poprzedniemu obrazowi:

  1. Użytkownik przekazuje obraz do Azure Blob Storage bezpośrednio lub przy użyciu aplikacji internetowej lub mobilnej. Przesłanie wywołuje zdarzenie w Azure Event Grid.

  2. Usługa Event Grid wysyła powiadomienie do Azure Functions w celu przetworzenia przekazanego obrazu.

  3. Funkcja generuje adres URL sygnatury dostępu współdzielonego, ważny przez ograniczony czas i z minimalnym zakresem uprawnień, ograniczony do docelowego obiektu blob, a następnie przekazuje go do usługi Content Understanding. Usługa Content Understanding używa tego adresu URL do uzyskiwania dostępu do obrazu bezpośrednio z Blob Storage, a następnie analizuje go przy użyciu wstępnie utworzonego analizatora.

  4. Funkcja przechowuje ustrukturyzowane dane wyjściowe zwracane przez usługę Content Understanding wraz z metadanymi obrazu w Azure Cosmos DB dla NoSQL.

  5. Aplikacja internetowa lub mobilna otrzymuje wyniki. Ten przepływ danych zwraca dane wyjściowe i metadane klasyfikacji, ale nie oryginalny plik obrazu.

Składniki

  • Content Understanding to narzędzie Foundry, które wykorzystuje generatywną sztuczną inteligencję do wyodrębniania zdefiniowanych przez użytkownika ustrukturyzowanych danych wyjściowych z dokumentów, obrazów, materiałów wideo i nagrań audio. W tej architekturze usługa Content Understanding analizuje każdy przekazany obraz przy użyciu wstępnie utworzonego analizatora definiującego kategorie, atrybuty i etykiety, które mają zostać zwrócone, takie jak typ produktu, kolor lub klasa wad. Dane wyjściowe to JSON, który bezpośrednio odwzorowuje model danych aplikacji.

  • Azure Functions to bezserwerowa platforma obliczeniowa. W tej architekturze Azure Functions udostępnia API zaplecza i warstwę przetwarzania zdarzeń dla przesłanych obrazów. Funkcja organizuje przepływ pracy. Wywołuje usługę Content Understanding, przetwarza odpowiedź i zapisuje wynik w bazie danych. Ta architektura używa planu Flex Consumption do obsługi integracji sieci wirtualnej, wyboru pamięci wystąpienia i szybkiego skalowania.

  • Azure Event Grid to zarządzana usługa routingu zdarzeń korzystająca z modelu publikowania-subskrybowania. W tej architekturze temat systemowy Event Grid na koncie magazynowym emituje zdarzenie Microsoft.Storage.BlobCreated gdy nowy obraz zostanie przesłany i dostarcza go do funkcji.

  • Azure Blob Storage to magazyn obiektów dla danych bez struktury. W tej architekturze przechowuje wszystkie przekazane obrazy i wszystkie zasoby statyczne, które obsługuje aplikacja internetowa. Blob Storage jest wiarygodnym źródłem dla przychodzących obrazów.

  • Azure Cosmos DB dla NoSQL jest zarządzaną bazą danych NoSQL. W tej architekturze przechowuje metadane dla każdego obrazu, w tym ustrukturyzowane dane wyjściowe zwracane przez usługę Content Understanding.

Alternatywy

  • Rozwiązanie AutoML w Azure Machine Learning obsługuje zadania przetwarzania obrazów. Niestandardowe modele klasyfikacji obrazów i wykrywania obiektów można wytrenować z danych oznaczonych etykietami przy użyciu klasycznych technik uczenia maszynowego. Wybierz rozwiązanie AutoML, jeśli masz oznaczony zestaw danych i potrzebujesz deterministycznego, możliwego do wdrożenia modelu dla wąskich domen, w których podejścia generowania nie pasują. Przykłady obejmują wykrywanie wad produkcyjnych lub obrazowanie medyczne. Microsoft zaleca rozwiązanie AutoML dla klientów migrujących z Niestandardowa wizja platformy Azure AI, którzy chcą zachować klasyczny model uczenia maszynowego.

  • Modele z obsługą funkcji wizyjnych w Foundry umożliwiają bezpośrednie wywoływanie lub dostrajanie modeli wielomodalnych (GPT-4.1, GPT-4o i Phi-4 multimodal). Wybierz tę ścieżkę, jeśli potrzebujesz dokładnej kontroli nad promptem i modelem, chcesz dostosować własne dane lub potrzebujesz wizualnego odpowiadania na pytania i integracji obrazu w dialogu zamiast wyodrębniania strukturalnego.

  • Wyszukiwanie AI platformy Azure indeksuje metadane, aby użytkownicy mogli wysyłać zapytania o obrazy i filtrować je według tagów, podpisów lub innych atrybutów. Zestaw umiejętności wzbogacania AI może wywoływać usługi rozpoznawania obrazów i generatywnego AI oraz bezpośrednio zapisywać wyniki w indeksie wyszukiwania, bez potrzeby oddzielnej funkcji.

  • Azure Logic Apps sprawdza się, gdy nie potrzebujesz reakcji w czasie rzeczywistym na przesyłanie. Przepływ pracy uruchamiany przez wyzwalacz cykliczny lub wyzwalacz ruchomego okna może sprawdzać, czy są nowe obiekty blob, i wywoływać usługę Content Understanding wsadowo.

  • Azure Document Intelligence wyodrębnia obrazy osadzone w dokumentach za pomocą modelu układu, dzięki czemu można przeprowadzić dalszą klasyfikację dla osadzonych ilustracji. Użyj niestandardowych modeli klasyfikacji , gdy pliki wejściowe zawierają wiele typów dokumentów i należy zidentyfikować je przed dalszym przetwarzaniem.

Szczegóły scenariusza

Ten scenariusz dotyczy firm, które przetwarzają obrazy na dużą skalę i chcą dołączać metadane ustrukturyzowane, takie jak tagi, podpisy lub etykiety kategorii do każdego obrazu bez trenowania i obsługi własnych modeli.

Typowe aplikacje obejmują klasyfikowanie obrazów na stronie mody, analizowanie zdjęć roszczeń ubezpieczeniowych i wyodrębnianie kontekstu ze zrzutów ekranu gry. Utworzenie tej funkcji w firmie tradycyjnie wymaga wiedzy na temat przetwarzania obrazów, danych szkoleniowych i zarządzania cyklem życia modelu. Architektura w tym artykule zastępuje tę pracę z zarządzanymi usługami Azure.

Potencjalne przypadki użycia

To rozwiązanie dotyczy handlu detalicznego, handlu elektronicznego, gier, finansów i ubezpieczeń. Typowe przypadki użycia to:

  • Oznaczanie obrazów na stronie internetowej handlu detalicznego lub mody. Sprzedawcy przekazują zdjęcia produktów. Funkcja Content Understanding zwraca tagi, podpisy i atrybuty zdefiniowane w analizatorze. Platforma używa zwracanych metadanych do automatycznego wypełniania pól listy, napędzania wyszukiwania wizualnego i zmniejszenia nakładu pracy ręcznego tagowania.

  • Kategoryzowanie produktów w katalogu handlu elektronicznego. Analizator usługi Content Understanding przypisuje metadane kategorii i podkategorii, takie jak obuwie i buty do biegania, oraz atrybuty wizualne, takie jak kolor i materiał. Kupujący uzyskują dokładniejsze wyszukiwanie i filtrowanie, a sprzedawcy poświęcają mniej czasu na poprawianie kategorii.

  • Klasyfikowanie danych telemetrycznych ze zrzutów ekranu gry. Platformy przesyłania strumieniowego błędnie klasyfikują strumień, gdy twórca zapomni zaktualizować tytuł po przełączeniu gier. Funkcja, która klasyfikuje okresowe zrzuty ekranu, może wykryć zmianę i zaktualizować metadane strumienia. W przypadku wąskich domen, w których klasyfikacja generacyjna jest niewystarczająca, użyj rozwiązania AutoML dla obrazów, aby wytrenować klasyfikator deterministyczny.

  • Przekierowywanie zdjęć roszczeń ubezpieczeniowych. Usługa Content Understanding identyfikuje uszkodzenia pojazdu, uszkodzenia klęsk żywiołowych lub typ nieruchomości na podstawie zdjęć oświadczeń. Metadane przekierowują roszczenie do prawidłowej kolejki rzeczoznawców i skracają czas oceny wstępnej.

Zagadnienia do rozważenia

Te zagadnienia obejmują implementację filarów platformy Azure Well-Architected Framework, która jest zestawem wytycznych, których można użyć do poprawy jakości obciążenia. Aby uzyskać więcej informacji, zobacz Well-Architected Framework.

Zabezpieczenia

Zabezpieczenia zapewniają ochronę przed celowymi atakami i nieprawidłowym użyciem cennych danych i systemów. Aby uzyskać więcej informacji, zobacz Lista kontrolna przeglądu projektu dotycząca zabezpieczeń.

  • Użyj managed identities, aby aplikacja funkcji mogła się uwierzytelnić w Blob Storage, Azure Cosmos DB oraz zasobie Microsoft Foundry, który hostuje usługę Content Understanding. Unikaj przechowywania parametrów połączenia lub kluczy interfejsu API w ustawieniach aplikacji.

  • Ogranicz zasób usługi Foundry i usługę Cosmos DB do prywatnych punktów końcowych i wyłącz dostęp do sieci publicznej, gdy obciążenie działa wewnątrz sieci wirtualnej. Plan Flex Consumption obsługuje integrację sieci wirtualnej.

  • Przed wywołaniem usługi rozpoznawania obrazów zweryfikuj przesłane obrazy. Wymuszanie limitów typu zawartości i rozmiaru na granicy przekazywania, skanowanie pod kątem złośliwego oprogramowania i przechowywanie przekazywania w kontenerze, którego użytkownicy publiczni nie mogą odczytać bezpośrednio.

  • Ta architektura nadaje się wyłącznie do obrazów, które uznasz za odpowiednie do przetwarzania przez rozwiązanie chmurowe. Przetwarzanie obrazów lokalnych lub offline nie jest obsługiwane.

Optymalizacja kosztów

Optymalizacja kosztów koncentruje się na sposobach zmniejszenia niepotrzebnych wydatków i poprawy wydajności operacyjnej. Aby uzyskać więcej informacji, zobacz Lista kontrolna przeglądu projektu dotycząca optymalizacji kosztów.

  • Ogranicz analizator w usłudze Content Understanding do pól używanych przez aplikację. Każde dodatkowe pole zwiększa użycie tokenu i koszt połączenia. Aktualne stawki znajdziesz w Cenniku Foundry.

  • W usłudze Azure Functions użyj planu Flex Consumption, aby obsługiwać skoki w obciążeniach sterowanych zdarzeniami. Plan skaluje się do zera i nalicza opłaty za sekundę dla aktywnych instancji.

  • W przypadku usługi Cosmos DB oceń przepływność bezserwerową lub automatyczną w przypadku nierównomierności ruchu. Bezserwerowe pasuje do obciążeń o niskim natężeniu ruchu i tworzenia i testowania, a autoskalowanie pasuje do środowiska produkcyjnego ze zmiennym obciążeniem.

Doskonałość operacyjna

Doskonałość operacyjna obejmuje procesy operacyjne, które wdrażają aplikację i zapewniają jej działanie w środowisku produkcyjnym. Aby uzyskać więcej informacji, zobacz Lista kontrolna przeglądu projektu dotycząca doskonałości operacyjnej.

  • Wysyłaj dane z usługi Functions, usługi Event Grid i dane diagnostyczne usługi Foundry do wspólnego obszaru roboczego usługi Log Analytics oraz używaj usługi Application Insights do śledzenia rozproszonego w całym przepływie od przekazania do uzyskania wyniku.

  • Skonfiguruj lokalizację docelową utraconych komunikatów w usłudze Event Grid, tak aby zdarzenia, których funkcja nie może przetworzyć, trafiały do oddzielnego kontenera obiektów blob, umożliwiając ich późniejsze odtworzenie.

  • Schematy analizatora zawartości usługi Version Understanding jako kod i wdróż je za pomocą tego samego potoku, który wdraża funkcję. Traktuj zmiany schematu jako zmiany powodujące niezgodność dla odbiorców podrzędnych.

Contributors

Microsoft utrzymuje ten artykuł. Następujący współautorzy napisali ten artykuł.

Główny autor:

Inni współautorzy:

  • Delyn Choong | Starszy architekt rozwiązań w chmurze — dane i sztuczna inteligencja
  • Abhishek Singh | Inżynier wsparcia technicznego

Aby wyświetlić niepubliczne profile serwisu LinkedIn, zaloguj się do serwisu LinkedIn.

Następne kroki

Aby zapoznać się ze ścieżkami szkoleniowymi z przewodnikiem, zobacz: