Classificação de imagens no Azure

Ao utilizar serviços do Azure como Azure Content Understanding e Funções do Azure, pode adicionar classificação de imagens e extração de metadados a uma aplicação web ou móvel sem gerir servidores ou treinar os seus próprios modelos. Esta ideia de solução visa a classificação e etiquetagem de imagens. Se tiver outras necessidades de IA, consulte os catálogos mais amplos do Microsoft Foundry e do Foundry Tools.

Arquitetura

Descarregue um ficheiro Visio desta arquitetura.

Fluxo de dados

Este cenário abrange os componentes de back-end de um aplicativo Web ou móvel. O seguinte fluxo de dados corresponde à imagem anterior:

1. Um utilizador carrega uma imagem para o Armazenamento de Blobs do Azure, seja diretamente ou através de uma aplicação web ou móvel. O upload desencadeia um evento no Azure Event Grid.

2. O Event Grid envia uma notificação ao Funções do Azure para processar a imagem carregada.

3. A função gera um URL de assinatura de acesso partilhado temporário, com o mínimo de privilégios, circunscrito ao blob de destino e transmite-o ao Content Understanding. O Content Understanding usa este URL para aceder diretamente à imagem a partir do Armazenamento de Blobs, analisando-a depois usando um analisador pré-construído.

4. A função armazena a saída estruturada que o Content Understanding devolve, juntamente com metadados de imagem, no Azure Cosmos DB para NoSQL.

5. Uma aplicação web ou móvel recebe os resultados. Este fluxo de dados devolve a saída de classificação e os metadados, mas não o ficheiro de imagem original.

Componentes

• Content Understanding é uma ferramenta Foundry que utiliza IA generativa para extrair resultados estruturados definidos pelo utilizador a partir de documentos, imagens, vídeos e áudio. Nesta arquitetura, o Content Understanding analisa cada imagem carregada usando um analisador pré-construído que define as categorias, atributos e rótulos que pretende devolver, como tipo de produto, cor ou classe de defeito. A saída é JSON que corresponde diretamente ao modelo de dados da sua aplicação.

• Funções do Azure é uma plataforma de computação serverless. Nesta arquitetura, o Funções do Azure fornece a API de back-end e a camada de processamento de eventos para imagens carregadas. A função orquestra o fluxo de trabalho. Chama Compreensão de Conteúdo, processa a resposta e escreve o resultado na base de dados. Esta arquitetura utiliza o plano Flex Consumption para suportar integração de rede virtual, escolha de memória de instância e escalabilidade rápida.

• Azure Event Grid é um serviço gerido de encaminhamento de eventos que utiliza um modelo de publicação-subscrição. Nesta arquitetura, um tópico do sistema Event Grid na conta de armazenamento emite um evento Microsoft.Storage.BlobCreated quando uma nova imagem é carregada e entrega-a à função.

• Armazenamento de Blobs do Azure é um armazenamento de objetos para dados não estruturados. Nesta arquitetura, armazena todas as imagens carregadas e quaisquer ativos estáticos que a aplicação web disponibilize. Armazenamento de Blobs é a fonte de verdade para as imagens recebidas.

• Azure Cosmos DB para NoSQL é uma base de dados de NoSQL gerida. Nesta arquitetura, armazena os metadados de cada imagem, incluindo a saída estruturada que o Content Understanding devolve.

Alternativas

• O AutoML no Azure Machine Learning suporta tarefas de visão computacional. Pode treinar modelos personalizados de classificação de imagens e deteção de objetos a partir dos seus dados rotulados usando técnicas clássicas de aprendizagem automática. Escolha AutoML quando tiver um conjunto de dados rotulado e precisar de um modelo determinístico e implantável para domínios estreitos onde abordagens generativas não se encaixam. Exemplos incluem a deteção de defeitos de fabrico ou a imagiologia médica. A Microsoft recomenda o AutoML para clientes que migram do Visão Personalizada de IA do Azure e que queiram manter um modelo clássico de aprendizagem automática.

• Os modelos com capacidades de visão no Foundry permitem invocar ou ajustar diretamente modelos multimodais (GPT-4.1, GPT-4o e Phi-4 multimodal). Escolha este caminho quando precisar de controlo detalhado sobre o prompt e modelo, quiser afinar os seus próprios dados, ou precisar de respostas visuais a perguntas e conversa baseada em imagens em vez de extração estruturada.

• Pesquisa de IA do Azure indexa os metadados para que os utilizadores possam consultar e filtrar imagens por etiqueta, legenda ou outros atributos. O conjunto de habilidades de enriquecimento de IA pode chamar serviços de visão e IA generativa e escrever os resultados diretamente num índice de pesquisa sem necessidade de uma função separada.

• Azure Logic Apps é adequado quando não precisas de reação em tempo real aos uploads. Um fluxo de trabalho que é executado por um acionador recorrente ou de janela deslizante pode procurar novos blobs e chamar o Content Understanding em lote.

• O Azure Document Intelligence extrai imagens que estão incorporadas nos documentos usando o modelo de layout, para que possa executar a classificação a jusante em figuras incorporadas. Use modelos de classificação personalizados quando os ficheiros de entrada contêm vários tipos de documentos e precisa de identificar cada um antes de processar mais.

Detalhes do cenário

Este cenário aplica-se a empresas que processam imagens em grande escala e pretendem anexar metadados estruturados, como etiquetas, legendas ou etiquetas de categoria, a cada imagem sem treinar e operar os seus próprios modelos.

Aplicações típicas incluem classificar imagens num site de moda, analisar fotografias para reclamações de seguro e extrair contexto de capturas de ecrã de jogos. Construir esta capacidade internamente requer tradicionalmente especialização em visão computacional, dados de treino e gestão do ciclo de vida dos modelos. A arquitetura neste artigo substitui esse trabalho por serviços geridos do Azure.

Casos de uso potenciais

Esta solução aplica-se ao retalho, comércio eletrónico, jogos, finanças e seguros. Os casos de uso comuns incluem:

• Etiquetar imagens num site de retalho ou moda. Os vendedores carregam fotos dos produtos. O Content Understanding devolve as etiquetas, legendas e atributos que defines no analisador. A plataforma utiliza os metadados devolvidos para preencher automaticamente os campos das listas, impulsionar a pesquisa visual e reduzir o esforço de etiquetagem manual.

• Categorizar produtos num catálogo de comércio eletrónico. Um analisador de Compreensão de Conteúdo atribui metadados de categorias e subcategorias, como calçado e ténis de corrida, e atributos visuais como cor e material. Os compradores obtêm uma pesquisa e filtragem mais precisas, e os vendedores gastam menos tempo a corrigir categorias.

• Classificar telemetria a partir de capturas de ecrã do jogo. As plataformas de streaming classificam mal uma transmissão quando um criador se esquece de atualizar o título depois de mudar de jogo. Uma função que classifica capturas de ecrã periódicas pode detetar a alteração e atualizar os metadados do fluxo. Para domínios restritos onde a classificação generativa tem um desempenho inferior, use o AutoML for Images para treinar um classificador determinístico.

• Encaminhamento de fotos de sinistros de seguro. A Compreensão de Conteúdo identifica danos no veículo, danos de desastres naturais ou o tipo de propriedade a partir das fotos da reclamação. Os metadados encaminham a reclamação para a fila correta do perito e reduzem o tempo de triagem.

Considerações

Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios orientadores que você pode usar para melhorar a qualidade de uma carga de trabalho. Para obter mais informações, consulte Well-Architected Framework.

Segurança

A segurança oferece proteções contra ataques deliberados e o uso indevido dos seus valiosos dados e sistemas. Para obter mais informações, consulte Lista de verificação para revisão de design de segurança.

• Use managed identities para a aplicação funcional autenticar em Armazenamento de Blobs, Azure Cosmos DB e o recurso Microsoft Foundry que hospeda o Content Understanding. Evite guardar cadeias de ligação ou chaves API nas definições da aplicação.

• Restringa o recurso Foundry e o Cosmos DB a endpoints privados e desligue o acesso à rede pública quando a carga de trabalho estiver a correr dentro de uma rede virtual. O plano Flex Consumption suporta integração com redes virtuais.

• Valide as imagens carregadas antes de invocar o serviço de visão. Imponha limites de tipo e tamanho de conteúdo no limite de upload, analise malware e armazene os uploads num contentor que os utilizadores públicos não consigam ler diretamente.

• Esta arquitetura só é adequada para imagens que considere apropriadas para serem processadas por uma solução na nuvem. Processamento de imagem local ou offline não é suportado.

Otimização de Custos

A Otimização de Custos concentra-se em formas de reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, consulte Lista de verificação de revisão de projeto para Otimização de custos.

• Limite o analisador em Compreensão de Conteúdo aos campos que a aplicação realmente consome. Cada campo extra aumenta o uso do token e o custo por chamada. Para os preços atuais, consulte Preços do Foundry.

• No Funções do Azure, utilize o plano Flex Consumption para lidar com picos de cargas de trabalho acionadas por eventos. O plano escala para zero e fatura por segundo nas instâncias ativas.

• Para o Cosmos DB, avalie serverless ou throughput com escalabilidade automática quando o tráfego for variável. A arquitetura serverless é adequada para cargas de trabalho com pouco tráfego e de desenvolvimento/teste, enquanto a escalabilidade automática é adequada a ambientes de produção com carga variável.

Excelência Operacional

A Excelência Operacional abrange os processos operacionais que implantam um aplicativo e o mantêm em execução na produção. Para obter mais informações, consulte Lista de verificação de revisão de design para excelência operacional.

• Envie diagnósticos do Functions, do Event Grid e do Foundry para uma área de trabalho partilhada do Log Analytics e utilize Application Insights para rastreio distribuído em todo o fluxo, do carregamento à obtenção de resultados.

• Configure um destino de mensagens não entregues na Grelha de Eventos para que eventos não processados pela função sejam armazenados num contentor de blobs separado para serem reproduzidos.

• Conteúdo da Versão Compreender esquemas de analisadores como código e implementá-los através do mesmo pipeline que implementa a função. Trate as alterações de esquema como alterações disruptivas para consumidores a jusante.

Contributors

A Microsoft mantém este artigo. Os seguintes colaboradores escreveram este artigo.

Autor principal:

• Ananya Ghosh Chowdhury | Arquiteto Principal de Soluções Cloud

Outros contribuidores:

• Delyn Choong | Arquiteto Sénior de Soluções Cloud – Dados & IA
• Abhishek Singh | Engenheiro de Suporte Técnico

Para ver perfis não públicos do LinkedIn, faça login no LinkedIn.

Próximos passos

• O que é a Compreensão de Conteúdo?
• Visão geral dos modelos Microsoft Foundry
• Opções de migração da Análise de Imagem do Azure Vision
• enriquecimento de IA no Pesquisa de IA do Azure
• Introdução ao Funções do Azure
• Funções do Azure Flex Consumption Plan
• O que é a Grade de Eventos do Azure?
• Introdução à Armazenamento de Blobs do Azure
• Bem-vindo ao Azure Cosmos DB

Para percursos de aprendizagem guiada, veja:

• Desenvolva uma aplicação de IA generativa com capacidade de visão
• Treine modelos personalizados de classificação de imagens com AutoML

Recursos relacionados

• Use o enriquecimento de IA com processamento de imagem e texto
• Comece a usar aplicações de chat multimodal de visão usando o Azure OpenAI