Elección de una tecnología de generación y procesamiento de imágenes y vídeos de Azure AI

Foundry Tools ayuda a los desarrolladores y organizaciones a crear aplicaciones avanzadas basadas en inteligencia artificial y listas para producción, que se alinean con las prácticas de inteligencia artificial responsable, mediante el uso de API y modelos preconstruidos y personalizables.

En este artículo se describen las funcionalidades de procesamiento de imágenes y vídeo en Foundry, como el análisis visual y la generación de imágenes, la detección de objetos, la clasificación de imágenes y el reconocimiento facial. El conjunto incluye los siguientes servicios:

  • Azure OpenAI en Foundry Models proporciona acceso a los siguientes modelos de lenguaje OpenAI:

    • La última generación de modelos GPT que tienen capacidades de visión y audio

    • DALL-E para la generación de imágenes

    • Modelos de audio para conversaciones de voz en tiempo real, generación de audio, transcripción de voz a texto (STT), traducción y texto a voz (TTS)

    Use Azure OpenAI para la generación de imágenes a partir de lenguaje natural, análisis amplio y no específico de imágenes o escenarios de audio que no requieren un servicio de voz dedicado.

  • Azure Vision in Foundry Tools proporciona algoritmos avanzados que procesan imágenes y devuelven información basada en características visuales. Incluye reconocimiento óptico de caracteres (OCR), análisis de imágenes y funcionalidades de detección de caras.

  • Azure Machine Learning AutoML para Computer Vision automatiza el entrenamiento del modelo y el ajuste de hiperparámetros para la clasificación de imágenes, la detección de objetos y la segmentación de instancias. Puede descargar el modelo resultante o registrarlo e implementarlo en Azure Machine Learning.

  • Azure Content Understanding en Foundry Tools usa inteligencia artificial generativa para extraer campos estructurados de imágenes y vídeo. Utilice Azure Content Understanding cuando necesite una extracción definida por esquema, segmentación de escenas o una salida de vídeo preparada para la generación aumentada por recuperación (RAG).

  • Microsoft Video Indexer de Azure AI es una solución de inteligencia artificial que las organizaciones pueden usar para extraer información detallada del contenido de vídeo y audio. Admite tanto fuentes en vivo como cargadas, utilizando modelos avanzados de aprendizaje automático y IA generativa.

Azure OpenAI

Azure OpenAI proporciona acceso a los potentes modelos de lenguaje de OpenAI, incluida la última generación de modelos GPT que tienen funcionalidades de imagen, vídeo y audio. También están disponibles los modelos de generación de imágenes DALL-E y GPT-image, así como modelos de audio para conversaciones de voz en tiempo real, generación y transcripción de audio, STT, traducción de voz y TTS.

Uso de Azure OpenAI para estas tareas No use Azure OpenAI para estas tareas
Genere imágenes a partir de descripciones de lenguaje natural mediante DALL-E o modelos de imagen GPT. Realice tareas específicas de procesamiento de imágenes, como la extracción de formularios o la detección especializada en dominio. Use Azure Document Intelligence para estas tareas.
Realice un análisis amplio y no específico de las imágenes mediante modelos compatibles con visión como GPT-4o. Extraiga campos estructurados de imágenes mediante un esquema que defina. Para la extracción controlada por esquemas, use Azure Content Understanding.
Transcriba STT o traduzca audio hablado mediante el uso de los modelos de transcripción Whisper o GPT-4o. Detectar, reconocer o analizar caras humanas. Para las tareas relacionadas con la cara, use Azure Vision.
Habilite conversaciones de voz en tiempo real de baja latencia mediante modelos de audio en tiempo real GPT-4o. Realice una transcripción de voz de gran volumen que necesite personalización avanzada, diarización del hablante o vocabulario personalizado. En esos escenarios, use Azure Speech in Foundry Tools.
Genere descripciones de accesibilidad para imágenes. Use modelos de generación de imágenes de código abierto. Para los modelos de código abierto, use Azure Machine Learning.

Modelos de audio

Azure OpenAI proporciona modelos de audio a través de las siguientes API:

  • La API Realtime para conversaciones de voz en tiempo real y baja latencia

  • La API de completado de chat con audio para la generación y transcripción flexibles de audio en una sola llamada al modelo

  • La API de audio a través del /audiopunto de conexión para la transcripción STT basada en archivos con los modelos de transcripción Whisper y GPT-4o, la traducción de voz y la TTS

Azure Vision

Azure Vision es un servicio en Herramientas. Proporciona algoritmos avanzados que procesan imágenes y devuelven información en función de las características visuales que especifique. Azure Vision incluye OCR, análisis de imágenes y funcionalidades de detección de caras.

Uso de Azure Vision para estas tareas No use Azure Vision para estas tareas
Extraiga texto impreso y manuscrito de imágenes y documentos mediante OCR. Realice análisis avanzados de vídeo, como transcripción, traducción o resumen de contenido. Para estas tareas, use Video Indexer.
Analice imágenes para extraer características visuales como objetos, caras y descripciones generadas automáticamente. Contenido moderado para la seguridad. Para la moderación de contenido, utilice Content Safety en Foundry Control Plane.
Detectar, reconocer y analizar caras humanas en imágenes. Realiza análisis que los grandes modelos base multimodales, como GPT-4o, ya admiten.

Características disponibles de Azure Vision

En la tabla siguiente se proporciona una lista de las características disponibles en Azure Vision.

Feature Descripción
OCR Extrae texto de imágenes. Puede usar la Read API para extraer el texto impreso y manuscrito de imágenes y documentos. Usa modelos basados en aprendizaje profundo y funciona con texto en varias superficies y fondos, incluidos documentos comerciales, facturas, recibos, pósteres, tarjetas de presentación, letras y pizarras.
Análisis de imágenes Extrae muchas características visuales de imágenes, como objetos, caras, contenido para adultos y descripciones de texto generadas automáticamente. Puede crear modelos de identificador de imagen personalizados mediante Image Analysis 4.0 basado en el modelo de la fundación Florence.
Detección y análisis de caras Identifica las regiones de una imagen que contienen un rostro humano, normalmente devolviendo las coordenadas del cuadro delimitador que forma un rectángulo alrededor del rostro.
Búsqueda de caras similares Empareja una cara objetivo con un conjunto de caras candidatas e identifica un subconjunto más pequeño de caras que se asemejan estrechamente a la cara objetivo. Esta funcionalidad es útil para la búsqueda facial por imagen.
Agrupación de rostros Divide un conjunto de caras desconocidas en varios grupos más pequeños en función de la similitud.
Identificación facial Realiza una correspondencia de uno a muchos entre un rostro de una imagen y un conjunto de rostros de un repositorio seguro. Los candidatos de coincidencia se devuelven en función de la coincidencia de sus datos faciales con la cara de la consulta.
Comprobación de caras Realiza una verificación uno a uno para confirmar que el usuario es quien dice ser.
Detección de vida Una característica contra suplantación de identidad que comprueba si un usuario está presente físicamente delante de la cámara. Evita ataques de suplantación de identidad que usan una foto impresa, un vídeo grabado o una máscara 3D de la cara del usuario.

Casos de uso de Azure Vision

En la tabla siguiente se proporciona una lista de posibles casos de uso para Azure Vision.

Caso de uso Descripción
Generar texto alternativo de imagen (texto alternativo) Use modelos de subtítulos de análisis de imágenes para generar automáticamente descripciones de texto alternativos para imágenes. El texto alternativo mejora la accesibilidad para los usuarios ciegos o con poca visión, ayuda a cumplir los requisitos de cumplimiento legal y hace que su sitio web sea más reconocible a través de un SEO mejorado. Los productos de Microsoft como PowerPoint, Word y Edge usan esta funcionalidad.
Comprobación de identidad Utilice Azure Face para confirmar que los usuarios son quienes afirman ser. La verificación compara una imagen de prueba con una plantilla registrada, como un documento de identidad emitido por el gobierno, para escenarios de control de acceso. Este enfoque ayuda a mejorar la experiencia del usuario y la seguridad en comparación con los métodos basados en conocimientos.
Ocultación de rostros Difuminar o desenfocar las caras detectadas de personas grabadas en un vídeo para proteger su privacidad.
Control de acceso sin contacto Use la identificación de cara opcional para mejorar el control de acceso, al tiempo que reduce los riesgos de mantenimiento y seguridad del uso compartido, pérdida o robo de medios físicos. El reconocimiento facial ayuda al proceso de registro de una persona en el conjunto de registros en aeropuertos, estadios, parques temáticos, edificios, mostradores de recepción de oficinas, hospitales, tiendas, gimnasios, clubes o escuelas.

Azure Machine Learning AutoML

Azure Machine Learning AutoML para Computer Vision proporciona funcionalidades de reconocimiento de imágenes que puede usar para compilar, implementar y mejorar automáticamente los modelos de imagen. Un identificador de imagen aplica etiquetas a las imágenes en función de sus características visuales. Cada etiqueta representa una clasificación u objeto. Use Azure Machine Learning AutoML para especificar sus propias etiquetas y entrenar modelos personalizados para detectarlos.

Uso de Azure Machine Learning AutoML para estas tareas No use Azure Machine Learning AutoML para estas tareas
Reconocer objetos inusuales y defectos de fabricación que el análisis de imágenes estándar no puede detectar. Realice la detección básica de objetos o la detección de caras. Use Azure Vision en su lugar.
Proporcione clasificaciones personalizadas detalladas para requisitos empresariales específicos. Realice un análisis visual básico. Use modelos compatibles con visión de Azure OpenAI o modelos de código abierto en Machine Learning en su lugar.
Entrene modelos con sus propias imágenes etiquetadas para escenarios especializados.

Azure Machine Learning AutoML usa algoritmos de aprendizaje automático para analizar imágenes para características personalizadas. Los datos de imagen etiquetados se proporcionan como anotaciones. El esquema de anotación depende de la tarea: etiquetas a nivel de imagen para clasificación, cuadros delimitadores para la detección de objetos y polígonos para la segmentación de instancias. Puede realizar estas anotaciones mediante la característica integrada de etiquetado de datos de Azure ML. A continuación, los algoritmos AutoML usan las anotaciones e imágenes para entrenar y calcular las precisiónes del modelo mediante la prueba de los modelos en conjuntos de espera de imágenes. Una vez que AutoML entrena el modelo óptimo, puede probar, volver a entrenar y, finalmente, usar el modelo en la aplicación de reconocimiento de imágenes para clasificar imágenes o detectar objetos. También puede exportar el modelo para su uso sin conexión.

Características de AutoML de Azure Machine Learning disponibles

En la tabla siguiente se proporciona una lista de las características disponibles.

Feature Descripción
(Multilabel) Clasificación de imágenes Predice una categoría, o clase, en función de un conjunto de entradas, que se denominan características. Calcula una puntuación de probabilidad para cada clase posible y devuelve una etiqueta que indica la clase a la que el objeto pertenece con mayor probabilidad. Para utilizar este modelo, se necesitan datos que consistan en características y sus etiquetas.
Detección de objetos Obtener las coordenadas de un objeto en una imagen. Para utilizar este modelo, se necesitan datos que consistan en características y sus etiquetas.
Segmentación de instancias Identifique los objetos en el nivel de píxel y describa cada objeto con un polígono.

Casos de uso de AutoML de Azure Machine Learning para Computer Vision

En la tabla siguiente se proporciona una lista de posibles casos de uso para Azure Machine Learning AutoML.

Caso de uso Descripción
Clasificación de imágenes y objetos Analice fotos y busque logotipos específicos mediante el entrenamiento de un modelo personalizado.

Descripción del contenido de Azure

Azure Content Understanding es un servicio en Herramientas. Usa ia generativa para extraer campos estructurados de imágenes y vídeos. Defina un esquema que especifique qué extraer y Azure Content Understanding aplica modelos generativos para generar una salida json estructurada o Markdown preparada para RAG. También proporciona puntuaciones de confianza y justificación para cada valor extraído, lo que respalda los flujos de trabajo automatizados con revisión humana específica.

Uso de Azure Content Understanding para estas tareas No use Azure Content Understanding para estas tareas
Extraiga campos estructurados personalizados de imágenes mediante un esquema que defina, como el producto, la marca o la detección de defectos. Realice análisis de imágenes estándar, como la detección de objetos o OCR. Use Azure Vision para estas tareas.
Genere un resultado adaptado para RAG a partir del vídeo, incluidas las descripciones de escena, las transcripciones y los fotogramas clave, para su uso en índices de búsqueda o agentes de chat. Extraiga información detallada de vídeo, como la identificación de celebridades, la enumeración del hablante o el análisis de opiniones en contenido de formato largo. Use Video Indexer para estas tareas.
Segmente el vídeo en escenas y extraiga metadatos personalizados para cada segmento, como la presencia de marca o la categoría de anuncios.
Genere descripciones faciales en imágenes o vídeos, como expresiones faciales o identificación de celebridades. Estas características tienen acceso limitado.

Características disponibles de Azure Content Understanding

En la tabla siguiente se proporciona una lista de las características de imagen y vídeo disponibles en Azure Content Understanding.

Feature Descripción
Extracción de campos de imagen Extrae campos estructurados personalizados de imágenes en función de un esquema que defina. Puede extraer campos directamente, clasificarlos de un conjunto de categorías o generarlos mediante un modelo generativo. Esta característica es útil para el análisis de estantes minoristas, el control de calidad de fabricación y la inteligencia empresarial basada en gráficos (BI).
Extracción de fotogramas clave Extrae fotogramas clave representativos de cada captura de un vídeo. Garantiza que cada segmento cuente con suficiente contexto visual para la extracción de campos posterior.
Detección de cortes Identifica los límites de captura en un vídeo en función de las indicaciones visuales. Genera una lista de marcas de tiempo para la edición precisa, el reempaquetado y la segmentación.
Segmentación de escenas Divide un vídeo en escenas lógicas descritas en lenguaje natural. Defina la lógica de segmentación, como dividir una difusión de noticias por tema de artículo, y el modelo genera segmentos coincidentes.
Extracción de campos de vídeo Genera campos estructurados personalizados para cada segmento de vídeo basado en un esquema, como logotipos de marca, categorías de anuncios o sentimiento de escena, mediante un modelo generativo.
Descripción de la cara Genera descripciones textuales de caras en imágenes o vídeos, como el cabello facial, las expresiones y la identificación de celebridades. La descripción de la cara es una característica de acceso limitado que requiere desactivar el desenfoque facial en la configuración del analizador.

Casos de uso de Azure Content Understanding

En la tabla siguiente se proporciona una lista de posibles casos de uso para Azure Content Understanding aplicados a imágenes y vídeos.

Caso de uso Descripción
RAG en vídeo Genera Markdown compatible con RAG a partir de archivos de vídeo, incluyendo transcripciones en línea, miniaturas de fotogramas clave y descripciones de segmentos en lenguaje natural. Coloque la salida directamente en un almacenamiento de vectores para habilitar flujos de trabajo de agentes o de búsqueda sin procesamiento posterior.
Administración de recursos multimedia Etiquete los recursos de vídeo con metadatos de nivel de escena, como la categoría de contenido, la presencia de marca y los momentos clave. Este enfoque ayuda a los editores, productores y equipos de marketing a organizar y recuperar contenido de bibliotecas de vídeo grandes.
Control de calidad de fabricación Analice las imágenes de producto en un esquema personalizado para detectar defectos, anomalías o desalineaciones en líneas de producción.
Análisis de estantes de venta al por menor Extraiga datos estructurados de imágenes de estante para contar productos, detectar errores de ubicación y supervisar los niveles de stock.
Análisis de anuncios y marcas Identifique los logotipos de marca y las categorías de anuncios en segmentos de vídeo promocionales para evaluar la exposición de la marca y el cumplimiento de las directrices de personalización de marca.

Indexador de Videos

Video Indexer es una solución de inteligencia artificial que las organizaciones pueden usar para extraer información detallada de contenido de audio y vídeo en directo y cargado. Usa modelos avanzados de inteligencia artificial generativa y aprendizaje automático, y admite una amplia gama de funcionalidades, como transcripción, traducción, detección de objetos y resumen de vídeo. Video Indexer es flexible. Puede usarlo en la nube o implementarlo en ubicaciones perimetrales a través de Azure Arc.

Uso de Video Indexer para estas tareas No use Video Indexer para estas tareas
Extraiga información de vídeos cargados, incluida la transcripción, la traducción y el análisis de contenido. Realice tareas básicas de análisis de vídeo, como el recuento de personas y la detección de movimiento. Azure Vision es una herramienta más rentable para estas tareas.
Analice secuencias de vídeo en directo en tiempo real para escenarios de venta al por menor, fabricación o seguridad. Extraiga texto de imágenes estáticas. Para OCR en imágenes, use Azure Vision.
Ejecute análisis de vídeo en dispositivos perimetrales que tengan requisitos estrictos de residencia de datos o baja latencia mediante Azure Arc.

Opciones de implementación

Video Indexer proporciona las siguientes opciones de implementación.

Opción Descripción
Video Indexer basado en la nube Una aplicación en la nube basada en herramientas, como Azure Face, Azure Translator in Foundry Tools, Azure Vision y Azure Speech. Analiza el contenido de vídeo y audio mediante la ejecución de más de 30 modelos de IA para generar información detallada.
Video Indexer habilitado por Azure Arc Extensión de Azure Arc que ejecuta análisis de audio y vídeo y inteligencia artificial generativa en dispositivos perimetrales. Admite secuencias de vídeo cargadas y en directo, lo que permite el análisis en tiempo real directamente en el origen de datos. Se adapta a los sectores que tienen requisitos estrictos de residencia de datos o necesidades operativas de baja latencia.

Modelos de vídeo

En la tabla siguiente se proporciona una lista de las características de análisis de vídeo disponibles en Video Indexer.

Feature Descripción
Detección de caras Detecta y agrupa caras que aparecen en un vídeo.
Identificación facial basada en cuentas Entrena un modelo para una cuenta específica y reconoce caras en vídeos en función del modelo entrenado.
Detección de personas observadas Detecta a las personas que aparecen en los vídeos y proporciona información sobre su ubicación mediante cuadros delimitadores, con marcas de tiempo exactas y niveles de confianza. Incluye información sobre la persona identificada, la ropa detectada y detalles destacados sobre la vestimenta.
Detección de objetos Detecta y realiza un seguimiento de objetos únicos para que pueda reconocerlos si vuelven al marco.
OCR Extrae texto de imágenes como imágenes, señales de calle y productos en archivos multimedia para crear conclusiones.
Identificación de etiquetas Identifica objetos visuales y acciones mostradas.
Segmentación de escenas Determina cuándo cambia una escena en el vídeo en función de las indicaciones visuales. Una escena representa un único evento compuesto por una serie de tomas consecutivas.
Detección de cortes Determina cuándo cambia una captura de vídeo en función de las indicaciones visuales. Una toma es una serie de fotogramas tomados de la misma cámara de imagen de movimiento.
Extracción de fotogramas clave Detecta fotogramas clave estables en un vídeo.
Detección de pizarras Identifica datos de posproducción cinematográfica, incluida la detección de claquetas, la detección de patrones digitales y la detección de claquetas sin texto.

Modelos de audio

En la tabla siguiente se proporciona una lista de las características de análisis de audio disponibles en Video Indexer.

Feature Descripción
Transcripción de audio: Convierte STT en más de 50 idiomas y admite extensiones.
Detección automática de idioma Identifica automáticamente el idioma hablado dominante.
Identificación de voz en varios idiomas Identifica el idioma hablado en diferentes segmentos de audio, envía cada segmento que se va a transcribir y los combina en una transcripción unificada.
Subtítulos Crea subtítulos en los formatos Web Video Text Tracks (WebVTT), Timed Text Markup Language (TTML) y SubRip Subtitle (SRT).
Procesamiento de dos canales Detecta transcripciones independientes automáticamente y las combina en una sola escala de tiempo.
Reducción de ruido: Limpia el audio de telefonía o las grabaciones ruidosas basándose en los filtros de Skype.
Enumeración de altavoces Determina y comprende qué hablante dijo qué palabras y cuándo. Puede detectar 16 altavoces en un solo archivo de audio.
Traducción Crea traducciones de la transcripción de audio en muchos idiomas diferentes.
Detección de efectos de audio Detecta efectos de audio en segmentos que no son de habla, incluyendo alarmas o sirenas, un perro ladrando, reacciones de la multitud, sonidos de impacto fuerte, risas, cristales rotos y silencio.

Modelos de audio y vídeo combinados

Las siguientes características analizan el contenido de audio y vídeo.

Feature Descripción
Extracción de palabras clave Extrae palabras clave de voz y texto visual
Extracción de entidades con nombre Extrae marcas, ubicaciones y personas de voz y texto visual a través del procesamiento de lenguaje natural (NLP)
Inferencia de temas Extrae temas basados en varias palabras clave mediante la ontología jerárquica del Consejo Internacional de Telecomunicaciones de Prensa (IPTC), Wikipedia y Video Indexer
Análisis de opiniones Identifica sentimientos positivos, negativos y neutros a partir del habla y del texto visual.

Para más información, consulte Introducción a Video Indexer.

Casos de uso para Video Indexer basado en la nube

En la tabla siguiente se proporciona una lista de posibles casos de uso para Video Indexer basado en la nube.

Caso de uso Descripción
Búsqueda profunda Mejore la experiencia de búsqueda en una biblioteca de vídeos mediante la información que Video Indexer extrae. Por ejemplo, cuando indexa palabras habladas y caras, los usuarios pueden encontrar momentos en un vídeo cuando una persona habla palabras específicas o cuando dos personas se ven juntas. Estos casos de uso se aplican a cualquier sector que tenga una biblioteca de vídeos que los usuarios necesiten buscar, incluidas agencias de noticias, institutos educativos, emisoras, propietarios de contenido de entretenimiento y aplicaciones de línea de negocio (LOB).
Creación de contenido Cree trailers, montajes destacados, contenido para redes sociales o clips de noticias basados en el análisis que Video Indexer extrae de su contenido. Los fotogramas clave, los marcadores de escena y las marcas de tiempo de las personas junto con la presencia de etiquetas simplifican el proceso de creación.
Accesibilidad Haga que el contenido esté disponible para personas con discapacidades o distribuya contenido a regiones que usan diferentes idiomas mediante las funcionalidades de transcripción y traducción que proporciona Video Indexer.
Monetización Aumente el valor de los vídeos. Los sectores que dependen de los ingresos de anuncios, como los medios de noticias y las redes sociales, pueden entregar anuncios relevantes mediante la información extraída como señales adicionales al servidor de anuncios.
Moderación de contenido Mantenga a los usuarios a salvo del contenido inadecuado y confirme que el contenido que publica coincide con los valores de su organización mediante modelos de moderación de contenido textual y visual.
Recomendaciones Mejore la interacción del usuario resaltando los momentos de vídeo pertinentes para los usuarios. Al etiquetar cada vídeo con metadatos adicionales, puede recomendar los vídeos más relevantes y resaltar las partes que coinciden con las necesidades de los usuarios.

Casos de uso de Video Indexer habilitados por Azure Arc

En la tabla siguiente se proporciona una lista de posibles casos de uso para Video Indexer habilitado por Azure Arc.

Caso de uso Descripción
Comercio minorista Optimice los diseños de la tienda y mejore la experiencia y la seguridad del cliente. Monitorear el número de clientes en líneas de caja en tiempo real para optimizar la dotación de personal y reducir los tiempos de espera.
Fabricación Garantizar el control de calidad y la seguridad de los trabajadores a través del análisis de vídeo. Detecte a los trabajadores que no llevan equipos de protección con detección en tiempo real de eventos críticos.
Seguridad moderna Detecte e identifique problemas de seguridad y protección antes de que causen un riesgo.
Gobernanza de datos LLeva la IA al contenido. Use Video Indexer habilitado por Arc cuando no pueda mover contenido indexado de un entorno local a la nube debido a regulaciones, decisiones de arquitectura o almacenes de datos grandes.
Indexación previa Indexe el contenido antes de cargarlo en la nube. Realice una ordenación previa del archivo de audio o vídeo local y, a continuación, cárguelo solo para la indexación estándar o avanzada en la nube.
  • Se actualizó por última vez el