Ejecutar pruebas automatizadas desde planes de prueba

Servicios de Azure DevOps | Azure DevOps Server | Azure DevOps Server 2022

Ejecute pruebas automatizadas a petición directamente desde Azure Test Plans sin configurar compilaciones o versiones programadas. Seleccione pruebas específicas para volver a ejecutar después de correcciones de infraestructura o nuevas compilaciones y proporcione a los evaluadores una manera sencilla de desencadenar pruebas automatizadas sin experiencia en canalizaciones.

Requisitos previos

Categoría Requisitos
Niveles de acceso Acceso básico o superior. Para administrar planes de prueba, conjuntos y configuraciones, necesita acceso a Basic + Test Plans o una suscripción a Visual Studio Enterprise, Test Professional o MSDN Platforms .
Permisos Editar elementos de trabajo en este nodo, Administrar planes de prueba y Administrar conjuntos de pruebas establecido en Permitir en la Ruta de Área correspondiente. También necesita permisos de lanzamiento (crear, administrar, editar etapa, administrar la implementación). Para obtener más información, vea Release permissions.
Herramientas Un plan de prueba con pruebas automatizadas asociadas a métodos de prueba.
Una canalización de compilación que genera compilaciones que contienen los archivos binarios de prueba.
Una aplicación para probar, implementar a través de flujos de trabajo de compilación y versión o usarse para pruebas a petición.

Configurar el entorno

  1. En Planes de prueba, abra el menú contextual del plan de pruebas y seleccione Configuración del plan de prueba.

    Captura de pantalla que muestra cómo elegir Configuración del plan de prueba.

  2. Seleccione la canalización de compilación que genera compilaciones que contienen los archivos binarios de prueba. Puede elegir un número de compilación específico o permitir que el sistema use automáticamente la compilación más reciente. Se admiten las pipelines de compilación tanto clásica como YAML.

    La captura de pantalla muestra la selección de la compilación y el número de compilación.

  3. Seleccione una canalización de versión creada en la plantilla Ejecutar pruebas automatizadas desde el Administrador de pruebas y, a continuación, seleccione la fase para la ejecución de pruebas. Si no tiene una, seleccione Crear nueva para crear una canalización de versión con una sola fase y la tarea Prueba de Visual Studio ya agregada. Se admiten los canales de lanzamiento clásicos y los pipelines YAML.

    La captura de pantalla muestra la selección de una pipeline de lanzamiento o la creación de una nueva.

    Para obtener más información, consulte ¿Cómo se pasan parámetros a mi código de prueba desde una canalización?

  4. Asigne nombres significativos a la pipeline de lanzamiento y a la etapa.

  5. Si Visual Studio no está instalado en el equipo del agente, agregue la tarea Instalador de Plataforma de Prueba de Visual Studio a la definición de la canalización.

  6. Agregue la tarea Visual Studio Test a la canalización de versión y configúrela de la siguiente manera:

    • Verifique que está usando la versión 3 de la tarea de prueba de Visual Studio.

    • Establezca Seleccionar pruebas usando en Ejecutar pruebas. Para obtener más información, consulte ¿Cómo funciona la configuración de "Ejecución de pruebas"?

    • Establezca vsTestVersion en toolsInstaller.

    • Pruebas de IU en navegadores físicos o clientes pesados: el agente debe ejecutarse como un proceso interactivo con el registro automático habilitado. Configure el agente antes de poner en cola la compilación o versión. La casilla Combinación de pruebas contiene pruebas de IU es solo un recordatorio; no configura automáticamente el agente. En el caso de los exploradores sin encabezado, no se requiere el modo interactivo. Para obtener más información, consulte ¿Se debe ejecutar el agente en modo interactivo o como servicio?

    • Seleccione cómo se aprovisiona la plataforma de prueba y la versión de Visual Studio o la ubicación de la plataforma de prueba que se va a usar.

    • Parámetros de entrada (direcciones URL de la aplicación, cadenas de conexión, etc.): seleccione el archivo de configuración pertinente de los artefactos de compilación. Utilice la tarea Publicar artefactos de compilación si el archivo no está incluido en los artefactos. Puede invalidar los valores en tiempo de ejecución con la configuración Invalidar parámetros de ejecución de pruebas .

    Captura de pantalla que muestra la comprobación de la configuración del número de versión de la tarea.

    Para obtener información sobre la configuración de opciones de la tarea Visual Studio Test, vea Visual Studio Test task.

  7. En el trabajo del agente, compruebe que la cola de implementación tiene como destino las máquinas en las que desea ejecutar las pruebas. Agregue requisitos si sus pruebas requieren agentes específicos del grupo.

    Para distribuir pruebas entre varios agentes, establezca Paralelismo en Varias ejecuciones y especifique el número de agentes.

  8. En la página Pipeline, compruebe que la canalización de compilación que contiene los binarios de prueba está vinculada como origen de artefacto.

    Captura de pantalla que muestra la comprobación de los artefactos de compilación vinculados.

  9. Guarde el canal de lanzamiento.

  10. Si creó una nueva canalización de lanzamiento en el paso 3, vuelva al cuadro de diálogo Configuración del plan de prueba y seleccione la canalización de lanzamiento y la fase que guardó.

    Captura de pantalla que muestra la selección de la tubería de lanzamiento y la etapa.

Ejecución de las pruebas automatizadas

  1. En Planes de prueba, abra el plan de pruebas y seleccione un conjunto de pruebas que contenga pruebas automatizadas.

  2. Seleccione los casos de prueba que se van a ejecutar y, a continuación, seleccione Ejecutar para la aplicación web.

    Captura de pantalla de los puntos de prueba automatizados seleccionados con «Ejecutar para aplicación web» resaltado.

    El sistema valida la selección (solo pruebas automatizadas, omite pruebas manuales), confirma que la tarea Prueba de Visual Studio está configurada correctamente, comprueba los permisos de lanzamiento, crea una ejecución de prueba y desencadena una versión en la fase seleccionada.

    Captura de pantalla que muestra cómo iniciar la ejecución de la prueba.

  1. Seleccione Ver ejecución de pruebas para supervisar el progreso en el Centro de ejecución de pruebas. Los resultados de las pruebas fallidas incluyen el mensaje de error, el seguimiento de la pila, los registros de consola y los datos adjuntos.

  2. Una vez completada la ejecución, la página de detalles de ejecución muestra un resumen de los resultados. Use el vínculo Release (Versión) para abrir la versión que ejecutó las pruebas y ver sus registros.

    Captura de pantalla del resumen actual del centro de ejecución de pruebas con los resultados del caso de prueba.

    Nota

    No es compatible adjuntar manualmente archivos para los resultados de pruebas automatizadas.

  3. En la lista de resultados del caso de prueba, seleccione cualquier prueba para ver su información de depuración detallada.

    Captura de pantalla de los resultados detallados de las pruebas con información de resumen y análisis.

  4. Para ver todas las ejecuciones, seleccione Ejecuciones de planes> de pruebay, a continuación, seleccione una ejecución para abrir sus detalles.

    Captura de pantalla de la lista de ejecuciones de pruebas manuales y automatizadas del centro de ejecución de pruebas.

Para obtener más información sobre cómo filtrar ejecuciones, revisar los análisis y analizar resultados individuales, consulte Administrar ejecuciones de pruebas en Azure DevOps Test Plans.

  1. Seleccione Ver ejecución de pruebas para supervisar el progreso. Los resultados de las pruebas fallidas incluyen el mensaje de error, el seguimiento de la pila, los registros de consola y los datos adjuntos.

  2. Una vez completada la ejecución, la página Resumen de ejecución muestra información general de los resultados. Use el vínculo Release (Versión) para abrir la versión que ejecutó las pruebas y ver sus registros.

    Captura de pantalla de un resumen de ejecución de pruebas de Azure DevOps Server con los detalles del resultado.

    Nota

    No es compatible adjuntar manualmente archivos para los resultados de pruebas automatizadas.

  3. En la página Resultados de la prueba, seleccione una prueba para ver su información de depuración detallada.

    Captura de pantalla de los resultados detallados de pruebas automatizadas en Azure DevOps Server.

  4. Para ver todas las ejecuciones, abra la página Ejecuciones y seleccione una ejecución para abrir sus detalles.

    Captura de pantalla de la página Ejecuciones de Azure DevOps Server con los resultados de la ejecución de pruebas.

Uso de la inteligencia artificial para administrar pruebas automatizadas

Si configura el servidor MCP de Azure DevOps, puede usar asistentes de IA para administrar la ejecución de pruebas automatizadas mediante mensajes de lenguaje natural.

Mensajes de ejemplo para la administración automatizada de pruebas

tarea Mensaje de ejemplo
Búsqueda de casos de prueba automatizados List test cases in test plan <12345> where Automation Status = <Automated>
Comprobación de los resultados de las pruebas Show the latest test run results for test plan <12345> in project <Contoso>
Búsqueda de pruebas con errores List test cases in <Contoso> that failed in the most recent test run
Visualización del historial de ejecución de pruebas Show all test runs in project <Contoso> from the last 7 days
Identificar pruebas no automatizadas List test cases in test suite <67890> where Automation Status = <Not Automated>
Realizar el seguimiento del progreso de la prueba Show the pass rate for automated tests in test plan <12345>
Pruebas inconsistentes Find test cases in test plan <12345> that have both passed and failed results in the last 5 test runs
Análisis de tendencias de errores List test cases in area path <Contoso\\Checkout> that failed more than 3 times in the last 30 days
Encuentra pruebas lentas Show automated test cases in test plan <12345> sorted by average run duration, longest first
Brechas de automatización de auditoría List test cases in <Contoso> with Priority = <1> where Automation Status = <Not Automated>

Sugerencia

Si usa Visual Studio Code, el modo de agente resulta especialmente útil para solucionar problemas complejos de escenarios de prueba automatizada.

  • Para evitar el uso de datos obsoletos o almacenados en caché de consultas anteriores, agrega a tu solicitud: "No utilices datos recuperados previamente".