Blog - Mr Suricate

Estudio de LaBRI Universidad de Burdeos X Mr Suricate | Compruebe que sus pruebas simulan el comportamiento de sus usuarios reales

Escrito por Mr Suricate | 19 Ene 2023 14:02:07

Las pruebas de extremo a extremo (E2E) permiten detectar defectos en aplicaciones web imitando el comportamiento de usuarios reales.

La mayor debilidad de este método es que las pruebas no siempre representan el comportamiento de los usuarios reales, lo que desvirtúa por completo su propósito.

Para resolver este problema, hemos estado trabajando en colaboración con el Laboratoire de Recherche en Informatique (LaBRI) de la Universidad de Burdeos con el fin de encontrar una forma de mejorar las pruebas E2E identificando exactamente cuándo, dónde y cómo difieren las pruebas del comportamiento de los usuarios reales para poder corregirlas.

Un nuevo método puesto a prueba

El método que se probó en este estudio tenía dos componentes básicos:

1. Una herramienta de registro automático

En primer lugar, se utilizó una herramienta de grabación no intrusiva para registrar trazas de ejecuciones de prueba, así como trazas de usuarios reales interactuando con la aplicación.

Para facilitar la comprensión de las grabaciones, se asociaron capturas de pantalla a cada interacción (lo que fue posible gracias a la API de la extensión Chrome).

Estas claras representaciones visuales de las pistas proporcionaron una comprensión detallada de los objetivos y de cualquier interacción particular.

2. Algoritmo Diff (Diffing Traces)

El objetivo de un algoritmo/interfaz diff era identificar y resaltar las diferencias entre las ejecuciones de una prueba y el mismo escenario ejecutado por uno o varios usuarios.

Una traza captura las interacciones a través de la interfaz web (clics y pulsaciones de teclas) y puede registrarse cuando se ejecuta una prueba o cuando un usuario navega por la aplicación web.

Comparar una traza de prueba de un script con una traza de usuario permite poner de relieve sus diferencias en términos de interacción, e identificar :

  • Las interacciones perdidas por la prueba.
  • Acciones realizadas por la herramienta de prueba, pero no por el usuario o viceversa.
  • Cualquier otro tipo de divergencia.

 

Evaluación del método

Al final, comprobamos que el algoritmo sí era capaz de identificar :

  • Nuevas interacciones que son más relevantes para la experiencia real del usuario que las utilizadas en la prueba.
  • Las trazas mal formadas, que permiten a los probadores comprender dónde deben mejorar sus pruebas.

Estos resultados nos llevaron a la conclusión de que este proceso complementa perfectamente todos los kits de herramientas de pruebas E2E mejorando la calidad de las pruebas implementadas utilizando los marcos más populares (Playwright, Cypress, etc.).

Pudimos identificar exactamente dónde las pruebas no estaban sincronizadas con la aplicación o se alejaban demasiado del comportamiento de un usuario real.

En el futuro, nos gustaría aprovechar esta experiencia de campo incluyendo a más usuarios en cada escenario para reducir la subjetividad de los resultados y continuar en colaboración con la universidad para seguir desarrollando este método.

Lea el estudio

 

Mr Suricate | Dedicado a la mejora continua de sus pruebas automatizadas

Incluso el mejor software debe ser aún más útil y relevante en el mundo digital en constante cambio, así como las demandas de los usuarios modernos. 

Soluciones de bajo código de Mr Suricate Las soluciones de bajo código han ayudado a innumerables empresas a acelerar su transformación digital, pero también nos centramos en la innovación para satisfacer mejor las necesidades de las empresas de hoy y de mañana.