Las pruebas de extremo a extremo (E2E) permiten detectar defectos en aplicaciones web imitando el comportamiento de usuarios reales.
La mayor debilidad de este método es que las pruebas no siempre representan el comportamiento de los usuarios reales, lo que desvirtúa por completo su propósito.
Para resolver este problema, hemos estado trabajando en colaboración con el Laboratoire de Recherche en Informatique (LaBRI) de la Universidad de Burdeos con el fin de encontrar una forma de mejorar las pruebas E2E identificando exactamente cuándo, dónde y cómo difieren las pruebas del comportamiento de los usuarios reales para poder corregirlas.
.png?width=640&height=360&name=Untitled%20design%20(34).png)
Un nuevo método puesto a prueba
El método que se probó en este estudio tenía dos componentes básicos:
1. Una herramienta de registro automático
En primer lugar, se utilizó una herramienta de grabación no intrusiva para registrar trazas de ejecuciones de prueba, así como trazas de usuarios reales interactuando con la aplicación.
Para facilitar la comprensión de las grabaciones, se asociaron capturas de pantalla a cada interacción (lo que fue posible gracias a la API de la extensión Chrome).
Estas claras representaciones visuales de las pistas proporcionaron una comprensión detallada de los objetivos y de cualquier interacción particular.
2. Algoritmo Diff (Diffing Traces)
El objetivo de un algoritmo/interfaz diff era identificar y resaltar las diferencias entre las ejecuciones de una prueba y el mismo escenario ejecutado por uno o varios usuarios.
Una traza captura las interacciones a través de la interfaz web (clics y pulsaciones de teclas) y puede registrarse cuando se ejecuta una prueba o cuando un usuario navega por la aplicación web.
Comparar una traza de prueba de un script con una traza de usuario permite poner de relieve sus diferencias en términos de interacción, e identificar :
- Las interacciones perdidas por la prueba.
- Acciones realizadas por la herramienta de prueba, pero no por el usuario o viceversa.
- Cualquier otro tipo de divergencia.
Evaluación del método
Al final, comprobamos que el algoritmo sí era capaz de identificar :
- Nuevas interacciones que son más relevantes para la experiencia real del usuario que las utilizadas en la prueba.
- Las trazas mal formadas, que permiten a los probadores comprender dónde deben mejorar sus pruebas.
Estos resultados nos llevaron a la conclusión de que este proceso complementa perfectamente todos los kits de herramientas de pruebas E2E mejorando la calidad de las pruebas implementadas utilizando los marcos más populares (Playwright, Cypress, etc.).
Pudimos identificar exactamente dónde las pruebas no estaban sincronizadas con la aplicación o se alejaban demasiado del comportamiento de un usuario real.
En el futuro, nos gustaría aprovechar esta experiencia de campo incluyendo a más usuarios en cada escenario para reducir la subjetividad de los resultados y continuar en colaboración con la universidad para seguir desarrollando este método.
Mr Suricate | Dedicado a la mejora continua de sus pruebas automatizadas
Incluso el mejor software debe ser aún más útil y relevante en el mundo digital en constante cambio, así como las demandas de los usuarios modernos.
Soluciones de bajo código de Mr Suricate Las soluciones de bajo código han ayudado a innumerables empresas a acelerar su transformación digital, pero también nos centramos en la innovación para satisfacer mejor las necesidades de las empresas de hoy y de mañana.
