El test de usuarios ¿cualitativo o cuantitativo?

Preparando mi charla para el UXSpain 2013, me surge la necesidad de pensar una vez más en un tema que cada poco tiempo se pone sobre la mesa: la discusión sobre si los tests de usuarios son una metodología cualitativa o cuantitativa. Yo tenía mi opinión, pero no la tenía tan clara hasta ahora que le leído a Jon Innes en su artículo "Usability Testing Is Qualitative Only If You Can’t Count" (2011).

Mi conclusión es lo que ya os parecerá obvio:

• Cualitativo = sin números
• Cuantitativo = con números y por tanto con cálculos estadísticos

El test de usuarios tiene de ambas cosas (si queremos, no necesariamente tiene que tener las dos):

• Es cualitativo porque hay una parte fundamental basada en la observación mientras el usuario realiza las tareas, y otra parte muy importante que es la entrevista final, donde el usuario nos trasmite su percepción
• Es cuantitativo porque medimos lo que ha sucedido durante el test: si ha terminado la tarea con éxito, si ha necesitado ayuda, el tiempo que ha tardado, el número de errores que ha cometido... y si le hemos pasado una encuesta, también se cuantificarán las respuestas dadas.

El otro tema que salta automáticamente es el de la muestra. ¿Puedo aplicar estadística con 2 usuarios?  La respuesta no la voy a dar yo, ya la dio Jim Lewis recientemente en el curso de Estadística para UX en el CHI 2013: sí, claro que puedes aplicara estadística con una muestra de 2 usuarios... ahora bien, no esperes encontrar mucha precisión, tendrás intervalos de confianza muy amplios, del tipo "entre el 20% y el 80% de la población podría mostrar este comportamiento", y se si trata de comparar los resultados de los 2 usuarios, no podrás afirmar que la diferencia encontrada entre ambos sea estadísticamdente significante (sí, el esperado 0,05 de nuestro amigo el p-valor) 

Por lo tanto, si hay pocos o muchos usuarios no tiene que ver a priori con si es cualitativo o cuantitativo el estudio, eso es un tema aparte que tiene que ver con la precisión que se requiere en las estadísticas para la toma de decisiones. Pero es evidente que a mayor muestra, mayor precisión. Otra cosa es que realmente necesitemos más muestra, y si no leed a Jeff Sauro (2010), defensor de muestras pequeñas para UX:

• Sauro, Jeff. “A Brief History of the Magic Number 5 in Usability Testing.” Measuring Usability, July 21, 2010. Retrieved February 19, 2011.
• Sauro, Jeff. “Why You Only Need to Test with Five Users (Explained).” Measuring Usability, March 8, 2010. Retrieved February 19, 2011.