Un tema del que me gusta hablar a menudo es de medir la experiencia que estamos diseñando. De poco sirve un diseño bonito, incluso que “guste” o sea “divertido” si no podemos saber si ha cumplido los objetivos para los que la creamos.
Cuando medimos, lo podemos hacer en base a números (medida cuantitativa) o en base a texto (medida cualitativa). Hay que entender bien las diferencias y usar cada uno de ellos, o una combinación de ellos, cuando es necesario.
Las medidas cuantitativas nos dicen cuánto de grave es un asunto. Cuánta gente participa, interactúa o contesta; qué parte de un proceso da más problemas o es causa de abandono; cuándo y cuánto tiempo usan nuestro sistema; cuánto alumnado suspende y con qué nota, cuánta plantilla no va a trabajar y en qué fechas, etc. Esto es muy útil sobre todo si tenemos un gran volumen de participación, ya que son valores numéricos y estadísticos.
Las medidas cualitativas nos dicen por qué está pasando lo que está pasando. Por qué participan o no lo hacen en nuestro sistema, por qué tienen problemas al interactuar, si es por un mal diseño o por diseñar para unos esquemas mentales equivocados; qué les hace no querer ir a clase o al trabajo, si es porque hay mal ambiente, se aburren, se les exige más (o menos) de lo que sacan a cambio, etc.
Algunas palabras clave para medir la experiencia:
- Medidas: Los cambios que podemos observar tras implementar el sistema
- Métricas: Medidas a las que podemos hacer seguimiento
- KPI: Métricas que consideramos importantes en nuestro sistema
- Analítica: Medidas que se pueden rastrear en un sistema digital
Podemos hablar de al menos tres tipos de medidas:
Medidas del valor del problema. ¿Cómo de grande es el problema que queremos resolver? Para proponer buenas mecánicas de juego, adecuadas al problema que queremos resolver, primero tenemos que conocer bien el problema. Hay problemas pequeños, con consecuencias ligeras, y problemas grandes, con consecuencias graves en intensidad o en tiempo. Y también hay problemas que resolverlos tendrá un coste pequeño y otros que tendrán un coste algo.
Medidas de progreso. ¿Cuánto de cerca estamos de tener éxito? Saber si estamos cerca o lejos de conseguir un objetivo va a ayudarnos a motivar a nuestro público. No basta con tener la mirada en el objetivo final. Es importante tener los ojos en el suelo, siendo conscientes de cada paso que damos. La sensación de progreso es una de las bases de los sistemas de juego.
Métricas de éxito. ¿En qué hemos mejorado a nuestra persona usuaria? Ya sea su conocimiento, la recuperación de su rodilla o la ejecución de una maniobra, ¿Cuánto es mejor que antes? Para esto también tenemos que saber de dónde partimos. Tan importante es medir lo que pasa en nuestro sistema como tener una medida previa de referencia.
Los tres tipos de problemas se pueden medir de forma cuantitativa, con un valor numérico, como una escala de gravedad, una medida de progreso y una nota final, y también cualitativa, con rúbricas que evalúen la facilidad de uso, su adecuación al problema, la sensación de progreso y lo aplicable de lo aprendido, por poner unos ejemplos.
Tenemos herramientas comerciales que nos pueden ayudar a medir, sobre todo en entornos digitales, pero también en analógicos. Existen numerosos sistemas para medir de forma cuantitativa, como la escala de Likert o el cuestionario SUS y también cualitativa, como entrevistas o sesiones de cocreación (hablaré de ellos en otra ocasión), sin embargo, no es raro que tengamos que construir nuestras propias herramientas, según sea el tamaño o el acceso que tengamos al grupo que queramos medir.
Lo primero que tenemos que hacer es tener claro qué queremos medir y por qué lo queremos medir. Cuál es la importancia de ese dato y qué vamos a ganar si lo medimos. Tenemos que entender lo que estamos midiendo. Si no entendemos una medida, es mejor no usarla. Y, sobre todo, dudemos de su precisión. Es normal que haya errores en las mediciones, tanto las cuantitativas como en las cualitativas, por lo que deben servirnos de guía, pero no siempre las seguiremos a rajatabla. ¿La muestra que tenemos es suficientemente grande? ¿La herramienta que he usado para medir es precisa? ¿Las personas usuarias han podido cometer errores por un mal diseño del sistema o están generando datos que no se corresponden con la realidad (como contestar un test sin leer la pregunta)?
Quienes participan en un sistema de juego reflejan una actitud hacia nuestro diseño, y las personas no son buenas comunicándonos sus motivaciones y estados de ánimo. Lo que dicen y lo que piensan pueden ser cosas bien diferentes. Es importante contar con un buen método que nos permita medir lo que realmente está pasando para poder corregir y mejorar el sistema.
