En otro post, hablé por encima de los Test A/B y de su importancia para conseguir mejorar el éxito de nuestro servicio o producto. Como normalmente lo aplico en mi mundo informático, continuaré el post poniéndonos en el caso de que hayamos desarrollado un sitio web y seamos los encargados de sacarle jugo 😉

Un test A/B es un experimento que hacemos en nuestro sitio web durante el cual probamos dos variantes en nuestra web durante un cierto tiempo, pasado ese tiempo medimos resultados y elegimos cual de las dos opciones es la más productiva.

Vamos por partes.

Elegir las opciones

Para llevar a cabo el test, primero tenemos que decidir qué es A y qué es B. Aunque cada uno es libre de probar lo qué crea más conveniente, existen una serie de pautas generales:

• La opción A suele ser dejar el sitio como está. No hacer ningún cambio.
• La opción B debería consistir en implementar algún cambio en la web que lo diferencie de A. Pero este cambio, en la medida de lo posible debe ser:
  • Pequeño: No podemos cambiar toda la web de golpe ya que si hacemos eso, metemos en juego muchas variables que alterarían el test, de forma que no sabremos si una opción u otra funciona mejor y por qué. Más adelante veremos como esto no sería sencillo.
  • Similar: Se desprende realmente del punto anterior, si comparamos peras con manzanas, no tendremos resultados fiables.
  • Fácil de implementar: Este punto es quizás el menos necesario. Normalmente se prueban cambios relativamente sencillos,si un cambio es muy complejo, es mejor asegurarse antes por otros medios si realmente va a mejorar o no la opción actual ya que en el caso de que no lo haga, habremos tirado tiempo y dinero en el cambio. Y eso nunca sobra.

Decidir qué mediremos

Con las opciones decididas, podemos pasar al punto de las mediciones. Medir es imprenscindible, debemos establecer unas métricas claras y objetivas que midan cómo se está comportando cada opción. Algunos ejemplos:

• Tenemos el típico botón Comprar, en nuestra web de comercio electrónico. Lo tenemos colocado en la parte inferior derecha tras un párrafo explicando el producto que vendemos y vamos a probar si centrando el botón en la pantalla conseguimos más ventas del producto. En este caso, la métrica es clara y objetiva: Número de ventas del producto.
• Otro caso podría ser el de los banners publicitarios, nuestro diseñador nos ha creado una variante del banner que ya tenemos en la web, de colores más agresivos para resaltar la atención del usuario y lo vamos a probar. Aquí la métrica sería el número de veces que los usuarios han pulsado en el banner.

Nunca nos deberemos guiar por nuestra intuición, sino con números objetivos, que esos no mienten. Pueden decir cosas diferentes según nuestras interpretaciones pero como la interpretación es nuestra y va a ser la misma, los números no mienten 😉 ).

Decidir cuánto tiempo mediremos

Simplemente por una cuestión práctica, debemos establecer cuánto tiempo estaremos con las dos opciones en marcha. Un día, una semana, un mes o lo que cada caso requiera. Cuanto más tiempo midamos, más efectivo será el test porque reduciremos la casualidad.

Que algo funcione mejor durante un día es bueno, pero puede ser algo puntual, que lo haga una semana no tanto y que esté un año dando mejores resultados desde luego que no es puntual.

Decidir el objetivo

Ya hemos decidido cómo vamos a medir los resultados de las dos opciones y durante cuánto tiempo lo haremos, ahora necesitamos saber qué debe ocurrir para que la opción B supere a la A (en el caso que la A haya sido dejar el sitio tal y como está).

Es decir, a lo mejor un incremento de un 0,05% en las ventas de nuestro producto en la opción B no nos es suficiente ya que puede haberse debido a simplemente una cuestión de azar, ya que no podemos medir infinitamente, seguramente necesitemos un cambio sustancial en los resultados para aceptar el cambio.

Cada caso es diferente y no se pueden establecer valores concretos, es el diseñador del test quien debe decidirlo. Para algunos necesitará mejorar un 20% los accesos (o ventas, o clicks en el banner, etc.), otros querrán un 40% y otros un 80%, y todos son correctos.

Normalmente el tiempo que dura el test y el objetivo están relacionados. Cuanto más tiempo dure el test, más fiable es el resultado y por tanto menos margen de mejora solemos necesitar.

 Probar las dos opciones

Llega el punto crítico. Hay que probar las dos opciones. Si, he dicho las dos opciones. En los tests A/B no se prueba primero una opción y luego otra, sino que se prueban las dos a la vez, ya que de esta forma conseguimos que todo sea exactamente igual excepto nuestro cambio a valorar.

Si probáramos por ejemplo una opción durante un mes, y la otra opción durante el mes siguiente, podría pasar que los meses son diferentes en cuanto a nuestro producto. Por ejemplo, no es lo mismo vender viajes en Junio que en Julio, si los meses son diferentes, el entorno es diferente y por tanto no podemos achacar que la mejora o pérdida sea por el cambio.

Vale, tenemos claro que hay que probar a la vez los cambios, ¿pero cómo?

Existen dos puntos importantes a cumplir:

• Que una persona nunca perciba que algo varia en la web aleatoriamente. Si nuestro cambio es centrar un botón, un mismo usuario siempre lo verá o centrado o alineado a la derecha, pero no a veces centrado y a veces en la derecha.
• Que distribuyamos bien el número de veces que se muestran las dos opciones. No sería nada útil si la opción B  la mostramos a sólo el 1% de los visitantes de la web mientras que al resto le mostramos la versión A del sitio.

Este punto técnicamente es el más complejo y el que más quebraderos de cabeza nos puede dar a los desarrolladores. Podemos conseguirlo con las cookies; cuando una persona llega por primera vez a nuestro sitio, decidimos que opción mostrarle, la guardamos en una cookie y siempre que entre le mostraremos esa opción (hasta que borre las cookies). O si tenemos usuarios registrados, lo podemos implementar teniendo en cuenta el usuario conectado. Pero eso da para otro post, y mucho más largo todavía que este.

 Fin del experimento, medimos y decidimos

Y llegamos al punto final, pero al más sencillo ya que habremos hecho buen trabajo previamente. Hemos decidido qué probaremos, cuánto tiempo probaremos, cómo mediremos resultados y qué haremos en cada caso.

Así que pasado el tiempo estipulado, acudimos a nuestras métricas, revisamos cómo ha funcionado cada opción y nos quedamos con la mejor. La implementamos definitivamente y descartamos la peor opción.

Es conveniente que a pesar de haber definido un tiempo para hacer las pruebas, vayamos observando como se comportan las dos opciones, no sea que estemos perdiendo mucho con el cambio y merezca la pena cortarlo de raíz antes que continuar con el experimento.

Con lo indicado anteriormente seremos capaces de diseñar buenos tests A/B, evitaremos hacer cambios al tuntún y mejoraremos nuestro producto o servicio (o no, pero lo intentaremos de una forma civilizada).