Correr un test A/B parece simple: mostrar dos versiones, medir cuál convierte mejor. En la práctica, hay errores de diseño que invalidan el resultado sin que se note hasta que es tarde.
Testear demasiadas variables a la vez
Cambiar el título, la imagen y el botón en la misma variante hace imposible saber cuál de los tres cambios generó la diferencia. Si el objetivo es aprender (no solo “ganar” el test), conviene aislar variables, aunque eso implique más tests en el tiempo.
Cortar el test antes de tiempo
Ver que una variante “va ganando” a los dos días y cortar el test ahí es uno de los errores más caros: las primeras muestras suelen tener variaciones grandes que se estabilizan con más volumen. Cortar antes de alcanzar significancia estadística real lleva a decisiones basadas en ruido, no en datos.
No considerar la estacionalidad
Correr un test que abarca un fin de semana largo o una fecha atípica (Black Friday, por ejemplo) puede sesgar el resultado sin que se note. El comportamiento del usuario en fechas especiales no siempre representa el comportamiento habitual.
Ignorar el tamaño de muestra necesario
Antes de arrancar, conviene calcular cuántas conversiones hacen falta para detectar una diferencia real con confianza estadística. Sin ese cálculo previo, es fácil terminar un test “a ojo”, sin saber si el resultado es confiable o pura casualidad.
Testear en un canal con tráfico insuficiente
Si una página recibe pocas visitas por semana, puede tomar meses juntar una muestra estadísticamente válida. En esos casos, conviene priorizar tests en las páginas de mayor tráfico, donde el aprendizaje llega más rápido.
La actitud correcta frente a un test que “pierde”
Un test que no gana no es un fracaso si te enseña algo real sobre el comportamiento de tus usuarios. El objetivo de largo plazo es acumular aprendizaje, no ganar cada test individual.
Si estás por lanzar un programa de testing y querés evitar estos errores desde el diseño, escribime por WhatsApp.