Geo holdouts: cómo medir incrementalidad real sin cookies

Si tu medición depende de la última cookie que tocó la conversión, estás midiendo atribución, no incrementalidad. Y son cosas distintas. Los geo holdouts —experimentos geográficos con grupo de control— son hoy la forma más fiable de saber cuánto vende de verdad cada canal sin pedirle permiso al navegador.

El problema es conocido: la atribución last-click y los modelos basados en cookies sobreatribuyen a los canales de captura de demanda (típicamente search de marca y retargeting) y subestiman a los canales que la generan. Con la deprecación progresiva de cookies de terceros, el restringido seguimiento en iOS y el endurecimiento del RGPD y la ePrivacy en Europa, ese castillo de naipes se ha vuelto frágil. Necesitamos un método que mida causalidad, no correlación. Ahí entran los experimentos geográficos.

Qué son los geo holdouts y por qué funcionan

Un geo holdout divide tu mercado en dos grupos de regiones comparables: uno recibe la campaña (grupo de test) y otro la mantiene apagada o a nivel reducido (grupo de control). Si las regiones son estadísticamente similares antes del experimento, cualquier diferencia de ventas durante el periodo de test es atribuible a la inversión publicitaria. No a una cookie, no a un modelo de atribución, sino a una comparación limpia entre exposición y no exposición.

La gran ventaja es que la geografía es un identificador que no depende de consentimiento ni de tracking individual. Funcionas a nivel agregado, lo que te deja del lado correcto del RGPD y, de paso, inmune a los próximos cambios de privacidad. Por eso plataformas como Meta y Google llevan años empujando sus propios geo experiments: el resultado es defendible ante un comité de inversión.

Cuándo merece la pena (y cuándo no)

Un geo holdout no es gratis: implica apagar inversión en parte del territorio, y eso tiene coste de oportunidad. Tiene sentido cuando lo que está en juego justifica el aprendizaje. En la práctica, lo recomendamos en estos escenarios:

• Validar un canal nuevo antes de escalarlo: CTV, audio digital o retail media, donde la atribución directa es notoriamente pobre.
• Resolver discusiones de presupuesto entre canales que se atribuyen las mismas conversiones, como brand search y social.
• Calibrar tu modelo de atribución o tu MMM: el geo test aporta el "ground truth" causal con el que ajustar los pesos.
• Medir saturación: subir la inversión solo en el grupo de test te dice si todavía hay retorno marginal o si ya estás pagando de más.

No tiene sentido si tu volumen es bajo (pocas regiones con pocas conversiones generan demasiado ruido) o si tu producto se distribuye de forma muy desigual por geografía. En esos casos, conviene un diseño más sofisticado o complementarlo con otras técnicas.

La pregunta no es "¿a qué canal atribuyo esta venta?", sino "¿qué pasaría con mis ventas si apagara este canal mañana?". Solo la segunda se responde con un experimento.

Cómo diseñar un geo holdout que aguante

El diseño es donde se gana o se pierde la fiabilidad. Lo primero es construir grupos de test y control verdaderamente comparables: no basta con partir España en norte y sur. Se usan métodos como matched markets o modelos de control sintético, que emparejan regiones por su comportamiento histórico de ventas, no por su tamaño nominal. Cuanto mejor predice el control la evolución del test en el periodo previo, más limpia será la lectura.

Después hay que dimensionar la potencia estadística: definir de antemano el efecto mínimo detectable, la duración (rara vez menos de cuatro a seis semanas) y el presupuesto que separa de forma significativa ambos grupos. Un error común es lanzar el test sin un cálculo previo de potencia y acabar con un resultado "no concluyente" que en realidad nunca pudo concluir nada. Igual de importante es bloquear el periodo: nada de cambiar creatividades, pujas o promociones a mitad del experimento, porque contaminas la lectura.

Del experimento a la decisión

Un geo holdout bien ejecutado no termina en un PDF con un número de incrementalidad. Termina recalibrando cómo repartes el presupuesto. Si el test demuestra que tu retargeting aporta la mitad de incremental de lo que decía la atribución, ese dinero rinde más en captación. Si un canal "caro" resulta ser el que más mueve la aguja causal, defiende su inversión con datos, no con fe.

En Latitude trabajamos la medición como un sistema, no como un informe aislado: experimentación geográfica para el ground truth causal, modelos de atribución y MMM para la lectura continua, y tracking server-side para alimentar todo con datos limpios y conformes al RGPD. Esa combinación full-funnel es la que convierte la incrementalidad en decisiones de inversión, y las decisiones en performance medible. Medir bien no es un lujo analítico: es la diferencia entre escalar lo que funciona y financiar lo que solo parece funcionar.