Geo holdouts: cómo medir la incrementalidad real en marketing

La mayoría de los dashboards de atribución dicen la verdad a medias. Un modelo multi-touch bien montado reparte crédito entre canales, pero no responde a la pregunta que de verdad importa para el negocio: ¿qué habría pasado si este canal no hubiera existido? Los geo holdouts —experimentos geográficos donde se apaga o reduce la inversión en un grupo de mercados y se compara con un grupo de control— son la forma más directa de responder eso.

El problema no es nuevo, pero se ha vuelto urgente. Entre la desaparición progresiva de las cookies de terceros, el impacto del consentimiento en el tracking y el ruido que introducen los modelos de last-click o data-driven cuando el customer journey cruza dispositivos, muchos equipos de marketing están tomando decisiones de presupuesto sobre atribución que ya no refleja la realidad. La incrementalidad no es una moda analítica: es la única forma de saber si un euro invertido en un canal genera negocio nuevo o simplemente absorbe demanda que iba a llegar de todos modos.

Qué mide un geo holdout y qué no mide la atribución

Un geo holdout consiste en dividir el mercado en regiones (provincias, códigos postales, DMAs si se opera en varios países) y aplicar tratamientos distintos: en unas zonas se mantiene la inversión normal, en otras se reduce o se elimina por completo durante un periodo determinado. La diferencia en conversiones, ventas o registros entre el grupo tratado y el grupo de control, ajustada por estacionalidad y tendencia previa, es el lift incremental real del canal.

La atribución, en cambio, reparte conversiones que ya han ocurrido entre los puntos de contacto que las precedieron. Es útil para entender el recorrido del usuario, pero asume implícitamente que cada touchpoint contribuyó de forma causal, algo que rara vez es cierto. Un geo holdout no reparte crédito: genera un contrafactual. Por eso las dos herramientas no compiten, se complementan: la atribución explica el cómo, el holdout explica el cuánto.

Cuándo tiene sentido montar un experimento de este tipo

No todos los canales ni todos los presupuestos justifican un geo holdout. Antes de diseñar uno conviene comprobar varias condiciones:

• El canal tiene inversión suficiente como para que apagarlo genere una señal detectable en el KPI de negocio, no solo en métricas de plataforma.
• Existen suficientes unidades geográficas comparables (por volumen de población, comportamiento histórico de compra) para formar grupos de control robustos.
• El negocio puede tolerar una caída temporal de resultados en las zonas de control durante las semanas del experimento.
• Hay un sistema de medición independiente de la plataforma publicitaria (CRM, ventas offline, GA4 con conversiones server-side) para no depender del propio canal que se está midiendo.

En mercados como el español, donde el volumen a nivel de código postal o provincia puede ser limitado fuera de las grandes áreas metropolitanas, conviene agrupar regiones con perfiles demográficos y de consumo similares en lugar de tratar cada provincia como unidad independiente. Forzar granularidad donde no hay volumen solo produce ruido estadístico disfrazado de insight.

El diseño importa más que la herramienta

Hay soluciones comerciales para gestionar geo experiments, pero el punto crítico no es la herramienta, es el diseño: duración suficiente para capturar el ciclo de compra completo, periodo de pre-test para validar que los grupos eran comparables antes de la intervención, y un análisis que controle por estacionalidad y eventos externos (campañas de la competencia, festivos locales, cambios de precio).

Un geo holdout mal diseñado no da una respuesta equivocada: da una respuesta con apariencia de rigor, que es peor porque nadie la cuestiona.

La tentación habitual es interpretar el primer resultado como definitivo. Un solo holdout es una fotografía, no una película: la incrementalidad de un canal varía según la estacionalidad, el nivel de saturación de la inversión y la actividad de la competencia. Los equipos que mejor gestionan esto tratan los geo holdouts como un programa recurrente —trimestral o semestral por canal clave— y no como un proyecto puntual que se archiva tras la primera lectura.

De la incrementalidad a la decisión de presupuesto

El valor real de un geo holdout aparece cuando sus resultados se cruzan con el coste marginal de cada canal. Un canal puede tener una incrementalidad alta pero un coste de adquisición marginal que crece rápido según se aumenta la inversión; otro puede tener menos incrementalidad pero mucho margen de escalado antes de saturarse. Esa curva —no el lift aislado— es la que debería mover el presupuesto entre paid media, programática y el resto de palancas full-funnel.

Esto conecta con algo que en Latitude repetimos con nuestros clientes: la atribución multi-touch y los modelos de mix (MMM) no son enemigos de la incrementalidad, son piezas del mismo sistema de medición. Un geo holdout valida y calibra lo que el MMM predice; el MMM permite simular escenarios de presupuesto sin tener que apagar canales cada trimestre. La decisión correcta no sale de un solo dato, sale de un método: diagnóstico honesto de qué se puede medir, diseño experimental cuando el presupuesto lo justifica, y optimización continua basada en lo que el dato —no el dashboard de la plataforma— confirma que funciona.