¿cómo predecir rendimiento de campaña de influencer antes de gastar presupuesto sin caer en ilusión estadística?

Tengo un problema que creo que muchos comparten: modelos de IA que predicen ROI, pero no estoy seguro si realmente predicen el futuro o solo son buenos en reproducir patrones del pasado.

Tengo históricos de campañas. Sé qué influencers funcionaron y cuáles no. Podría entrenar un modelo que diga “influencers con estas características generarán X ROI”. El modelo sería probablemente 80% preciso en retrospectivo. Pero ¿significa eso que va a actuar bien en la próxima campaña? No necesariamente.

El riesgo es lo que llamo “ilusión estadística”: confundir correlación histórica con causalidad futura. Un influencer que funcionó en 2022 podría no funcionar en 2024 porque los mercados cambian, las audiencias evolucionan, las dinámicas de plataforma se mueven.

Lo que he empezado a investigar es cómo combinar modelos predictivos con validación desde expertos que realmente entienden por QUÉ ciertos influencers funcionan. No solo “estos números históricamente han funcionado”, sino “en nuestro mercado actual, estos tipos de influencers están funcionando porque…”.

Porque cuando tengo esa context—cuando entiendo los drivers reales del performance, no solo los numbers—puedo confiar más en una predicción.

¿Cómo están validando ustedes que una predicción de IA es realmente confiable y no solo ruido estadístico? ¿Qué tan profundo van en entender EL POR QUÉ detrás de los números?

Exactamente. Esta es la diferencia entre tener un modelo predictivo que se ve bien en backtesting y un modelo que realmente funciona en el mundo real. He cometido este error dos veces.

La trampa es que si tu período de training es corto o los mercados que incluiste eran especialmente estables, el modelo looks amazing. Pero entra en un período diferente o un mercado con dinámicas nuevas, y falla.

Lo que cambió para nosotros fue: (1) validar que los drivers del prediction tienen sentido económico, NO solo que produzcan números bonitos, (2) entender CÓMO cambios en mercado afectan esos drivers, (3) incluir inputs de personas que monitorizan mercados activamente.

Tengo un modelo sencillo que predice performance: incorpora tamaño del influencer, engagement rate, relevancia de audiencia para el product, tendencias recientes en ese nicho. Pero además, obtiene input monthly de directores en cada mercado: “¿qué está cambiando? ¿qué dinámica de influencer está evolucionando?” Eso feedback me ayuda a entender si las supuestos del modelo siguen siendo válidos.

Un modelo que no evoluciona es un modelo muerto. Cada modelo de prediction en influencer marketing tiene fecha de caducidad.

Hemos aprendido a ser muy escépticos con predicciones de IA. Internamente, cuando alguien trae un modelo que dice “este influencer va a generar 4.2% ROI”, la primera pregunta es “¿por qué?” No “¿es preciso?” sino “¿cuál es el mecanismo?”

Porque si la precisión viene de correlación histórica que podría cambiar con condiciones de mercado, eso no genera confianza. Preferimos modelos simples que podemos explicar, versus modelos complejos que son cajas negras.

Un ejemplo: en lugar de un modelo neural network complejo, usamos un framework que cuenta: tamaño del influencer, densidad de audiencia relevante, recencia de engagement, historial de partnerships exitosas, y contextualiza eso localmente. Es menos sofisticado, pero podemos explicar CADA decisión.

Antis de gastar presupuesto significante en un influencer, validamos la predicción con alguien en ese área que tiene years of intuición. La IA propone, la experiencia humana valida.

Desde creador, lo que pido es que si están usando IA para predecir cómo voy a performer, que sea consciente de contexto. Mi audience puede estar super engaged, pero si la marca no es relevante para ellos, la campaña falla. Y eso, un modelo que solo mira mis números históricos, no lo captura.

Lo que me toma en cuenta mejor: cuando marca entiende mi audience, entiende mi nicho, entiende por qué mis followers me siguen. Luego, puede predecir si una partnership va a funcionar porque entiende el match, no solo los números.

Entonces sí, pueden usar IA para hacer predicciones, pero validenlo con gente que entiende context. Especialmente en mercados donde no tienen mucha experiencia.