Mi equipo construyó un modelo de IA que predice el ROI de una campaña de influencers antes de que lancemos. Tiene 92% de accuracy histórica. Suena perfecto, ¿verdad?
Pero cuando miramos más profundo, nos damos cuenta de algo preocupante: el modelo es genial prediciendo en datos que ya vio. Cuando lo probamos con un mercado nuevo, o un tipo de influencer que no teníamos en datos de entrenamiento, cae a 60% de accuracy.
Esto me hace preguntarme: ¿realmente el modelo entiende los drivers del ROI (audiencia relevante, alineación de brand, calidad de contenido), o solo memorizó patrones de campañas pasadas?
He escuchado de modelos que se validan diferente:
- Algunos usan backtesting riguroso en datos nunca vistos.
- Otros piden validación de expertos humanos (marketers con 10+ años) que digan «sí, esto tiene sentido».
- Otros incorporan benchmarks de comunidad en tiempo real para actualizar predicciones.
Mi pregunta: ¿cómo diferenciamos entre un modelo que realmente entiende ROI y uno que solo está siendo un papagayo de datos históricos? ¿Qué preguntas debería estar haciendo antes de confiar un presupuesto grande?
Este es el miedo más grande. Construimos un modelo similar y descubrimos exactamente esto. 92% en datos históricos, 65% en nuevas campañas.
Lo que ayudó: validar con tres cosas:
- Variables explícitas: El modelo puede explicar qué variables importan? (audiencia relevante, engagement, brand fit). Si no puede, no confíes.
- Backtesting fuera de muestra: ¿Accuracy en datos que nunca vio? Si cae >20%, está overfitting.
- Experto review: Muestra predicciones a marketers senior. Si dicen «no tiene sentido», probablemente no lo tiene.
Ahora usamos el modelo como punto de partida, no como verdad absoluta.
Esto me parece obvio: si un modelo no puede explicar POR QUÉ predice X ROI, no debería existir. Yo quiero saber si un brand va a pagar bien porque: tengo audiencia relevante, engagement es real, mis conversiones pasadas con marcas similares fueron buenas.
Un modelo que solo dice «92% accuracy» sin poder explicar? Es una caja negra. Insistan en transparencia.
Aquí está el problema: ROI en influencer marketing depende de contexto (mercado, temporada, product positioning) que cambia continuamente. Un modelo entrenado en 2023 es obsoleto en 2024 si no re-entrena constantemente.
La prueba real: ¿cuándo fue la última vez que el modelo se validó en datos completamente nuevos? ¿Puede explicar sus predicciones en palabras de marketing, no solo números? ¿Los expertos humanos están de acuerdo?
Si el modelo baja >15-20% de accuracy en datos nuevos, está memorizando. No confíes presupuestos grandes en eso.