Estoy en el punto de escalar las campañas de influencers a través de múltiples mercados—ruso, latam, y US—y la IA que estoy usando para predecir ROI es impresionante, pero también aterradora de depender 100% en ella.
Por ejemplo, hace dos meses usé un modelo predictivo de IA para pronosticar el ROI de una campaña con un influencer en el mercado ruso. El modelo predijo una tasa de conversión del 3.2%, basado en 18 meses de datos históricos. Lanzamos la campaña, y obtuvimos 1.8%. No fue un desastre, pero fue una diferencia del 44% versus la predicción.
Ahora bien, el modelo también tenía un intervalo de confianza del 85%, así que técnicamente estaba “correcto” en términos estadísticos. Pero eso no me ayuda cuando estoy justificando presupuesto a mi CEO.
Lo que me pregunta es: ¿cuál es tu threshold? ¿En qué punto dices “sí, confío completamente en la predicción de IA y voy a all-in”, versus “necesito validación humana adicional”? ¿Tienes un sistema para actualizar tu fe en el modelo cuando fallos? ¿Y cómo manejashandling el hecho de que los datos de diferentes mercados simplemente no se comportan igual?
Ahí está el problema real: los intervalos de confianza del 85% suenan bien hasta que pierdes dinero. Lo que hemos aprendido es que el modelo no está fallando—el contexto está fallando.
Aquí está mi sistema: confío en la predicción de IA si y solo si:
- El modelo fue entrenado en al menos 50+ campañas históricas con influencers en ese mercado específico
- Las variables de entrada (tamaño de audiencia, engagement rate, tipo de contenido) están dentro del 10% de desviación estándar de los datos de entrenamiento
- El intervalo de confianza es mayor al 80%
- He validado manualmente que el influencer aún es “activo” en ese momento (a veces el histórico es viejo)
Para los casos donde no confío 100%, hago un test: presupuesto bajo (15-20% del presupuesto total planeado), lanzamos, medimos los primeros 7 días, y recalibro. Si los números reales están dentro del 10% de la predicción, escalo. Si no, investigo por qué antes de escalar.
Sobre los mercados diferentes: aquí está el insight. Los modelos de IA que usan un coeficiente único para todos los mercados son basura. Necesitas modelos separados para cada mercado, entrenados en datos de ese mercado. El comportamiento de usuario en Rusia no es el mismo que en latam. Los horarios, los triggers de compra, el tipo de contenido que convierte—todo es diferente.
Si tu herramienta no te permite ajustar los coeficientes del modelo por mercado, es demasiado genérica. Búscate una menos “one-size-fits-all”.
Mark tiene razón, pero aquí está el lado práctico: la mayoría de agencias no tienen el presupuesto para mantener modelos separados para cada mercado. Así que lo que hacemos es más simple—usamos la IA como una “brújula”, no como un mapa.
Significa: si la IA predice 3.2% conversion y ejecutas y obtienes 1.8%, eso te dice algo sobre ese influencer o ese mercado en ese momento. Pero para la próxima campaña en ese mercado, nosotros a propósito vamos a ser más conservadores. Empezamos a acumular un “ajuste de realidad” mental.
Sobre la validación: nosotros siempre hacemos auditoría humana para campañas que van a escalar más de $10k. Es el trade-off—cuesta tiempo, pero te salva de esos desfases predictivos.
Desde mi perspectiva, algo que nunca ven los modelos de IA es la creatividad en la ejecución. La predicción podría ser perfecta, pero si yo, como creador, no estoy verdaderamente comprometido con el producto o el mensaje, va a mostrar. La IA no puede predecir eso.
Tal vez parte de tu problema es que el modelo no está capturando el “factor creador”. Cuánto realmente se importa el influencer por hacer que la campaña funcione, versus solo cumplir el contrato. Eso es difícil de cuantificar.