Estoy en medio de un proyecto donde intentamos predecir el rendimiento de una campaña con 8 influencers en un mercado donde nunca hemos trabajado antes. Y me doy cuenta de que los modelos de IA que hemos usado para predecir en el mercado ruso o estadounidense simplemente… no funcionan bien aquí.
La razón es obvia en retrospectiva: los modelos estaban entrenados con datos históricos de campañas que ya ejecutamos. Cuando cambias el mercado, la audiencia, el contexto cultural, los datos históricos son casi irrelevantes. Es como intentar predecir el clima de California usando datos de climático de Moscú.
En mi caso específico, he visto que las herramientas de predicción de IA te dan números con una confianza del 85-90%, pero ese número es más una alucinación que una realidad. No sé si el modelo sabe que está operando fuera de su zona de entrenamiento, o si simplemente da un número anyway.
Lo que he aprendido es que necesito umbrales de confianza diferentes según cuánta data histórica tengo. Si tengo 100+ campañas previas en un mercado, confío en las predicciones al 70-80%. Si tengo 10 o menos, bajo considerablemente mi confianza y aumento mi margen de error esperado.
Pero aquí está el verdadero problema: ¿cómo comunicas esto internamente a stakeholders que ven el número 87% y piensan que está científicamente probado? ¿Y cómo decides presupuesto basado en una predicción que sabes que es frágil?
¿Alguien más ha enfrentado esto? ¿Cómo determinan ustedes cuándo una predicción de IA es realmente confiable versus cuándo es solo un número bonito?
Hablaste de algo que pienso constantemente: la diferencia entre un modelo que genera números y un modelo que entiende la incertidumbre.
En mi experiencia, las herramientas comerciales de IA rara vez te dan un intervalo de confianza real. Te dan un número puntual: “87%”. Pero lo que necesitarías para tomar decisiones inteligentes es: “87%, más o menos 15 puntos porcentuales, con el 60% de certeza.”
Lo que hago es agregar un paso manual de validación: después de que el modelo predice, hago tres preguntas:
- ¿Cuál es el peor caso razonable? (No el extremo, lo razonable)
- ¿Cuál es el mejor caso?
- ¿Hay variables que el modelo no ve porque no están en mis datos históricos?
Para la pregunta 3, a menudo la respuesta es sí. Puede estar relacionada con cambios en algoritmo de plataforma, tendencias de mercado que no capturaste antes, o diferencias culturales sutiles.
Entonces presupuesto con un escenario base (la predicción), pero reservo 15-20% del presupuesto como “optionalidad” para ajustar en tiempo real basado en cómo realmente se comportan los influencers en las primeras 2 semanas.
Mark tiene razón, pero agregar una capa más: con clientes, nunca presento una predicción de IA sin un “asterisco” muy visible.
Decimos algo como: “Basado en nuestros datos, esperamos un rendimiento X, pero esto se ajustará cuando veamos data real de primeros días.” Y establecemos checkpoints de revisión a día 3, 7 y 14.
He visto agencias que confían ciegamente en predicciones de IA y luego es sorpresa cuando falla. Nosotros simplemente no lo hacemos. La IA es una entrada más, no una fuente de verdad.
Desde mi lado, solo puedo decir que cuando un brand ofrece una campaña basada en predicciones de IA sobre mi rendimiento que hace 2 años no hubiéramos podido calcular, desconfío. No porque sea mala predicción, sino porque significa que el brand está asumiendo complejidad que realmente no entiende.
Mis mejores colaboraciones son con brands que dicen: “Esperamos X, pero ajustaremos basado en cómo resulta realmente.” Eso es un partner que piensa en realidad.