Uno de los mayores dilemas que enfrento es este: implementar un modelo de IA que predice el rendimiento de una campaña con influencers parece racional. Pero luego ejecutas una campaña que el modelo dijo que sería mediocre, y resulta siendo sorprendentemente buena. O al revés.
Esto sucedió varias veces este año. Un modelo que entrenamos predijo que una campaña con un grupo específico de micro-influencers tendría ROI de ~2.5x. Ejecutamos, y terminó en 3.8x. Por otro lado, otra que predijo 3.2x terminó en 1.9x.
La pregunta que todos se hacen es: ¿confías en las predicciones o duplicas cada decisión con análisis manual?
Lo que descubrí es que la confianza en un modelo no es binaria. Mi flujo actual es:
-
Usar predicciones como punto de referencia, no como verdad absoluta. El modelo me dice “espera 2.5x”, pero eso me sirve para establecer expectativas internas, no para decidir si ejecutar.
-
Validar el modelo regularmente contra resultados reales. Cada mes reviso qué tan acertado fue. En qué casos se equivocó sistemáticamente. A partir de eso, ajusto el modelo.
-
Conocer las limitaciones del dataset. Nuestro modelo fue entrenado con campañas de 2023-2024. Pero sabemos que el panorama cambió mucho en 2025. Así que cuando las predicciones divergen mucho de lo que ves en el mercado ahora, eso es un flag.
-
Usar IA para storytelling competitivo. Una cosa que la IA hace bien es: si tu modelo dice que una campaña típicamente genera 2x ROI, pero un competidor con presupuesto similar consiguió 4x, eso te dice que hay una brecha en tu estrategia que nada tiene que ver con IA.
El resultado final: la IA dice algo, yo analizo por qué dice eso, y luego decido. No es que la IA decida por mí, es que la IA reduce el espacio de análisis.
¿Cuál ha sido su experiencia? ¿Hay un punto donde dicen “confío en este modelo” o siempre están validando?
Sí, este es el verdadero challenge. La respuesta corta es: nunca dejo de cuestionarme. Pero lo que cambió es qué cuestiono.
Anteriormente, cuestionaba cada prediction individualmente. Ahora cuestiono el modelo en su totalidad, cada trimestre. ¿El modelo como clase está funcionando? ¿Sí? Entonces las predictions individuales tienen bastante credibilidad.
Lo que hacemos: ejecutamos ambas estrategias en paralelo durante cierto tiempo. El modelo recomienda invertir 40% en influencers A y 60% en B. Pero hacemos 50-50 y aprendemos. Eso nos cuesta un poco en ROI corto plazo pero ganancias enormes en validación.
Para deals grandes, siempre hay un gatekeeper humano. Para volumen, confío más en la IA.
Desde mi perspectiva como creator, me encantaría que estos modelos simplemente fueran más transparentes. A veces recibo briefings que se sienten como si fueron optimizados totalmente para un algoritmo, no para mi audiencia. Y eso falla.
Porque aquí está lo que la IA no captura: yo sé instintivamente qué resonará con mi comunidad. No es magia, es que he pasado años entendiendo a estas personas. Una IA puede ver que un cierto tipo de content históricamente performó bien conmigo, pero no puede entender el por qué.
Si el modelo dice “hazlo así”, pero yo sé que eso no funciona conmigo, la campaña falla. La IA necesita integrar intuición del creator, no solo datos históricos.
Esto toca un concepto importante: model calibration. No es suficiente saber si un modelo es exact, necesitas saber en dónde es optimista, en dónde es pesimista, y bajo qué condiciones falla.
Lo que recomiendo es un framework de confidence intervals, no point predictions. En lugar de “espera 2.5x”, el modelo dice “espera 2.5x con 70% de confianza, entre 1.8x y 3.4x.”
Cuando tienes confidence intervals, es mucho más fácil saber cuándo confiar versus cuándo validar.
También, asegúrate que estés validando con las métricas correctas. Si el modelo predice ROI pero solo miras revenue, hay desconexión. Necesitas comparar manzanas con manzanas.
Y francamente, si después de 50 campañas el modelo sigue siendo no-mejor que random guessing, entonces sí, abandónalo. Pero la mayoría de empresas dan up antes de que el modelo tenga chance.