Tengo un dilema que probablemente otros tienen también. Estoy usando una herramienta que me da predicciones sobre cómo va a rendir una campaña con ciertos influencers. Los números son plausibles, el modelo parece sofisticado. Pero cada vez que le muestro a un colega, me pregunta: “¿y quién validó esto?”
Y tiene razón. No sé realmente qué tan bueno es el modelo. Sé que hace predicciones. Pero ¿cómo sé si esas predicciones son mejores que mis instintos + experiencia?
He intentado lo siguiente: tomé un modelo que recomendaba 5 influencers para una campaña. Corría la campaña. Comparé resultados reales vs predicciones. Predicciones estaban en ±15% de error. Osea, no perfecto, pero usable.
Pero después: misma herramienta, diferentes influencers, mercado diferente (Argentina en vez de México). Error fue 35%.
Ahora estoy en una posición rara donde: confío en el modelo a veces, pero necesito la validación de un human cada vez antes de commitearme con presupuesto. Y eso derrota el propósito de tener IA que acelera decisiones.
¿Esto es normal? ¿O should I estar buscando mejores herramientas? ¿O mejor: cómo validar rápido un modelo predictivo antes de confiarle presupuesto serio?
Lo que describís es exactamente cómo se debería usar IA en marketing. No es “ejecutar predicción de IA, point and done”. Es “usar IA como advisor, vos tomas la decisión”.
Aquí está el template que funciona:
Evaluación de confiabilidad del modelo:
- ¿Cuántos datos históricos vio para entrenar? (Demasiado poco = overfitting, demasiado mezclado = ruido)
- ¿En qué contexto funciona mejor? (Algunos modelos son excelentes para influencers 100k-500k, pero fallan en micro o macro)
- ¿Cuál es el error típico? (Si el doc dice “±15%”, eso es mejor que ±40%)
- ¿Validaron con datos que el modelo nunca vio?
Tu protocolo de validación:
- Toma predicciones del modelo para 5-10 campañas nuevas
- Para cada una, calcula error: |Predicción - Resultado Real| / Resultado Real
- Si 80% de campañas cae dentro del error range documentado, confía un poco más
- Si error es inconsistente (15% en un mercado, 35% en otro), entonces sí NECESITAS human validation—porque el modelo no captura variables locales
La verdad: algunos modelos son realmente buenos. Otros son caros sofisticate guesses. La diferencia está en la validación.
Mi recomendación: antes de escalar uso de ese modelo, invierte 2-3 semanas en validación rigurosa. Si pasa, escalas con confianza. Si falla, sabes exactamente dónde necesitas mejoras o alternativas.
Porque trabajo con múltiples clientes, he visto esto en escala: herramientas que son excelentes en un contexto y mediocres en otro.
Lo que hago: no confío en una sola predicción. Uso dos fuentes diferentes (si es posible), comparo si predicciones alineadas, y luego valido con gut-check de alguien senior.
Puedo decir que ese protocolo de Mark es sólido. Lo que agrego: documenta cada predicción. Cuando ves 30-40 predicciones con sus resultados, comienzas a ver el patrón. Dónde el modelo es fuerte, dónde falla.
También: es posible que necesites modelos diferentes por mercado. El modelo entrenado con datos de US puede ser excelente para US, mediocre para Latam. No es siempre un modelo global.
No sé mucho sobre modelos y validación, pero lo que noto: las marcas que usan IA para predecir mi performance tienen razón a veces. Pero no siempre entienden el contexto.
Como, la IA dice “este creator va a convertir 5%”. Pero no sabe que mi comunidad es muy leal pero compra poco. O que estoy en una fase de growth donde engagement sube pero monetización todavía no.
Así que sí, validar con humano que entienda el contexto. Porque números sin contexto pueden ser peligrosamente equivocados.