Aquí está mi dilema: estoy evaluando plataformas que prometen puntuaciones de influencers basadas en IA, pero todas dicen que sus puntuaciones se ‘calibran’ con benchmarks y estudios de casos. El problema es que no tengo forma de verificar si esos benchmarks son apropiados para MIS campañas.
He visto modelos de IA que generan scores que se sienten legítimos pero luego, cuando corres la campaña, el influencer que tenía 8.7 de 10 underperforma completamente. Y viceversa: alguien con score 6.5 que literalmente destruye tu KPI.
Lo que me confunde es cómo saber si el problema está en el modelo, en el benchmark, o simplemente en que el modelo no fue construido pensando en TU tipo de campaña. Si la plataforma dice que usó 500 casos de estudio para calibrar su IA, ¿cómo valido que esos casos de estudio son relevantes para mi contexto? ¿Realmente estoy confiando en expertos que entienden mi mercado o solo estoy usando un modelo entrenado en datos genéricos?
Este es el corazón del problema con los modelos black-box. Yo diría que la respuesta está en cómo el modelo se comporta en DATOS QUE YA POSEES.
Aquí está mi proceso: cada vez que una plataforma me dice que tiene una puntuación de influencer calibrada, pido lo siguiente - toma un grupo de influencers con los que ya corrimos campañas, puntúalos con el modelo, y luego compara esos scores contra nuestro performance real (ROI, engagement rate ajustado, conversiones). Si los scores correlacionan fuertemente con nuestro performance histórico, entonces el modelo probablemente trabajo para NUESTRO contexto.
Si no correlaciona, el modelo puede ser excelente para otro tipo de campaña, pero es inútil para la tuya. Los benchmarks importan menos que la validación empírica en datos que realmente entiendes.
Un punto más: desconfía de cualquier plataforma que no te permita cuestionar o pesar los benchmarks. Si dicen ‘usamos 500 casos de estudio’, pregunta: ¿cuál fue la vertiente de esos casos? ¿Industrias? ¿Tamaños de presupuesto? ¿Geografías? Si no pueden responder, es un red flag. Un benchmark calibrado debe ser específico de contexto, no genérico.
Desde mi lado, lo que ves es que muchas marcas literalmente no saben cómo los scores incluso se calculan. Algunos basados en seguidores, algunos en engagement, algunos en ‘autenticidad’. Cuando trabajo con agencias que usan estas puntuaciones para decidir si colaborar conmigo, a veces me dicen mi score y es completamente fuera de línea con cómo realmente funciona mi comunidad.
Mi pregunta sería: ¿la plataforma te permite entender QUÉ COMPONENTES hacen que un influencer tenga ese score? Porque si es una caja negra, estás pagando por confianza, no por comprensión.
Honestamente, he dejado de confiar completamente en scores sin contexto. Lo que hacemos ahora es usar estos scores como un punto de inicio para el vetting manual. Reducen el universo de búsqueda, pero la verdadera validación viene de auditar la audiencia, mirar patrones de engagement, hablar con el influencer.
El benchmark puede ser excelente, pero si no entiende tu mercado específico - por ejemplo, si eres una marca de tech y la mayoría de los benchmarks vienen de fashion - el modelo va a fallar. El consejo: trata los scores como una herramienta de filtrado, no como verdad.