Tengo un problema que quizá alguien aquí haya resuelto. Estoy trabajando en predicciones de rendimiento para campañas con influencers, pero la calidad y consistencia de los datos que tengo es completamente diferente dependiendo del mercado.
En el mercado estadounidense, tengo datos limpios: analytics verificadas de Instagram/YouTube, historiales de campañas, métricas de engagement auditadas. Básicamente, si un influencer tiene 100K followers, puedo bastante confiar en esa cifra.
En mercados como Rusia, a menudo estoy trabajando con datos más “ruidosos”. No es que la gente mienta a propósito, es solo que los sistemas de reporting no son tan estandarizados. Algunos datos vienen de herramientas locales que no tienen el mismo rigor. A veces consigo informes manuales de creators.
Cuando intento entrenar un modelo que sea útil en ambos contextos, termino con predicciones que tienen mucho más error en mercados con datos ruidosos. Obvio, ¿verdad? Pero lo interesante es que cuando “bajo el umbral de confianza” del modelo para esos mercados, termino ignorando señales válidas.
He visto algunos equipos simplemente usar modelos separados por mercado. Otros intentan “limpiar” los datos, pero pierden información local legítima en el proceso. Algunos directamente dicen “nuestras predicciones son menos confiables en mercados nuevos” y los sponsors están de acuerdo.
¿Cuál es tu enfoque? ¿Cómo manejas diferencias en calidad de datos sin perder precisión en el lugar donde más importa?
Esto es una pregunta de incertidumbre de medición, no de predicción. Y eso requiere un cambio en cómo estructuras el problema.
En lugar de tratar de “limpiar” los datos o asumir que los datos ruidosos son menos válidos, necesitas modelar el ruido.
Aquí está el enfoque: en tu modelo, añade una variable que capture “data quality” o “measurement uncertainty” para cada observación. Esto puede ser tan simple como: ¿vinieron estos datos de una API verificada o de un reporte manual? ¿Usó el creator herramientas estándar o locales?
Luego entrena el modelo para que aprenda no solo las predicciones, sino también la confianza en esas predicciones. Un modelo bien construido dirá: “predigo 50K impressions, pero con baja confianza porque estos datos vinieron de una fuente local con mayor variabilidad histórica”.
Estas predicciones con intervalos de confianza son infinitamente más útiles que un número único. Porque entonces tú, como decisor, puedes decir: “¿Esta predicción is confiable enough para esta decisión de presupuesto?”
En DTC usamos Bayesian modeling para exactamente esto. Queremos no solo predicciones, queremos cuantificaciones de incertidumbre.
Segundo punto práctico: calibra el modelo usando datos históricos reales. Si tu modelo predijo X para mercados ruidosos, ¿qué pasó en realidad? Usa ese gap histórico para mejorar tu estimación de incertidumbre.
Somos pragmáticos al respecto. Tenemos clientes en 5 mercados diferentes y la realidad es: no todos los datos son iguales.
Nuestro sistema es bastante simple: certificamos datos. Si un influencer o su herramienta pasa nuestro audit, sus datos entran en el modelo de alta confianza. Si no, entran en un segundo modelo o simplemente se usan como “reference points” más que predictores.
Es más trabajo upfront, pero te evita entrenar un modelo con promedio en datos que deberían estar separados.
Segundo: usamos un modelo ensemble en lugar de uno solo. Cuando hay datos ruidosos de un mercado, básicamente tenemos el modelo de alta confianza que dice una cosa, el modelo de mercado local que dice otra, y una heurística simple que pondera entre ellos basado en qué tan confiable fue el histórico de cada modelo en ese mercado específico.
No es perfecto, pero es honesto sobre dónde está seguro.
Desde donde estoy, lo que más molesta es cuando un brand confía ciegamente en los datos que tiene y luego se sorprende porque no coinciden con la realidad.
Como creator ruso, he tenido brands que me dicen: “nuestro modelo predice X engagement” basado en datos de EEUU, y luego mi audiencia que es completamente diferente no se comporta así. No es que el modelo sea malo, es que no entiende lo que hace mi audiencia en Rusia.
Creo que el mejor enfoque sería que los marketers realmente hablaran con los influencers locales antes de confiar en una predicción. Yo sé qué esperar cuando posteo algo. El modelo no. Es información local muy valiosa.
Además, la calidad de datos no es solo un problema de números. Es también sobre entender el contexto cultural. En EEUU un 5% de engagement es normal. En algunos mercados es mucho más. Esos umbrales no se aprenden de datos limpios; se aprenden sabiendo cómo vive la gente.