He estado entrenando modelos bastante sofisticados para predecir performance de campañas con influencers, y la verdad es que cada vez que intento escalarlos entre mercados me encuentro con el mismo problema: el comportamiento no es consistente.
Cuando lanzo una campaña con un influencer en el mercado ruso, el engagement se comporta de cierta forma—velocidad de interacción, tipos de comentarios, tasa de conversión. Luego lanzo algo similar en el mercado estadounidense con un perfil demográfico parecido, y los números me dicen un patrón completamente diferente. No es que uno sea mejor o peor; es que el patrón es literalmente distinto.
Mi primer instinto fue pensar que era data quality—tal vez los datos de un mercado eran “peores” que los del otro. Pero lo que descubrí después de mirar más profundo es que los mercados realmente tienen dinámicas distintas. En Rusia, el algoritmo de VK funciona diferente a Instagram o TikTok. El timing de publicación importa diferente. El tipo de contenido que genera engagement en un mercado no es necesariamente lo que genera engagement en el otro.
Lo que he hecho es entrenar dos modelos por separado en vez de uno combinado. Pero eso tiene su propio problema: ahora tengo menos data para cada modelo, así que las predicciones son menos confiables. Es un tradeoff donde pierdo de ambos lados.
¿Alguien ha manejado esto? ¿Tu modelo de predicción te da resultados confiables cuando trabajas billingüe o te ves forzado a simplificar las variables hasta que prácticamente pierden valor?
Este es un problema clásico de transfer learning. Lo que estás experimentando es que los mercados tienen distribuciones diferentes—en términos estadísticos, se llama “domain shift”. Hay algunas aproximaciones que pueden ayudar: primero, puedes entrenar un modelo “base” en datos combinados, pero luego “fine-tune” versiones específicas por mercado con datos locales. No necesitas empezar de cero; usas los pesos del modelo general como punto de partida y después lo ajustas con datos rusófonos o anglófonos. Segundo, incluye variables que capturen dinámicas de mercado—no solo características del influencer. Plataforma, horario en zona horaria local, tipo de evento (fin de semana vs. entre semana en esa región), incluso estación del año porque se comporta diferente en hemisferios distintos. Tercero: aceptar un cierto nivel de incertidumbre en tus predicciones. No reportes a stakeholders “60% de probabilidad de éxito” si tu modelo tiene un 20% de error; reporta rangos—“entre 50-70% probable”. La honestidad aquí es estratégica, porque cuando tu predicción falla en contextos nuevos, al menos no sorprende.
Más prácticamente: usa modelos separados por mercado, pero hazlo porque tiene sentido comercial, no por limitación técnica. Entrena cada uno en 6-8 meses de datos históricos del mercado específico. Una vez que tengas confianza en ambos, prueba un tercero que sea un ensemble—básicamente, un meta-modelo que aprende cuándo confiar en el modelo ruso, cuándo en el estadounidense, y cuándo pedir una predicción conservadora. Eso requiere etiquetado histórico manual (“¿esta predicción fue correcta o no?”), pero con 50-100 campañas ya tienes suficiente para entrenar el meta-modelo. El costo es menor que construir el sistema desde cero.
Real talk: la mayoría de agencias no estamos ni cerca del nivel de sofisticación que describes. Nosotros hacemos algo más simple. Reunimos datos de campañas exitosas por mercado por separado. Luego un miembro del equipo (mitad analyst, mitad strategist) mira esos patrones y hace predicciones semicuantitativas. Es menos glamoroso que un modelo, pero funciona. Si acaso, lo que sí pasamos por IA es la parte inicial de limpieza de data—eliminar outliers, llenar gaps. Pero la predicción real es criterio humano. Admitimos que no sabemos predecir con certeza, así que vendemos a clientes con expectativas ajustadas.
Desde mi lado, honestamente no entiendo cómo pueden predecir nada. Mi audiencia es impredecible en el buen sentido. Hoy podrían interactuar todos con un video de vida diaria, mañana con un tutorial técnico. El algoritmo literalmente cambia cada mes. Además, cuando una marca trabaja conmigo, a veces el contexto de la campaña no tiene nada que ver con mis números históricos. Una campaña que se siente “correcta” para mi comunidad funciona, aunque los números digan otra cosa. Los modelos de IA que he visto… honestamente no siento que capturen eso.