I’ve been testing a two-layer fraud detection system for influencers, and I’m genuinely curious whether I’m being paranoid or actually catching real issues.
Layer 1 is automated: I run profiles through detection tools that flag follower quality (velocity, geographic concentration, engagement authenticity). These tools are surprisingly good at catching obvious bot networks and purchased followers. Layer 2 is expert review: I have people in both Russian and US markets manually audit flagged profiles and make judgment calls.
The interesting thing is what happens when the layers disagree. AI will flag an account as “suspicious” based on statistical patterns, but a human expert will recognize that the pattern is actually normal for that market or content type. For example, Russian macro-influencers often have very concentrated geographic followings (intentionally), which AI flags as a red flag. US creators who post sporadically also trigger engagement velocity warnings, even though it’s just their posting style.
But the reverse also happens: an expert might miss something that the algorithm catches. I had one case where an influencer’s engagement was authentic-looking and regionally sensible, but the AI noticed that the follower growth rate shifted dramatically three months ago—suggesting a purchased batch that was integrated carefully. The expert would’ve missed that.
What’s tricky is quantifying the actual risk. If AI flags an account and the expert validates it’s legitimate anyway, have we caught a false positive or prevented a real problem? And if an expert approves an account that AI warned about, and the campaign underperforms, was it fraud or just a mismatch?
I’m running about a 5-10% overall fraud flag rate, with maybe 60% of those being validated by experts as actual concerns. So roughly 3-6% of candidates are genuinely risky. But I don’t know if I should trust that number or if I’m over-detecting.
Has anyone built a similar system? How do you actually validate whether your fraud detection is working, and more importantly, how much fraud risk is worth your time to chase down?
Это реально важный вопрос, потому что я только что столкнулся с этим в другом контексте. Когда я расширялся в новый рынок, я наивно предположил, что красные флаги одинаковы везде. Они не одинаковы.
У нас был случай, где AI отфильтровал инфлюенсера как потенциально мошенника на основе паттерна роста фолловеров. Но это был в России, и это был вполне нормальный организм—парень запустил вирусный видеок и получил большой приток за несколько недель. В US это было бы фальшиво, в России это реально.
Мой совет: вероятно, вам нужно обучить отдельные модели для каждого рынка, а не использовать одну универсальную систему. Или по крайней мере добавить рыночный контекст в алгоритм. 3-6% fraud rate может быть реалистично для США, но совсем не реалистично для России, где рынок просто другой.
Ваши цифры дают мне пищу для размышления. 60% подтверждаемость экспертами хороша, но я бы рекомендовала более строгую валидацию последствий.
Здесь метрика, которую вы должны отслеживать: из тех 3-6% инфлюенсеров, которые вы отклонили на основе fraud detection, сколько из них позже оказались бы хорошими находками? И наоборот, из тех, кого вы одобрили, у скольких потом выявились проблемы в реальной кампании?
Ичего я обнаружила в своих данных: система, которая отклоняет 3-6% кандидатов ложно-положительно, обходится дороже, чем система, которая пропускает 1-2% настоящих мошенников. Потому что упущенная хорошая возможность—это неполученный доход, а мошенник—это обычно ограниченный риск, если вы правильно структурируете платежи.
Вот мой вопрос к вам: какой финансовый удар вас больше колет—пропущенный хороший инфлюенсер или пойманный мошенник?
You’ve identified the core problem: confusion between classification accuracy and actual business impact. Let me flip your approach.
Instead of asking “how accurate is my fraud detection?”, ask “what’s the actual financial cost of a false positive versus a false negative?” A false positive (rejecting a good creator) costs you opportunity. A false negative (working with a fraudster) costs you budget and credibility.
In my experience, the cost of a false negative is usually 20-30K per campaign (budget + recovery time + brand hit). The cost of a false positive is maybe 5K (lost opportunity). So your system should be biased toward accepting borderline cases.
That means your 3-6% rejection rate might actually be too high. I’d experiment with: accept the automated flags, but only reject if the expert also confirms fraud risk. Make the human layer a gating mechanism, not a rubber stamp.
One more thing: track conversion and campaign performance on creators who got flagged but approved anyway. That’s your real validation—not theoretical fraud scores, but actual business outcomes.
From the creator side, I want to flag something: good creators sometimes have weird metrics because they’re experimenting. I went through a phase where I was buying followers to test whether it even made a difference (it didn’t, which I then dropped). An AI system that saw that would flag me as fraudulent, end of story.
I think what you’re missing is: have you actually talked to the creators you’re flagging? Like, just asked them, “why does your growth look like this?” Some have legitimate explanations. Some are shifty. But you won’t know without asking. Your two-layer system sounds like it could use a Layer 3: direct creator conversation before final rejection.