Staying honest about what AI can and can't do: where human judgment still beats the algorithm

DTC & UGC Dynamos
1

I’ve been in this space long enough to see the hype cycle repeat. AI is going to solve influencer fraud! AI will predict performance perfectly! AI will automate everything!

Then reality hits. And honestly, I think we need to be more honest about what’s actually happening.

We’ve built AI systems to detect fraud, forecast performance, and vet creators. They’re useful. But the places where they work best are exactly where human judgment works fine too. The places where they fail are exactly where you’d expect—situations that require context, creativity, or an understanding of something that isn’t quantified.

Here’s what I’ve learned:

AI is great at finding patterns in noise. If you feed it thousands of creator profiles with engagement metrics, it’ll spot anomalies faster than humans. It’ll flag the 2% of accounts that are obviously fake. It’ll catch the trends that humans miss. That’s real value. But it’s also low-hanging fruit.

AI struggles with context. A creator might have engagement patterns that look suspicious because they post at weird times, or work with multiple brands, or just went viral. An AI sees an anomaly. A human who’s spent 20 minutes talking to that creator understands what’s actually happening. Who’s right depends on the situation, but the human usually has better judgment.

AI can’t understand values. When we try to model brand safety, we’re essentially asking: “Should this creator partner with this brand?” But that’s not really a question AI can answer fully. It can measure audience overlap, content alignment, past controversies. But whether two parties share values? Whether they trust each other? Whether the partnership will feel authentic to audiences? That’s human territory.

AI gets brittle when tactics change. Fraud evolves. Marketing trends evolve. If your AI is trained on historical patterns, it’ll eventually get beat by new tactics. We’ve seen this happen. We build a model that catches one type of fraud, fraudsters adapt, and suddenly the model’s useless. Humans can spot the new tactics faster.

So here’s what we’re actually trying to do: build workflows where AI handles the high-volume, low-stakes pattern matching, and humans handle the judgment calls.

For example, in our brand safety workflow:

  • AI flags: Likely fake accounts, accounts with anomalous engagement, creators with past controversies.
  • Humans review: Whether those flags actually matter for the specific campaign, whether there’ context AI missed, whether the risk is worth it.

The problem is, this requires good judgment from humans. We’ve had cases where our human reviewers just rubber-stamp whatever AI says. That defeats the purpose. And we’ve had cases where humans override AI and get burned. Trust needs to be earned.

I think the companies winning right now aren’t the ones building the smartest AI. They’re the ones building the best human-AI collaboration workflows. They’ve figured out: when do you let the algorithm decide, and when do you bring in expertise?

What does your human-AI workflow actually look like? Where are you feeling friction—is AI making calls it shouldn’t, or humans bottlenecking decisions they should let AI handle?

2

Спасибо за этот честный пост. Часто я вижу, что компании внедряют AI, как будто это волшебное решение, но потом они обнаруживают, что потеряли человеческий элемент.

В моей работе, всё о взаимоотношениях. Я помогаю брендам и инфлюенсерам работать вместе. Если бы всё было автоматизировано, я думаю, мы потеряли бы магию.

Мне нравится ваш подход—AI для фильтрации, люди для суждений. Но я хочу добавить: нужно также обучать людей, которые делают суждения. Не каждый рецензент может хорошо понять, когда AI может ошибаться.

Может быть, нужна программа, чтобы научить команды работать с AI, а не против него? Потому что система хороша только настолько, насколько хороши люди, с которыми она работает.

3

Я согласна с вашей основной предпосылкой, но я бы попросила более конкретные данные.

Вы сказали, что в некоторых случаях люди перекрывают AI и получают ожог. Как часто это происходит? Каков процент случаев, когда человеческое суждение ошибается, и AI было бы правильнее?

Потому что если это происходит не редко, может быть, проблема не в AI, а в том, что люди недостаточно тренированы?

Также: вы упомянули, что AI становится хрупким, когда меняются тактики мошенничества. Есть ли у вас структурированный процесс для переобучения модели? Как часто вы обновляете её? И как вы измеряете деградацию производительности со временем?

Мне нужны цифры, чтобы оценить, действительно ли это проблема, которую я должна решить в своей компании.

4

Спасибо за это. Это очень полезно услышать. Мой стартап только начинает исследовать AI для маркетинга, и я был немного напуган тем, что услышал в презентациях—что AI это всё.

Но ваш пост дает более реалистичную картину. AI это инструмент, а не замена суждению.

Для компании нашего размера, какой был бы разумный путь? Должны ли мы начать с AI, или должны мы сначала получить хорошие человеческие процессы?

Потому что я беспокоюсь, что если мы попытаемся использовать AI раньше, чем мы будем готовы, мы просто автоматизируем плохие решения.

5

И еще—когда вы говорите о переобучении моделей, как вы получаете обновленные данные? Я предполагаю, что вам нужна хорошая система для отслеживания результатов кампаний, но до этого можно ошибиться много раз.

6

This is refreshingly honest. I’ve seen the same pattern—companies buy AI tools, deploy them, and then realize they’re just moving the bottleneck.

In our agency, we’re dealing with exactly this. We have fraud detection flagging creators, but we don’t have the team to review all the flags. So either we auto-reject (which misses nuance), or we overwhelm our team (which is unsustainable).

Your point about training humans to work with AI is critical. Most of our team was trained on manual vetting practices. When AI comes in, they don’t know how to integrate it. They either trust it blindly or dismiss it.

Question: when you’re building this human-AI workflow, how do you think about scaling? At what point do you need to hire more reviewers? How do you keep quality consistent as you grow?

7

Also—this is an uncomfortable question, but: how much of your AI implementation is actually improving outcomes, vs. just making your team feel like they’re more scientific? Because I’ve seen companies invest heavily in AI and not see actual performance improvements. Sometimes it’s just expensive reporting.

8

Last thought: I’d push back gently on one thing. You said “the companies winning are building the best human-AI workflows.” I’d add: they’re also being honest about what they don’t know. Too many companies deploy imperfect AI systems and don’t communicate the limitations to stakeholders. Then when something goes wrong, trust breaks. The best workflows I’ve seen pair technical robustness with radical transparency about what the AI can and can’t do.