Article
Cloudflare blockiert AI-Agents standardmäßig – und warum das ein Problem ist
Seit Juli 2025 blockiert Cloudflare AI-Crawler standardmäßig auf allen neuen Domains. Das Problem: AI-Agenten erhalten Block-Seiten zurück, interpretieren diese aber als regulären Inhalt – und geben falsche Antworten mit voller Konfidenz.
Das Kernproblem
Wenn ein AI-Agent eine einfache fetch() oder requests.get() Anfrage an eine bot-geschützte Seite sendet, erhält er keinen Fehler. Stattdessen kommt eine 403 oder sogar 200 Response mit HTML-Body zurück: Cloudflares “Just a moment”-Seite, DataDomes “Please enable JavaScript”, oder Amazons “Continue shopping”-Wall.
Für Retry-Logic sieht das wie ein Erfolg aus. Für das Sprachmodell ist der Body einfach Text, den es liest. Gib einem Modell eine 27KB Block-Seite und frage nach Jobs darauf – es wird dir eine Liste nicht-existenter Jobs präsentieren.
Betroffene Plattformen
Tilion hat 12 beliebte Ziele getestet, die alle mit Cloudflare 403 antworten:
| Use Case | Blockierte Sites |
|---|---|
| Hiring | Indeed, Glassdoor, ZipRecruiter |
| Sales Research | Crunchbase, Product Hunt, Capterra |
| Freelance | Upwork, Fiverr |
| Commerce | StockX, DoorDash, Coinbase, Udemy |
Der Benchmark
Tilion testete 8 Sites mit verschiedenen Anti-Bot-Anbietern:
| Site | Anti-Bot | Naive | Fortress | Tilion Cloud |
|---|---|---|---|---|
| Indeed | Cloudflare | ❌ 403 | ✅ Jobs | ✅ |
| Zillow | PerimeterX | ❌ 403 | ✅ 878 Listings | ✅ |
| Walmart | Akamai | ❌ 307 | ✅ Page | ✅ |
| StockX | Cloudflare | ❌ Challenge | ✅ GraphQL API | ✅ |
| Amazon | CloudFront WAF | ❌ 404 | ❌ Click-wall | ✅ |
Die naive Methode erreichte 0 von 8 echten Inhalten, erhielt aber 8 von 8 summarisierbare Bodies – ohne dass ein Signal auf den Block hinwies.
Die Lösung
Tilion empfiehlt: Fail Loud. Agenten müssen erkennen, wenn sie blockiert wurden, und explizit scheitern statt falsche Antworten zu geben. Fortress ist ein Open-Source Stealth-Browser, der durch die meisten Anti-Bot-Systeme kommt.