Nach dem HN-Launch kam die Bot-Flut - KI-Crawler legen kleine Website lahm

Entwickler Sammy Straus hat seinen Feed-Reader sprinklz.io auf Hacker News vorgestellt – ironischerweise mit dem Feature, Themen wie LLMs aus dem eigenen Newsfeed herauszufiltern. Rund hundert Upvotes, alles prima. Dann wurde die Seite langsam. Und zwar nicht in den ersten Stunden, sondern Tage später, mit stetig steigender Last bei nur einer Handvoll echter, eingeloggter Nutzer.

Die Spurensuche

Per Logging pro Endpoint zeigte sich: Die meisten Requests luden die Single-Page-App nicht einmal richtig – kein JavaScript, keine Artikel. In den NGINX-Logs fand sich der Hauptschuldige: fast die Hälfte des Traffics stammte von einem einzigen Dienst, der Websites auf Änderungen überwacht und daraus KI-generierte Newsletter baut – mit vielen Abfragen pro Minute. Ergebnis: geblockt.

Dazu kamen die üblichen Verdächtigen, die sich immerhin ehrlich identifizierten: ClaudeBot, OpenAIs Crawler, Googles Indexer – plus Vulnerability-Scanner, die tapfer nach /wp-content/phpinfo.php suchten, obwohl die Seite gar kein WordPress ist.

Die Gegenmaßnahmen

• robots.txt sperrt KI-Crawler aus, Such-Bots wie Googlebot bleiben erlaubt.
• Rate-Limits gegen Dauer-Poller.
• Claude spielte die Scanner-Pfade nach, um mögliche Datenlecks auszuschließen.
• Größere Performance-Umbauten an der Infrastruktur.

Die Geschichte zeigt, wie stark automatisierter KI-Traffic inzwischen kleine Projekte belastet – Sichtbarkeit auf HN lockt längst nicht mehr nur Menschen an.

Quelle: Sammy’s Blog