News

Gentoo Bugzilla wegen KI-Scraper-Ueberlastung stillgelegt

llm scraper gentoo infrastructure

Michał Gorny, Gentoo-Entwickler, hat die Bugzilla-Instanz des Linux-Distributions-Projekts offline genommen. Der Grund: KI-Scraper ueberfluten die Plattform mit Tausenden von Anfragen ueber verschiedene IPv4-Adressen - ohne erkennbares Muster, sodass klassische IP-Blocklisten machtlos sind.

Was passiert ist

LLM-basierte Scraper greifen massenhaft auf Open-Source-Infrastruktur zu. Bei Gentoo nutzten die Scraper Tausende unterschiedlicher IPv4-Adressen, die scheinbar residential Proxys verwenden. Einzelne IPs machen nur wenige Verbindungen, verteilen die Last aber ueber Millionen von Quell-Adressen. Selbst ISPs koennten dagegen wenig ausrichten, ohne legitimen Traffic mitzubeeintraechtigen.

Reaktionen aus der Community

Andere Entwickler berichten von aehnlichen Problemen: Ein user fand ein komplettes /40-IPv6-Netzwerk, das aus zufaelligen /64-Blocks unter einem franzoesischen Rechenzentrum bestand und die musl-libc-Infrastruktur angriff. Nach dem Blockieren des gesamten /40-Bereichs wechselten die Scraper auf zufaellige IPv4-Adressen.

Als Loesung wird erwaegt, Bugzilla nur noch fuer eingeloggte Nutzer zugaenglich zu machen - ein trauriger Kommentar zum Zustand des offenen Internets.

Iocaine als Gegenmassnahme

Ein Nutzer berichtet von erfolgreicher Abwehr mit Iocaine: Statt die Scraper zu blocken, werden ihre Warteschlangen mit leicht generierbarem Muell gefuellt, den die Scraper als legitimen Content annehmen. Die Scraper werden nicht blockiert, sondern mit nutzlosem Datenmuell beschaeftigt, der leicht cached wird.

Kontext

Das Problem betrifft nicht nur Gentoo - es ist ein wachsendes Problem fuer die gesamte Open-Source-Infrastruktur. KI-Unternehmen trainieren ihre Modelle mit Daten aus dem offenen Internet und legen dabei keine Ruecksicht auf die Belastung der Infrastruktur. Das ist ein warnendes Signal dafuer, wie KI-Entwicklung die gemeinschaftliche IT-Infrastruktur belastet.

Quelle: social.treehouse.systems