Fast ein Krieg: US-Militär wollte chinesisches Schiff wegen KI-Halluzination entern

Das US-Militär entging knapp einem Zwischenfall mit unabsehbaren Folgen: Ein Geheimdienstbericht, der mit Hilfe eines Chatbots erstellt wurde, behauptete fälschlich, ein chinesisches Schiff transportiere Komponenten eines Atomwaffenprogramms. Die Truppen bereiteten bereits die Enterung mit Luftunterstützung vor, bevor der Fehler auffiel.

Was geschah

Ein Analyst des US Special Operations Command hatte einen Chatbot genutzt, um Geheimdienstinformationen zum Manifest des Schiffs auszuwerten. Das Tool verschmolz Open-Source-Intelligence mit geheimer Signalerkundung - und identifizierte die Fracht vollkommen falsch. Erst kurz vor dem Zugriff flogen die Fehler auf. Eine Quelle gegenüber CNN: Der Vorfall “hätte fast einen Krieg angezettelt”.

Der größere Kontext

• Das Verteidigungsministerium startete im Januar eine “AI-Beschleunigungsstrategie”; 1,5 Millionen Mitarbeiter nutzen laut Pentagon generative KI-Tools.
• Auf der Plattform GenAI.mil laufen Gemini for Government und inzwischen auch Grok for Government.
• Forscher halten Halluzinationen bei LLMs für prinzipiell nicht vollständig vermeidbar - die 2023 geforderte “menschliche Kontrolle” (Human in the Loop) bleibt der entscheidende Sicherheitsanker.

Der Fall reiht sich ein in eine wachsende Liste schwerwiegender KI-Halluzinationen - von erfundenen Zitaten bis zu falschen Gerichtsfunden - und ist bislang der geopolitisch folgenreichste dokumentierte Fall.

Quelle: Ars Technica - AI hallucination of Chinese nuclear components almost led to US military attack