World Models: Das nächste große Ding nach LLMs?

Jenseits von Chat: KI, die die Welt versteht

Nach Jahren der Fokussierung auf Large Language Models (LLMs) zeichnet sich ein neuer Fokus ab: World Models. Statt Text zu generieren, zielen diese Systeme darauf, die physische Welt zu simulieren – oder zumindest eine nützliche Approximation davon.

Ars Technica sprach mit drei Experten: Vincent Sitzmann (MIT), Anastasis Germanidis (Runway) und Ben Mildenhall (World Labs). Ihr Fazit: Während LLMs mit einer Schnittstelle (Chat) starteten und dann Use Cases suchten, gehen World-Model-Pioniere den umgekehrten Weg – sie starten mit spezifischen Anwendungen in Robotik, Forschung und Asset-Generierung, aber die finalen Schnittstellen und Tools sind noch unklar.

Yann LeCuns Kritik an der LLM-Euphorie

„Die Idee, dass LLMs auf menschliches Niveau erweitert werden, ist kompletter Unfug", sagte Yann LeCun, ehemaliger Meta-Chef-KI-Wissenschaftler, in einem Interview mit Wired. LeCun spricht für einen beträchtlichen Teil des Feldes, der in World Models die Antwort auf LLM-Limitationen sieht.

Auch Fei-Fei Li, Pionierin der Computer Vision und Mitgründerin von World Labs, argumentiert für diesen Ansatz: World Models könnten LLMs ergänzen oder ersetzen, indem sie physikalische Konsistenz und räumliches Verständnis lernen.

Von Video-Foundations zu Robotik

Die Technologie hat Wurzeln in der Video-Generierung. Runway, bekannt für GenAI-Video-Tools, entwickelt World Models, die über reine Bildsynthese hinausgehen. Das Ziel: Systeme, die Physik, Kausalität und Dynamik verstehen.

Ein zentrales Anwendungsfeld ist Robotik. Herkömmliche Roboter-Training-Daten sind teuer und limitiert. World Models könnten synthetische Trainingsumgebungen erzeugen – eine Art „Simulation to Reality"-Pipeline. Sitzmann betont jedoch: „Es ist in den Latent Spaces" – die eigentliche Innovation liegt nicht in sichtbaren Outputs, sondern in den abstrakten Repräsentationen, die Roboter für Planung und Entscheidung nutzen können.

Was noch fehlt

Die Experten identifizieren offene Fragen:

• Definition: Was genau ist ein „World Model"? Der Begriff ist noch diffus.
• Fragmentierung: Verschiedene Teams verfolgen unterschiedliche Architekturen.
• Beweislast: Es ist noch nicht bewiesen, dass World Models die LLM-Limitationen tatsächlich überwinden.

Der „bitter lesson" der KI-Forschung – dass skalierbare, generelle Methoden spezialisierten Ansätzen überlegen sind – könnte auch hier gelten. Oder World Models könnten der nächste Schritt auf dem Weg zu AGI sein. Noch ist es eine Wette.

Quelle: Ars Technica