Tutorials
Diffusions-Sprachmodelle bauen - Ein Tutorial aus der ICLR 2026
Die Kuleshov Group (Cornell University) hat anlasslich der ICLR 2026 und MLSS 2026 ein umfassendes Tutorial veroeffentlicht, das zeigt, wie man Diffusions-Sprachmodelle von Grund auf baut. Der Text bietet einen der besten Ueberblicke uber diesen aufstrebenden Forschungszweig.
Autoregressiv vs. Diffusion
Klassische LLMs sind autoregressiv: Sie generieren Token fur Token von links nach rechts. Das bringt drei Nachteile mit sich - Fehler kompoundieren sich, die Generierung dauert so viele Schritte wie Token vorhanden sind, und das Modell schaut nie auf zukunftigen Kontext.
Diffusionsmodelle gehen anders vor: Sie starten mit einem rauhen Entwurf der gesamten Sequenz und verfeinern ihn iterativ. Das ermoeglicht Geschwindigkeits-Qualitaets-Tradeoffs, Fehlerkorrektur waehrend der Generierung und bidirektionalen Kontext.
Masked Diffusion
Der Kernmechanismus: Token werden als “masked” (verdeckt) markiert, das Modell lernt, die Original-Token zu rekonstruieren. Beim Sampling fullt das Modell alle Masken aus, verrauscht einen Teil wieder und wiederholt den Prozess - bis alle Token feststehen.
Block Diffusion fuer flexible Laenge
Echte Produktionssysteme wie Gemma Diffusion nutzen Block Diffusion: Die Sequenz wird in Bloecke (z.B. 256 Token) unterteilt, die nacheinander diffundiert werden. Fruehere Bloecke werden gecacht und als Kontext verwendet - ahnlich wie KV-Caching bei autoregressiven Modellen.
Encoder-Decoder-Architektur
Ein wichtiger Insight: Diffusion braucht zwei Arten von Berechnung - Repraesentation des bisherigen Kontexts und Denoising der korrupten Token. Moderne Diffusions-LLMs nutzen separate Module dafur: Ein schwerer Encoder verarbeitet den cleanen Input einmal, ein Decoder iteriert uber die maskierten Token.
Remasking und Error Correction
Standard-Masked-Diffusion kann einmal aufgedeckte Token nicht mehr revidieren. Moderne Verfahren wie Remasking und Uniform State Diffusion heben diese Beschrankung auf - Token konnen erneut maskiert und korrigiert werden. Das ermoeglicht sogar eine Form von Inference-Time-Scaling: Mehr Sampling-Schritte verbessern die Qualitaet.
Kontrollierbare Generierung
Ein grosser Vorteil der Diffusion: Sie ermoeglicht inharent kontrollierbare Generierung. Da das Modell bidirektionalen Kontext nutzt, lassen sich Constraints und Infilling-Aufgaben natuerlicher loesen als mit autoregressiven Modellen.