Models
Continuous Diffusion Language Models - Das Comeback der kontinuierlichen Diffusion
Sander Dieleman, ehemaliger Google-Researcher (Imagen, Veo, Nano Banana), hat einen ausführlichen Blogpost über Continuous Diffusion Language Models veröffentlicht. Nach Jahren der Dominanz diskreter Diffusionsmethoden zeichnet sich ein Comeback der kontinuierlichen Variante ab.
Die Geschichte
Nach den Erfolgen von Diffusionsmodellen in der Bildgenerierung (2019-2020) versuchten Forscher ab 2021, diese Idee auf Sprache zu übertragen. Erste Ansätze wie D3PM und SUNDAE nutzten diskrete Diffusion. 2022 kamen kontinuierliche Methoden wie Diffusion-LM auf, die diskrete Token als kontinuierliche Embeddings repräsentierten und mit Gausschem Rauschen korruptierten.
Dann passierte etwas Überraschendes: Ab Ende 2023 starben kontinuierliche Methoden praktisch aus. Die Forschung konzentrierte sich voll auf diskrete Diffusion. Ein Grund: Die ChatGPT-Revolution verschob den Fokus von theoretischer Eleganz zu roher Performance. Kontinuierliche Modelle wie Plaid-1B waren 64x trainingsineffizienter als autoregressive Baselines - damals ein Todesurteil.
Warum das Comeback?
Die kontinuierliche Diffusion hat ein paar theoretische Vorteile, die diskrete Methoden nicht bieten:
- Unsicherheitsrepraesentation auf Token-Ebene: Kontinuierliche Embeddings können Grad an Unsicherheit ausdrücken, während diskrete Token nur “da” oder “nicht da” kennen.
- Reichhaltige Sampling-Toolbox: Alle Tricks aus der Bild- und Audiogenerierung (Distillation, Solver, Guidance) lassen sich direkt anwenden.
- Skalierbarkeit: Neue Erkenntnisse deuten darauf hin, dass die Trainingseffizienz-Lücke vielleicht nicht so groß ist wie angenommen, wenn man Inference-Kosten mit einbezieht.
Die Herausforderung
Der Kernkonflikt: Diskrete Daten (kategorische Token) und kontinuierliche Rausch-Prozesse passen nicht natürlich zusammen. Die Lösungsansätze reichen von Embedding-basierten Methoden bis zu neuen Embedding-Schemata, die die Lücke zwischen kontinuierlichem Rauschen und kategorischer Struktur schließen.
Dieleman betont, dass sein Bericht subjektiv ist und die Forschungslandschaft sich schnell bewegt. Der Trend deutet aber darauf hin, dass kontinuierliche Diffusion für Sprache eine zweite Chance bekommt.