Models
Continuous Diffusion Language Models - Das Comeback der kontinuierlichen Diffusion
Sander Dieleman, ehemaliger Google-Researcher (Imagen, Veo, Nano Banana), hat einen ausfuehrlichen Blogpost ueber Continuous Diffusion Language Models veroeffentlicht. Nach Jahren der Dominanz diskreter Diffusionsmethoden zeichnet sich ein Comeback der kontinuierlichen Variante ab.
Die Geschichte
Nach den Erfolgen von Diffusionsmodellen in der Bildgenerierung (2019-2020) versuchten Forscher ab 2021, diese Idee auf Sprache zu uebertragen. Erste Ansaetze wie D3PM und SUNDAE nutzten diskrete Diffusion. 2022 kamen kontinuierliche Methoden wie Diffusion-LM auf, die diskrete Token als kontinuierliche Embeddings repraesentierten und mit Gausschem Rauschen korruptierten.
Dann passierte etwas Ueberraschendes: Ab Ende 2023 starben kontinuierliche Methoden praktisch aus. Die Forschung konzentrierte sich voll auf diskrete Diffusion. Ein Grund: Die ChatGPT-Revolution verschob den Fokus von theoretischer Eleganz zu roher Performance. Kontinuierliche Modelle wie Plaid-1B waren 64x trainingsineffizienter als autoregressive Baselines - damals ein Todesurteil.
Warum das Comeback?
Die kontinuierliche Diffusion hat ein paar theoretische Vorteile, die diskrete Methoden nicht bieten:
- Unsicherheitsrepraesentation auf Token-Ebene: Kontinuierliche Embeddings koennen Grad an Unsicherheit ausdruecken, waehrend diskrete Token nur “da” oder “nicht da” kennen.
- Reichhaltige Sampling-Toolbox: Alle Tricks aus der Bild- und Audiogenerierung (Distillation, Solver, Guidance) lassen sich direkt anwenden.
- Skalierbarkeit: Neue Erkenntnisse deuten darauf hin, dass die Trainingseffizienz-Luecke vielleicht nicht so gross ist wie angenommen, wenn man Inference-Kosten mit einbezieht.
Die Herausforderung
Der Kernkonflikt: Diskrete Daten (kategorische Token) und kontinuierliche Rausch-Prozesse passen nicht natuerlich zusammen. Die Loesungsansaetze reichen von Embedding-basierten Methoden bis zu neuen Embedding-Schemata, die die Luecke zwischen kontinuierlichem Rauschen und kategorischer Struktur schliessen.
Dieleman betont, dass sein Bericht subjektiv ist und die Forschungslandschaft sich schnell bewegt. Der Trend deutet aber darauf hin, dass kontinuierliche Diffusion fuer Sprache eine zweite Chance bekommt.