Tutorials
Kimi K3 Architektur-Notizen: Delta Attention, LatentMoE und NoPE
Sebastian Raschka hat Architektur-Notizen zum neuen Open-Weight-Modell Kimi K3 veröffentlicht. Das Modell kombiniert mehrere interessante architektonische Entscheidungen, die es von klassischen Transformer-Designs abheben.
Die Architektur-Bausteine
Kimi Delta Attention: Eine Variante der linearen Aufmerksamkeit, die im Blog-Post von Doubleword AI weiter analysiert wird. Sie gehört zur DeltaNet-Familie linearer Attention-Varianten und zielt auf effizienteres Long-Context-Handling ab.
Multi-Head Latent Attention (MLA): Aus DeepSeek V2/V3 bekannt — Compression der KV-Cache-Dimension durch latente Projektion, was den Memory-Footprint deutlich reduziert.
LatentMoE: Eine MoE-Variante, die Expert-Selection im latenten Raum durchführt, kombiniert mit der latenten Attention. Effizientere Routing-Entscheidungen bei geringerem Overhead.
Attention Residuals: Eine Technik, bei der Attention-Outputs als Residual-Verbindungen weitergereicht werden, was das Training stabiler machen soll.
NoPE (No Position Embedding) + Sliding Window Attention: Keine expliziten Positionsembeddings — Positionsinformation wird implizit über Sliding-Window-Attention und relative Mechanismen vermittelt. Das spart Parameter und ermöglicht flexiblere Context-Längen.
Bewertung
Raschka nennt es einen “wirklich großartigen Release” und hebt die Trainings-Details im Technical Report als besonders interessant hervor. Das Modell ist Teil einer neuen Generation Open-Weight-LLMs, die nicht nur skalieren, sondern auch architektonisch experimentieren — weg vom Standard-Transformer, hin zu hybriden Designs mit linearer Attention, komprimiertem KV-Cache und effizientem MoE-Routing.