Transformer aus dem Gedächtnis erfinden: Jede Schicht ist ein Speicher

Die Frage

Wie speichern Sprachmodelle so viel Wissen – und wie viel passt hinein? Der Beitrag nähert sich mit einer einzigen Größe: dem Interferenz-Signal-Verhältnis. Je mehr Erinnerungen ein Speicher hält, desto stärker stören sie sich beim Abruf. Die Kapazität ist die Zahl der Erinnerungen, bei der die Störung so groß wird wie das Signal.

Drei Speicherarten

Eine Erinnerung ist ein Key-Value-Paar; abgerufen wird per Ähnlichkeit (assoziativer Speicher).

• Linearer Speicher: Neue Paare werden als äußeres Produkt v·kᵀ auf die Gewichte addiert. Ein Gradientenschritt in einer linearen Schicht macht genau das: Er schreibt Key x und Value -η·ȳ ins Gewicht. Mit 64-dimensionalen Keys fasst das nur etwa 64 Erinnerungen.
• MLP als nichtlinearer Speicher: Höhere Potenzen bzw. Nichtlinearitäten reduzieren die Interferenz, die Kapazität steigt auf etwa 2.700.
• Self-Attention als nichtparametrischer Speicher: Alle Key-Value-Paare des Kontexts werden gehalten und per Softmax abgerufen; die Kapazität steigt auf über eine Million.

Warum es nützlich ist

Die Sicht liefert Faustregeln, wie viel Faktenwissen eine Schicht tragen kann, und erklärt, warum Attention so gut zum Abrufen im langen Kontext taugt. Der Text enthält interaktive Demos und einen optimalen linearen Speicher als Vergleichspunkt – eine gute Lektüre für alle, die Transformer mechanistisch statt als Black Box verstehen wollen.

Quelle: alexwang.ai