Samsungs Processing-in-Memory: KI-Berechnung direkt im DRAM

Auf der Hot Chips 2026 Konferenz hat Samsung den aktuellen Stand seiner Processing-in-Memory (PIM) Technologie präsentiert. Die Idee ist faszinierend: Statt Daten aus dem DRAM zu einem Prozessor zu übertragen und dort zu berechnen, sollen MAC-Operationen direkt im Speicherchip stattfinden. Samsung setzt dafür auf LPDDR5X-Chips mit integrierten PIM-Blöcken in jedem der 16 Bänke.

Wie es funktioniert

Jeder PIM-Block enthält einen MAC-Baum mit Registerdateien und Steuerlogik. Eine 1024-Bit-Instruktions-Registerdatei fasst bis zu 64 16-Bit-Instruktionen. Eine 4-kbit-Quell-Registerdatei hält Aktivierungsvektoren, während Modellgewichte direkt aus dem angehängten DRAM-Bank gelesen werden. Die MAC-Arrays unterstützen INT8, FP8 und 4-Bit-Formate. Über alle 16 Bänke hinweg erreicht ein einzelner Chip 2,4 TOPS. Mit acht Chips zusammen würden 9,6 INT8 TOPS erreicht, was ungefähr dem NPU-Durchsatz von Intels Meteor Lake entspricht.

Standardprotokoll mit Twist

Das Durchdachte an Samsungs Ansatzt: PIM funktioniert mit einem normalen LPDDR5X-Speichercontroller. Spezielle Zeilenadressen dienen als Modus-Umschalter zwischen Single-Bank- und Multi-Bank-Modus. Im PIM-Modus wandeln sich Lese- und Schreibbefehle in Berechnungsoperationen. Das macht die Hardware einfach, aber die Softwarekomplexität steigt.

Software-Herausforderungen

Die Probleme liegen weniger in der Hardware als in der Software. PIM-Modus ändert die Bedeutung von DRAM-Befehlen, sodass normale Speicherzugriffe und PIM-Berechnungen nicht gleichzeitig laufen können. Multitasking wird zum Albtraum: Der OS müsste PIM-Threads ohne Task-Switching ausführen, Interrupts während PIM-Phase deaktivieren und PIM-Registerstände bei Preemption sichern. Caches werden unbrauchbar, da PIM-Ergebnisse an der Cache-Hierarchie vorbeientstehen. Samsung empfiehlt, PIM-Speicher als uncacheable zu mappen, was aber die CPU-Leistung massiv drosselt.

Fazit

Samsungs PIM-Ansatz ist technisch beeindruckend, aber praktische Herausforderungen sind enorm. Der Artikel schlägt vor, dass erst Erweiterungen der DRAM-Schnittstelle um explizite Compute-Befehle, Cache-Kohärenz-Integration und neue CPU-Instruktionen wie “rep macb” PIM alltagstauglich machen könnten. Bis dahin bleibt In-Memory-Compute ein vielversprechendes Forschungsthema mit steilem Praxis-Prüfungspfad.

Original-Artikel: Chips and Cheese