Samsungs Processing-in-Memory: KI-Berechnung direkt im DRAM

Auf der Hot Chips 2026 Konferenz hat Samsung den aktuellen Stand seiner Processing-in-Memory (PIM) Technologie praesentiert. Die Idee ist faszinierend: Statt Daten aus dem DRAM zu einem Prozessor zu uebertragen und dort zu berechnen, sollen MAC-Operationen direkt im Speicherchip stattfinden. Samsung setzt dafuer auf LPDDR5X-Chips mit integrierten PIM-Bloecken in jedem der 16 Bänke.

Wie es funktioniert

Jeder PIM-Block enthaelt einen MAC-Baum mit Registerdateien und Steuerlogik. Eine 1024-Bit-Instruktions-Registerdatei fasst bis zu 64 16-Bit-Instruktionen. Eine 4-kbit-Quell-Registerdatei haelt Aktivierungsvektoren, waehrend Modellgewichte direkt aus dem angehaengten DRAM-Bank gelesen werden. Die MAC-Arrays unterstuetzen INT8, FP8 und 4-Bit-Formate. Ueber alle 16 Baenke hinweg erreicht ein einzelner Chip 2,4 TOPS. Mit acht Chips zusammen wuerden 9,6 INT8 TOPS erreicht, was ungefaehr dem NPU-Durchsatz von Intels Meteor Lake entspricht.

Standardprotokoll mit Twist

Das Durchdachte an Samsungs Ansatzt: PIM funktioniert mit einem normalen LPDDR5X-Speichercontroller. Spezielle Zeilenadressen dienen als Modus-Umschalter zwischen Single-Bank- und Multi-Bank-Modus. Im PIM-Modus wandeln sich Lese- und Schreibbefehle in Berechnungsoperationen. Das macht die Hardware einfach, aber die Softwarekomplexitaet steigt.

Software-Herausforderungen

Die Probleme liegen weniger in der Hardware als in der Software. PIM-Modus aendert die Bedeutung von DRAM-Befehlen, sodass normale Speicherzugriffe und PIM-Berechnungen nicht gleichzeitig laufen koennen. Multitasking wird zum Albtraum: Der OS muesste PIM-Threads ohne Task-Switching ausfuehren, Interrupts waehrend PIM-Phase deaktivieren und PIM-Registerstaende bei Preemption sichern. Caches werden unbrauchbar, da PIM-Ergebnisse an der Cache-Hierarchie vorbeientstehen. Samsung empfiehlt, PIM-Speicher als uncacheable zu mappen, was aber die CPU-Leistung massiv drosselt.

Fazit

Samsungs PIM-Ansatz ist technisch beeindruckend, aber praktische Herausforderungen sind enorm. Der Artikel schlaegt vor, dass erst Erweiterungen der DRAM-Schnittstelle um explizite Compute-Befehle, Cache-Kohaerenz-Integration und neue CPU-Instruktionen wie “rep macb” PIM alltagstauglich machen koennten. Bis dahin bleibt In-Memory-Compute ein vielversprechendes Forschungsthema mit steilem Praxis-Pruefungspfad.

Original-Artikel: Chips and Cheese