CS336: Sprachmodellierung von Grund auf

Stanford bietet mit CS336 einen Kurs an, der Studierende durch den gesamten Prozess der Entwicklung eines eigenen Sprachmodells führt. Inspiriert von Betriebssystemkursen, die ein ganzes OS von Grund auf erstellen, deckt CS336 alle Aspekte ab: Datensammlung und -bereinigung für Pre-Training, Transformer-Architektur, Training und Evaluation bis zur Bereitstellung.

Der Kurs ist als 5-Einheiten-Klasse konzipiert und extrem implementierungsintensiv. Studierende schreiben deutlich mehr Code als in typischen KI-Kursen und erhalten minimale Vorstrukturierung. Voraussetzungen sind Python-Profizienz, Erfahrung mit Deep Learning und Systemoptimierung sowie Grundkenntnisse in Linearer Algebra und Mathematik.

Die fünf Assignments umfassen: Implementierung aller Komponenten für einen Standard-Transformer, verteiltes Training mit optimierter Attention, Scaling Laws, Webdatenverarbeitung von Common Crawl sowie Alignment-Methoden wie DPO. Für Selbststudierende werden Cloud-Provider wie Modal ($6,25/B200-Stunde) und RunPod ($4,99/Stunde) empfohlen.

Der Kurs betont praktische Erfahrung: Studierende müssen Tokenizer, Modellarchitektur und Optimierer selbst implementieren, Profile durchführen und schließlich ein funktionierendes Sprachmodell trainieren.