Reasoning-Modelle selbst bauen: Sebastian Raschkas Videokurs mit 11 Stunden PyTorch

Worum es geht

Sebastian Raschka hat zu seinem Buch „Build a Reasoning Model (From Scratch)" einen Videokurs veröffentlicht: acht Videos, über 11 Stunden Live-Coding in Python und PyTorch. Er versteht ihn als Fortsetzung seines Kurses „Coding LLMs from the Ground Up", der aber keine Voraussetzung ist.

Inhalt

Ausgangspunkt ist ein vortrainiertes LLM. Darauf implementierst du Schritt für Schritt Methoden zur Bewertung und Verbesserung:

• Evaluation von Modellantworten
• Inference-Time-Scaling, also mehr Rechenaufwand beim Antworten
• Reinforcement Learning mit überprüfbaren Belohnungen
• Distillation in kleinere Modelle

Einordnung

Raschka erklärt das Verhältnis von LLM, Reasoning-Modell und Agent mit einer Motor-Analogie: Ein Reasoning-Modell ist ein LLM mit zusätzlichem RL-Post-Training, klassisch für Mathe und Code. Der Agent-Harness drumherum (Kontextverwaltung, Tool-Zugriff) ist die Maschinerie, die den Motor nutzbar macht. Fast alle aktuellen LLMs sind Reasoning-Modelle oder bieten einen Reasoning-Modus, daher bleibt das Verständnis der Grundlagen relevant.

Wer verstehen will, was in Modellen mit „Thinking"-Modus passiert, bekommt hier einen praktischen Weg, bei dem man alles selbst nachbaut.