Article

Claude lehrt Open-Source-Modelle CUDA-Kernel zu schreiben

Ein neuer Ansatz von HuggingFace demonstriert das “Upskilling” von Coding Agents: Ein Skill, mit dem Claude Opus komplexe CUDA-Kernel entwickelt und diese Faehigkeit dann an kleinere Open-Source-Modelle weitergibt. Das Ergebnis: Modelle, die auf Laptops laufen, koennen optimierte GPU-Kernel fuer diffusers und transformers schreiben.

Das Problem

CUDA-Kernel zu schreiben ist schwierig. Die Integration mit transformers und diffusers erfordert architekturspezifische Speicherzugriffsmuster, Vektorisierungsstrategien, Warp-Shuffle-Reduktionen und Dutzende Integrationsfallen. Das Kernel Hub loeste die Distribution - mit get_kernel() koennen vorkompilierte Kernel geladen werden. Aber jemand muss sie schreiben.

Der Skill-Ansatz

Agent Skills definieren Modell-Kontext als Dateien: Instruktionen als Markdown, Code als Skripte. Das Dateiformat macht sie leicht generierbar, teilbar und ueberpruefbar. Fuer spezialisierte Doemaenen oder schwere Probleme - die Dinge, die das Modell nicht ohnehin gut kann - sind sie besonders wertvoll.

Der Prozess:

  1. Claude Code baut interaktiv einen Kernel und exportiert den Trace
  2. Der upskill-Befehl generiert und evaluiert Skills mit grossen Modellen
  3. Kleinere Modelle nutzen den Skill fuer dieselbe Aufgabe

Konkrete Resultate

Die Teams zielten auf zwei echte Ziele: eine diffusers-Pipeline und ein transformers-Modell. Die Agents produzierten funktionierende Kernel mit korrekten PyTorch-Bindings und Benchmarks - End-to-End.

Interessant: Ein “naiver” Skill basierend auf Dokumentation verbesserte manche Modelle, verschlechterte aber andere oder erhoehte Token-Verbrauch. Iteratives Verbessern der Skills und Testen an kleineren Modellen war der Schluessel.

Warum das wichtig ist

Der Ansatz zeigt einen Weg, wie spezialisiertes Fachwissen - hier GPU-Optimierung - codifiziert und an kleinere Modelle weitergegeben werden kann. Statt jedes Mal ein SOTA-Modell zu fragen, kann das Wissen einmal aufbereitet und dann lokal genutzt werden.

Quelle: HuggingFace Blog