Tools
HuggingFace liefert 207 WebGPU-Kernels fuer KI direkt in den Browser
HuggingFace hat mit @huggingface/kernels eine JavaScript-Bibliothek veröffentlicht, die optimierte WebGPU-Kernels direkt aus dem Hugging Face Hub in den Browser lädt. Startpaket: 207 Kernels als einzelne Apache-2.0-lizenzierte Repositories unter huggingface.co/webgpu-kernels. Die Idee dahinter: Browser-KI soll nicht mehr auf handgestrickte Shader angewiesen sein, sondern auf versionierte, prüfbare Software-Artikel setzen.
Was das Besondere ist
Ein Kernel-Repository ist mehr als ein Shader: Die Schnittstelle ist ohne WGSL-Lektüre inspizierbar, Korrektheits- und Performance-Tests reisen mit der Implementation mit, und geladen wird eine explizite Version statt einer unversionierten Datei-URL. Der Loader kümmert sich um Download, Vorbereitung und Ausführung – passend zum Transformers.js-Ökosystem.
Wie schnell sind die Kernels?
- Add: 3,52x schneller als ORT WebGPU (0,064 ms vs. 0,227 ms)
- Softmax: 2,11x (0,114 ms vs. 0,240 ms)
- LayerNormalization: 2,22x (0,061 ms vs. 0,135 ms)
- MatMul: 1,14x (0,115 ms vs. 0,131 ms)
Gemessen wurde auf einer Apple-M4-GPU gegen ONNX Runtime Web. Dazu gibt es “Fleet”, eine In-Browser-Benchmarking-Suite, die die Kernels auf der eigenen Hardware laufen lässt und scored. Wer an lokaler KI ohne Server-Infrastruktur arbeitet, sollte hier einen Blick drauf werfen – das ist ein solides Fundament für WebAI jenseits von Demo-Beispielen.