MicroLLM Lab: Sieben Mini-LLMs direkt im Browser per WebGPU ausprobieren

Wie fühlt sich ein 135M-Parameter-Modell eigentlich an? Statt das trocken zu beantworten, hat stateofutopia einfach ein Labor gebaut: MicroLLM Lab lädt sieben Mini-Sprachmodelle Q4-quantisiert direkt im Browser per WebGPU - kein Installations-Tanz, kein Python-Setup, kein Cloud-Account. Reinhauen, Modell anklicken, generieren.

Die Line-Up

Sieben Modelle zwischen 26M und 362M Parametern: PetitGPT research-v1 (125M, auf einer einzelnen RTX 4090 von Hand trainiert), SmolLM2 135M und 360M Instruct, L20-Edu 135M, MiniMind2 in zwei Größen (26M und 104M) und GPT-2 124M im nanoGPT-Stil. Insgesamt 605,6 MB - alle Gewichte landen im IndexedDB-Cache des Browsers und stehen danach offline bereit. Lizenzen sind durchgehend offen (Apache 2.0 / MIT).

Mehr als ein Spielzeug

Das Lab ist ernsthafter als es aussieht: Eine eingebaute Benchmark-Suite mit 21 objektiven Tests pro Modell misst Peak- und Sustained-Tokens-pro-Sekunde (256-Token-Decode) und die Pass-Rate - wobei explizit dokumentiert wird, dass ein 135M-Modell scheitern darf, weil genau das die Messung ist. Besonders nett: Eigene Benchmarks schreibst du direkt in JavaScript im Browser-Editor und kannst dir das Setup als Prompt für ein größeres LLM kopieren lassen. Für die Eitelkeit gibt es ein generierbares Benchmark-Zertifikat mit eigener Hardware und Score zum Teilen.

Warum das relevant ist: WebGPU wird langsam zur echten Runtime-Option für Inferenz. Wer LLM-Inferenz in Web-Apps bringen will, ohne einen Inference-Server zu betreiben, bekommt hier ein reales Gefühl dafür, was auf welcher Hardware geht - laut Lab ist eine GPU von 2016 oft 3-8x langsamer als ein M4. Für Einsteiger ist es zudem der niedrigschwelligste Weg überhaupt, Tokens pro Sekunde, Kontextgrenzen und Benchmark-Pass-Raten nicht nur zu lesen, sondern live zu erleben.

Link: MicroLLM Lab