Transformers lädt llama.cpp-Quants direkt via from_pretrained

Hugging Face baut direkte GGUF-Unterstützung in die Transformers-Bibliothek ein: llama.cpp-Quants lassen sich künftig per gewohntem from_pretrained laden, ohne den Weg über llama.cpp, Ollama oder LM Studio. Genügend Speicher auf dem Laptop reicht - der Rest ist Standard-API.

Wie es funktioniert

Der Clou: Transformers nutzt die darunterliegenden ggml-Kernels von llama.cpp selbst, diesmal über die kernels-Bibliothek. Bleiben die Gewichte gepackt auf Metal, lädt die Bibliothek automatisch die passenden ggml-Quantisierungs-Kernels und nutzt ggml-attn als Attention-Implementation. Der Start erfolgt mit Qwen3.5 auf Apple Silicon; ein GGUF wie unsloth/Qwen3.5-4B-GGUF mit gguf_file="Qwen3.5-4B-Q4_K_M.gguf" lädt direkt. Als Einstieg empfiehlt Hugging Face Q4_K_M (2,74 GB statt 8,42 GB bei BF16), bei mehr RAM gehen Q5_K_M oder Q6_K.

Serving und Performance

Mit transformers serve startet ein OpenAI-kompatibler Endpunkt, den Clients wie Jan oder Pi direkt einbinden. In Benchmarks auf einem MacBook Pro M2 Max (32 GB) liegt der Token-Durchsatz laut Hugging Face nahe an llama.cpp selbst - gemessen gegen llama-bench an drei Checkpoints, von einem kleinen dichten Modell bis hin zu Mixture-of-Experts. Damit verschwimmt die Grenze zwischen “echten” Transformers-Checkpoints und llama.cpp-Quants weiter - ein weiterer Schritt Richtung KI-Inferenz als Standard-Feature der Python-Bibliothek.

Quelle: Hugging Face Blog