Article

Lokale LLMs sind jetzt gut – Ein Erfahrungsbericht

Local LLMs Gemma Mistral Ollama LM Studio Agentic

Lokale Modelle endlich produktiv nutzbar

Vicki Boykis dokumentiert ihren Weg durch lokale LLMs seit deren Entstehen. Ihr Fazit nach Jahren des Experimentierens: Lokale Modelle sind jetzt überraschend gut.

Mit einem M2 Mac (64 GB RAM, 1TB Storage) testete sie:

  • Mistral 7B
  • Gemma 3
  • OpenAI OSS-20B
  • Qwen 3 MOE
  • Qwen 2.5 Coder

Der Wendepunkt: GPT-OSS

Lange Zeit waren lokale Modelle langsam, schwer zu benutzen und ungenau für die meisten Programmieraufgaben. Der Release von GPT-OSS markierte einen Wendepunkt – Boykis’ persönlicher Vibe-Check: “Muss ich das Ergebnis gegen ein API-Modell verifizieren?” Bei GPT-OSS fiel diese Notwendigkeit drastisch.

Gemma 4: Agentic Coding lokal möglich

Mit den neuesten Google Gemma 4 Releases erreicht sie ~75% der Accuracy/Speed von Frontier-Modellen für agentic Coding-Loops – lokal. Genutzt mit LM Studio als Inference-Server.

Praktische Anwendungen:

  • Refactoring eines Python Notebooks in ein Multi-Modul-Repo
  • Linting mit korrekten Type Hints für Generics
  • Blog-Post Proofreading
  • Unit Test Generation
  • Bootstrap eines Two-Tower Recommendation-Repo von Grund auf

Setup: Pi + LM Studio

Für lokale Agentic Workflows nutzt Boykis:

  • Agent Harness: Pi
  • Inference Server: LM Studio (alternativ: llama.cpp für bessere Performance)
  • Containerisierung: Docker mit limitierter Execution-Permission
# docker-compose.yml
services:
  pi-agent:
    build:
      context: .
      dockerfile: Dockerfile
    image: pi-agent:0.74.0
    init: true
    stdin_open: true
    tty: true
    environment:
      ANTHROPIC_API_KEY: ""
      OPENAI_API_KEY: ""
      GEMINI_API_KEY: ""
      OPENAI_API_BASE: ""
    working_dir: /workspace

Verbleibende Herausforderungen

Lokale Modelle haben weiterhin Limitationen:

  • Inference kann langsam sein
  • Context Windows sind hardware-begrenzt
  • Prompt Template Mismatches
  • Ecosystem-Fragmentierung (LM Studio, HuggingFace, unterschiedliche Server)

Fazit

Aufgaben, die vor 6 Monaten für lokale Modelle unmöglich waren, funktionieren jetzt. Der Gemma-4-12b-QAT Release zeigt interessante architektonische Tradeoffs unter Performance- und Preis-Constraints – eine Frage, die im Token-Goldrush bislang vernachlässigt wurde.