Lokale Modelle für GitHub Issue Triage – Kostenlos

Warum lokale Modelle?

Juni 2026 wird als der Moment in Erinnerung bleiben, als Menschen realisierten, dass geschlossene Modelle jederzeit weggenommen werden können. Mit der Entfernung von Anthropic’s Claude Fable 5 frisch im Gedächtnis, wird klar, warum es wichtiger denn je ist, seinen eigenen AI-Stack zu besitzen und Modelle lokal zu betreiben – besonders wenn man sein Business darauf aufbaut.

Der Use Case: OpenClaw Issue Triage

OpenClaw erhält hunderte Issues und PRs täglich, die triagiert, priorisiert und an Maintainer weitergeleitet werden müssen. Onur Solmaz, Maintainer dieses Verticals, muss schnell auf P0-Issues reagieren.

Mit SOTA-geschlossenen Modellen wie GPT-5, Opus oder Sonnet wäre das ein ziemlich einfacher Task. Aber Solmaz sitzt auf 128 GB Unified Memory – einer NVIDIA GB10. Also nahm er die Herausforderung an:

“Kann ich ein Echtzeit-Benachrichtigungssystem bauen, das mich nur für die Issues filtert und benachrichtigt, für die ich verantwortlich bin… mit lokalen Open-Weight-Modellen?”

Closed vs. Local: Die Kosten-Rechnung

Ein OpenClaw-Main-Agent auf einem $200/Monat ChatGPT Pro Plan, der bei jedem neuen Issue oder PR einen Job triggert, würde das Quota aufbrauchen. Alternativ: alle 2 oder 6 Stunden laufen lassen – Trading Echtzeit-Benachrichtigungen gegen verzögerte Verarbeitung.

Mit einem lokalen Modell auf bereits vorhandener Hardware:

• Nahezu instantane Benachrichtigungen
• Kostenlos (bzw. Kosten der Elektrizität)
• Keine Rate Limits
• Daten bleiben lokal

Der Ansatz: Agent Harness mit strukturierten Outputs

Der Ansatz unterscheidet sich von der Verwendung eines Modells wie BERT für Klassifikation. Ein lokales Modell in einem Agent Harness wie Pi kann in Kombination mit strukturierten Outputs verwendet werden, um Labels zuzuweisen.

Das Team kam mit einer endlichen Menge von Labels, die die Kategorien von Issues repräsentieren, die triagiert werden müssen:

• local_models
• documentation
• bug
• feature_request
• etc.

Das Modell klassifiziert jedes Issue in eine dieser Kategorien – vollständig lokal, ohne Cloud-Kosten.