LLM-Steuerung wird wieder spannend

Mit DeepSeek-V4-Flash gibt es endlich ein lokales Modell, das gut genug für echtes LLM-Steering ist. Was früher nur mit proprietären API-Modellen möglich war, lässt sich nun auf dem eigenen Rechner ausprobieren.

Was ist LLM-Steering?

Steering beschreibt die Idee, die Ausgaben eines Sprachmodells direkt über dessen neuronale Aktivierungen zu steuern. Anstatt mühsam Prompts zu optimieren, greift man in den Inneren des Modells ein und manipuliert die mathematischen Repräsentationen von Konzepten wie “kurz”, “detailliert” oder “vorsichtig”. Das klingt nach einem Cheat-Code für KI.

Die Technik funktioniert, indem man Konzept-Vektoren extrahiert. Man zeigt dem Modell hunderte Prompts einmal mit und einmal ohne ein bestimmtes Verhalten, misst die Differenz in den Aktivierungen und erhält einen “Steering-Vektor”. Diesen kann man dann während der Inferenz zu beliebigen Prompts hinzufügen.

Warum jetzt spannend?

Bisher war Steering eine Forschungsrarität. Große AI-Labors wie Anthropic konnten direkt an den Gewichten arbeiten, normale Nutzer hatten über APIs keinen Zugriff auf die Aktivierungen. Open-Source-Modelle waren zu schwach, um den Aufwand zu rechtfertigen.

Das ändert DeepSeek-V4-Flash. Das Modell läuft lokal, ist stark genug für agentisches Coding und macht Steering praktisch nutzbar. Projekte wie DwarfStar 4 integrieren Steering bereits als erstklassige Funktion, auch wenn die aktuellen Anwendungen noch Spielereien wie “Ausführlichkeit”-Regler sind.

Die philosophische Dimension

Golden Gate Claude zeigte 2024, wie beunruhigend Steering sein kann: Das Modell brachte unweigerlich jedes Gespräch auf die Golden Gate Bridge, egal worüber man sprach. Das wirkt wie eine neurologische Störung und wirft Fragen über Identität und Bewusstsein auf. Was passiert mit einem Menschen, der ähnlich “gesteuert” würde?

Für Entwickler bleibt Steering ein faszinierendes Werkzeug. Es ermöglicht Kontrolle ohne Prompt-Engineering und zeigt, wie konzeptionelle Muster in neuronalen Netzwerken organisiert sind. Mit DeepSeek-V4-Flash können nun mehr Menschen experimentieren.