Lowfat: CLI-Filter spart 91,8% der LLM-Tokens

zdk stellt Lowfat vor - ein CLI-Filter, der LLM-Token-Inputs vor der Verarbeitung bereinigt. Das Ergebnis: Einsparungen von bis zu 91,8% ohne Informationsverlust.

Wie es funktioniert

Lowfat agiert als Zwischenschicht zwischen Datenquelle und LLM. Es filtert redundante Informationen, komprimiert Whitespaces, entfernt irrelevante Metadaten und normalisiert Formatierungen. Das geschieht konfigurierbar über Plugins.

Anwendungsfälle

• Code-Review: Entfernt Kommentare, behält Struktur
• Log-Analyse: Filtert wiederholende Zeilen, extrahiert Key-Events
• Dokumentation: Komprimiert Markdown ohne Lesbarkeit zu opfern

Plugin-Architektur

Lowfat ist erweiterbar. Benutzer schreiben benutzerdefinierte Filter in Rust oder nutzen mitgelieferte Plugins für gängige Formate (JSON, YAML, HTML). Die Architektur erlaubt chaining mehrerer Filter.

Performance

Die Benchmarks zeigen dramatische Reduktionen bei typischen Arbeitlasten. Ein Log mit 100.000 Zeilen wird auf wenige tausend Tokens komprimiert, die das LLM tatsächlich verarbeiten muss.

Verfügbarkeit

Lowfat liegt als Open-Source auf GitHub. Rust-basiert, mit binären Releases für Linux, macOS und Windows.

Link: GitHub zdk/lowfat