News
Efficient Frontier der LLM-Inferenz: Tradeoff oder Frontier-Verschub?
Baseten hat einen kompakten Überblick veröffentlicht, wie Inference-Engineering eigentlich funktioniert - und warum nicht jede Optimierung gleich viel wert ist. Die Kernidee: Der Begriff “Efficient Frontier” aus der Ökonomie lässt sich auf die Inferenz übertragen, wobei zwischen zwei Typen von Techniken unterschieden wird.
Techniken, die nur abwägen
Diese Bewegungen entlang der Frontier sind oft ungeschickter, als sie klingen - die Kurve ist in der Praxis ausgefranst, kleine Änderungen können große Sprünge bedeuten:
- Batch-Größe: Kleinere Batches bedeuten niedrige Latenz pro Nutzer, aber hohe Kosten pro Token. Größere Batches drehen den Spieß um.
- Parallelismus-Strategie: Tensor Parallelism (TP) über NVLink senkt die Latenz, Expert Parallelism (EP) in großem Umfang erhöht den Durchsatz, Attention Data Parallelism (ADP) opfert per-Request-Speed für System-Throughput.
- Quantisierung: Verbessert eigentlich beides, eröffnet aber eine neue Frontier zwischen Qualität und Serving-Effizienz - mit Formaten wie MXFP4 und NVFP4 oft fast verlustfrei.
Techniken, die die Frontier verschieben
Interessanter sind die Verfahren, die mehr Gesamteffizienz schaffen, die sich dann frei auf Latenz oder Durchsatz verteilen lässt:
- Kernel-Optimierung: Schnellere CUDA-Kernels und effizientere Forward Passes senken den Ressourcenverbrauch pro Token.
- Speculative Decoding: Verfahren wie EAGLE-3, DSpark und DFlash raten Tokens und validieren sie - besonders stark bei Code-Generierung mit vorhersagbaren Sequenzen.
- P/D-Disaggregation: Prefill und Decode laufen auf dedizierten, separat optimierten Workern, das Verhältnis passt sich dem Traffic an.
Der Clou: Diese Techniken multiplizieren sich. Doppelte Leistung durch bessere Hardware plus doppelte Leistung durch bessere Software ergibt vierfache Gesamtverbesserung.