Open-Weight-Inferenz: Altere GPUs bleiben länger rentabel als gedacht

GPUs werden typischerweise so abgeschrieben, als mache jede neue NVIDIA-Generation die völlige vorherige unnütz. Eine Analyse von Ornn Data kommt zum gegenteiligen Ergebnis: Solange Open-Weight-Modelle die passende Arbeit finden, behalten ältere GPU-Familien ein mehrjähriges Ertragsleben - die Nachfrage nach offenen Gewichten hält sie am Leben.

Konkrete Zahlen

Selbst gehostete Inferenz auf gemieteter Hardware kostet in der untersuchten Stichprobe 0,12 bis 0,35 Dollar je Million Output-Token bei voller Auslastung. Auf gpt-oss-120b, einem sparsamen Mixture-of-Experts-Modell mit 5,1 Milliarden aktiven Parametern, dreht sich die Hardware-Rangordnung sogar um: Der A100 produziert Output günstiger als der H100 - 0,12 Dollar gegenüber 0,27 Dollar je Million Token bei voller Auslastung. Der Grund ist simpel: Sparse Modelle mit wenig aktiven Parametern profitieren nicht proportional von den Tensor-Cores neuerer Chips, wohl aber vom größeren Speicher und den niedrigeren Spot-Preisen älterer Karten.

Konsequenz für Betreiber

Die Analyse widerspricht Prognosen, wonach neue Hardware die Erträge älterer GPUs zwangsläufig vernichtet. Für Betreiber heißt das: A100-Bestände lassen sich mit offenen Gewichten und passenden Workloads multiplikativ weiter verwerten, statt verschrottet zu werden - sofern der Betreiber frei bleibt, die Workloads selbst zu wählen. Ornn publiziert die Arbeit zusammen mit dem zugehörigen Mietindex und Term-Preiskurven, weist aber auf den eigenen kommerziellen Interessen hin.

Quelle: Ornn Data