OpenAI Jalapeno: Der eigens entwickelte Inference-Chip schlaegt Nvidia Blackwell

OpenAI betritt die Chip-Welt

OpenAI hat mit “Jalapeno” seinen ersten selbstentwickelten Inference-ASIC auf der Hot-Chips-Konferenz vorgestellt. Der Chip entstand in Zusammenarbeit mit Broadcom, nutzt HBM4-Speicher und durchlief eine extrem schnelle Entwicklungszyklus: vom Team-Aufbau Mitte 2024 bis zum Tape-out vergingen nur rund 16 Monate. Erstaunlicherweise schlaegt die erste Generation jeden getesteten Nvidia-, AMD- und Google-Chip in mehreren Benchmarks.

Ein generalisierter Inference-Chip

Entgegen vieler Medienberichte ist Jalapeno kein auf OpenAI-Modelle spezialisierter Chip, sondern ein generalisierter Beschleuniger fuer beliebige LLM-Workloads. SemiAnalysis konnte den Chip vor Ort in OpenAIs Laboren mit der InferenceX-Suite benchmarken und bestaetigte die Leistungsdaten. Als Scherz zeigte OpenAI sogar Doom auf dem Chip laufend – portiert allein mit Codex-Prompts.

Leistung und Effizienz

Die Kernergebnisse aus dem SemiAnalysis-Bericht:

• Perf/Watt: Jalapeno uebertrifft Blackwell in fast allen Szenarien – und das ohne Multi-Token-Prediction (MTP), waehrend die Konkurrenz MTP nutzt.
• Tokens/s/MW: Selbst gegen Vera Rubin (Nvidias neueste HBM4-Architektur) gewinnt Jalapeno bei Single-Token-Prediction.
• Interaktivitaet: Ueber 700 Tokens/s pro Nutzer bei Concurrency 1 auf DeepSeek R1; GPT-OSS erreicht rund 1.400 Tokens/s pro Nutzer.
• TCO: Vera Rubin und Jalapeno liefern aehnlich viele Output-Tokens pro Dollar. Da Jalapeno jedoch noch ohne speculative decoding arbeitet (was 3-5x Kostensenkung bringt), ist hier weiteres Potenzial vorhanden.

Architektonische Highlights

• HBM4 mit 15,4 TB/s Bandbreite pro Package – schneller als HBM3E-Konkurrenten, mit 10 Gbps Pin-Speed.
• TSMC N3P Compute-Die mit 13,4 PFLOPS MXFP4 bei nur 700W TDP (Rubin: 17,5 PFLOPS bei 900-1.150W).
• Out-of-Order-Kerne mit L1-Cache statt Software-Scratchpad – ungewoehnlich fuer Beschleuniger und vermeidet Barrier-Latenzen.
• Slice-basiertes Memory-Design: Jeder Kern hat niedriglatenzigen Zugriff auf seinen eigenen HBM-Slice, synchronisiert ueber ein dediziertes Kollektiv-Netzwerk.
• B0-Stepping bereits in Fertigung: ca. 25% Perf-per-Watt-Verbesserung gegenueber A0-Silicon.

Einschraenkungen und Ausblick

SemiAnalysis nennt auch Vorbehalte: Alle Zahlen stammen von OpenAI, AgentX-Benchmarks fehlen noch, und die getesteten Modelle sind nicht an der offenen Frontier. Der Vergleich mit Blackwell sei zudem nur bedingt fair – eigentlich muesse Jalapeno gegen Rubin gemessen werden. Dennoch zeige der Chip, dass Hardware-Software-Co-Design und ein Clean-Sheet-Ansatz ohne Backwards-Compatibility-Lasten enorme Vorteile bringen. Die CUDA-Moat koennte dadurch erodieren. Die Produktion soll 2027 schrittweise hochgefahren werden.

Quelle: Original-Artikel