OpenAI präsentiert 'Jalapeño': Erster eigener Inference-Chip mit Broadcom

OpenAI hat seinen ersten selbstentwickelten Inference-Prozessor namens Jalapeño offiziell vorgestellt. Der Chip wurde in Zusammenarbeit mit Broadcom entworfen und speziell für die Anforderungen von LLM-Inferenz-Workloads optimiert.

Schlüsseldaten

• Hersteller: OpenAI in Kooperation mit Broadcom
• Fokus: Reine Inferenz (nicht Training)
• Performance: Signifikant bessere Performance-per-Watt als aktuelle Alternativen
• Besonderheit: OpenAI’s eigene KI-Modelle unterstützten bei der Chip-Entwicklung

Der Chip zielt darauf ab, OpenAI’s Abhängigkeit von Nvidia-GPUs zu reduzieren – ein Schritt, den bereits Google und Amazon mit ihren eigenen AI-Beschleunigern gegangen sind. Während trainingsintensive Aufgaben weiterhin auf Nvidia-Hardware laufen werden, können bereits kleine Verbesserungen bei Inference-Kosten die Ökonomie von AI-Services massiv beeinflussen.

OpenAI-Präsident Greg Brockman betonte: “Wir haben ein tiefes Verständnis der Workloads und haben nach Bereichen gesucht, die unterversorgt sind – wie können wir etwas bauen, das beschleunigt, was möglich ist?”

Die Chip-Entwicklung ist Teil von OpenAI’s vertikaler Integrationsstrategie: Das Unternehmen entwickelt nicht nur Frontier-Modelle und Produkte darauf, sondern gestaltet nun auch die darunterliegende Infrastruktur – Chip-Architektur, Kernel, Speichersysteme, Netzwerke und Deployment-Systeme.

Quelle: TechCrunch