Nvidia Groq 3 LPX: Rekord bei KI-Token, aber nur mit 64 Chips

Nvidia hat seinen Inferenz-Beschleuniger Groq 3 LPX jetzt auf der Hot Chips 2026 in Palo Alto offiziell vorgestellt und dabei erstmals Messwerte eines unabhängigen Dienstleisters offengelegt. Die Architektur präsentierte Igor Arsovski, bis Ende 2025 Chefarchitekt bei Groq und inzwischen Vice President Hardware bei Nvidia.

Wer die Roadmap für KI-Hardware verfolgt, bekommt damit die erste belastbare Zahl zum 20 Milliarden US-Dollar schweren Groq-Abkommen aus dem Dezember 2025. Die Spitzengeschwindigkeit hält der Prüfung stand, der beworbene Vierfach-Vorsprung dagegen nicht: Nvidia belegt dafür ein Viertel des Racks, Konkurrent Cerebras kommt mit ein bis zwei Beschleunigern aus.

Nvidia Groq 3 LPX verspricht KI-Token in Rekordzeit erzeugen zu können.

Groq 3 LPX: 256 LPUs mit 128 GiB SRAM statt HBM4

Ein Groq-3-LPX-Rack vereint 256 LPUs ("Language Processing Unit") vom Typ LP30 und stellt 128 GiB SRAM bereit, der vollständig auf den Dies sitzt. Nvidia nennt dafür 40 PB/s aggregierte SRAM-Bandbreite und 640 TB/s für die Anbindung der Chips untereinander. Je Beschleuniger sind es 150 TB/s SRAM-Bandbreite und 2,5 TB/s beim Scale-up. Rechnerisch entfallen damit 512 MiB auf jede LPU.

Für die Einordnung zählt vor allem das Verhältnis von Kapazität zu Bandbreite: Eine Rubin-GPU der Vera-Rubin-Plattform bringt 288 GiB HBM4 bei rund 22 TB/s mit. Eine LPU bietet also den 576. Teil der Kapazität bei knapp siebenfacher Bandbreite. Gefertigt wird der LP30 bei Samsung in 4 nm. Es handelt sich um die dritte LPU-Generation aus dem Lizenzabkommen vom 24. Dezember 2025.

Übernommen hat Nvidia den Chipentwickler dabei nicht. Groq besteht als eigenständiger Cloud-Anbieter fort, während Gründer Jonathan Ross, Präsident Sunny Madra und ein Großteil der Entwickler zu Nvidia gewechselt sind. Mit dem gleich klingenden Chatbot Grok von xAI hat die Firma nichts zu tun.

3.431 Token pro Sekunde bei 100.000 Token Kontext

Artificial Analysis misst für das offene Modell Gemma 4 31B bei 100.000 Token Eingabekontext 3.431 Ausgabe-Token pro Sekunde, den höchsten je erfassten Wert für dieses Modell. Bei 10.000 Token Kontext sind es 3.382 Token pro Sekunde. Die Geschwindigkeit bleibt über den gemessenen Kontextbereich damit praktisch konstant.

Nvidia sieht Groq 3 LPX gegenüber bisherigen Lösungen klar im Vorteil.

Genau diese Konstanz ist der praxisrelevante Teil der Messung, denn sie entscheidet, ob ein Coding-Agent nach 200 Arbeitsschritten noch flüssig antwortet. Im hauseigenen SPEED-Bench mit Programmieraufgaben erreicht dasselbe System 4.767 Token pro Sekunde im Median, bei einem Fünftel der Aufgaben mehr als 5.500. Für 5.000 Ausgabe-Token bedeutet das rund 1,5 statt 50 Sekunden Wartezeit.

64 LPUs gegen zwei Wafer: Was der Cerebras-Vergleich auslässt

Den Faktor vier erreicht Groq 3 LPX gegenüber einem öffentlichen Endpunkt mit 870 Token pro Sekunde, allerdings mit 64 Beschleunigern statt mit einem oder zweien. Gemma 4 31B läuft bei Nvidia in FP8 und belegt gut 31 GiB. Cerebras serviert dasselbe Modell nach Rechnung von The Register auf ein bis zwei Wafer-Beschleunigern mit jeweils 44 GiB SRAM.

Hinzu kommt der Messaufbau: Nvidia ließ einen privaten Vorab-Endpunkt über Google Cloud prüfen. Gewertet wurde der Median aus 50 aufeinanderfolgenden Anfragen bei einer Nebenläufigkeit von eins. Die Vergleichsanbieter betrieben dagegen geteilte Produktionsendpunkte. Die aktuelle Cerebras-Generation CS-4 taucht in der Gegenüberstellung gar nicht erst auf.

Nvidia Vera Rubin soll seine Vorgänger deutlich übertreffen.

Offen bleibt die Skalierung: Ein dichtes 31-Milliarden-Modell passt in ein einziges Rack. Ein Mixture-of-Experts-Modell wie DeepSeek V3 bräuchte dagegen 1.342 Beschleuniger und damit gut fünf Racks.

Was das für Speicherpreise und Spieler bedeutet

Groq 3 LPX kommt vollständig ohne HBM4 und GDDR7 aus, während ein einzelnes Vera-Rubin-NVL72-Rack rund 20 TByte HBM4 unterbringt. Der Beschleuniger hat Rubin CPX von der Roadmap verdrängt. CPX war auf eine große GDDR7-Bestückung ausgelegt.

Ganz aufgehen wird die Rechnung trotzdem nicht: Jedes LPX-Rack belegt Fertigungskapazität bei Samsung, die anderswo fehlt. Die eigentlichen Speicherfresser bleiben zudem die Vera-Rubin-Racks zu rund 7,8 Millionen US-Dollar je Einheit. Als erster Cloud-Anbieter will das niederländische Unternehmen Nebius die Technik noch 2026 über seine Token Factory bereitstellen.

• Entwickler und Nutzer von KI-Diensten könnten von deutlich kürzeren Antwortzeiten profitieren, weil Groq 3 LPX auch bei sehr langen Kontexten mehr als 3.400 Token pro Sekunde erreicht.
• Nvidias beworbener Geschwindigkeitsvorsprung gegenüber Cerebras ist nur eingeschränkt vergleichbar, da dafür 64 LPUs gegen ein bis zwei Wafer-Beschleuniger sowie unterschiedliche Endpunkte antreten.
• Für PC-Spieler und Hardware-Käufer bedeutet der Verzicht auf HBM4 und GDDR7 noch keine sichere Entlastung bei Speicherpreisen, weshalb vor allem die tatsächliche Verbreitung der LPX-Systeme relevant bleibt.

Mitmachen und kommentieren

Wie stehen Sie zu diesem Thema? Die PCGH-Redaktion freut sich schon über Ihre Meinung in den Kommentaren zu dieser Meldung. Sollten Sie hingegen noch keinen Extreme-Account haben, laden wir Sie zu einer Registrierung im Forum ein. Beachten Sie beim Kommentieren aber bitte die gültigen Forenregeln. Folgen Sie gerne PCGH bei 🔈 YouTube oder 💬 WhatsApp und erhalten Sie Neuigkeiten zu CPUs, Grafikkarten und Gaming direkt in Ihrem Feed.

Quelle: Nvidia