Geforce RTX 5060 Ti: 47 Token/s mit einem 27B-Modell trotz 16 GiB

Alibaba hat mit Qwen3.8-27B ein dichtes Sprachmodell mit 27 Milliarden Parametern unter Apache 2.0 veröffentlicht, welches Text, Bilder und Videos verarbeitet. Wer eine Geforce RTX 5060 Ti mit 16 GiB im Rechner stecken hat und die 27B-Klasse bislang für unerreichbar hielt, bekommt nun eine Gegenrechnung aus der Praxis.

Die Grundlagen der lokalen KI hat PCGH zuletzt gesondert aufbereitet. Ein einzelner Community-Lauf bringt die Mittelklasse-Grafikkarte auf ein Tempo, welches AMD in eigenen Leistungsmessungen erst einer Radeon-Grafikkarte mit mindestens 24 GiB Grafikspeicher zuschreibt. Nachfolgend sämtliche Details zu den Benchmarks.

Qwen3.8-27B auf RTX 5060 Ti: 16 GiB reichen unter Auflagen

Die Testkonfiguration steht in jeder Hinsicht unter Speicherdruck. Zum Einsatz kamen ein IQ4_XS-GGUF mit rund 14,60 GiB, 32K Kontext, ein auf Q4 quantisierter KV-Cache, vollständiger GPU-Offload und Flash Attention. Wie knapp es zugeht, zeigt ein Detail:

Das Herabstufen eines einzelnen Gewichtsblocks von Q8_0 auf Q4_K brachte lediglich rund 25 MiB zusätzlichen Speicher. Der Spielraum bis zur Kapazitätsgrenze bemisst sich damit in Megabyte statt in Gigabyte.

Wie MTP n den Durchsatz von Qwen3.8-27B anhebt

Ohne Multi-Token-Prediction ("MTP") liefert Qwen3.8-27B auf der Geforce RTX 5060 Ti genau 25,7 Token pro Sekunde. Mit einem sogenannten Draft-Token sind es 40,0, mit zwei Draft-Token 47,4 bis 47,6. Praktisch relevant ist vor allem der Schritt auf MTP-2. Die Rate ohne Spekulation dient dabei als Referenz, MTP-1 als Zwischenstufe.

MTP ist spekulatives Dekodieren: Ein mittrainierter Draft-Kopf schlägt mehrere Token vor, die das Hauptmodell anschließend in einem Durchgang prüft. In llama.cpp greift das Verfahren bislang vor allem bei Qwen-Modellen, weil deren Architektur die Draft-Köpfe bereits mitbringt.

Anderen Familien fehlt die Zuordnung in der GGUF-Konvertierung. Unsloth beziffert den Gewinn bei dichten Modellen auf Faktor 1,4 bis 2 und rät von mehr als zwei Draft-Token ab, weil die Akzeptanzrate dann von 83 auf 50 Prozent einbricht.

Warum die hybride Architektur den knappen Speicher trägt

Nur 16 der 64 Layer von Qwen3.8-27B rechnen mit voller Attention. Die übrigen 48 Layer laufen als lineare Gated-DeltaNet-Schichten in einem konstantem rekurrentem Zustand. Das drückt den KV-Cache weit unter das Niveau eines klassischen Modells mit durchgehender Attention und erklärt, warum neben knapp 15 GiB Gewichten außerdem 32K Kontext Platz finden.

Die Modellkarte nennt 262.144 Token nativen Kontext. Der gehostete Dienst bei Qwen Cloud soll später standardmäßig bis zu eine Million Token bieten, ist bislang aber noch nicht gestartet. Das vLLM-Projekt veranschlagt für den Vollausbau in NVFP4 derweil 24,6 GiB.

AMD nennt 24 GiB, die Community unterbietet die Vorgabe

AMD setzt für Qwen3.8-27B rund 24 GiB Grafikspeicher oder variablen Grafikspeicher als komfortable Grundlage an. Auf einer Radeon AI Pro R9700 mit 32 GiB misst AMD bis zu 51,8 Token pro Sekunde, auf einem Ryzen AI Max+ 395 sind es 24,5. Beide Werte entstanden unter Windows mit dem Vulkan-Backend von llama.cpp.

Unsloth veranschlagt für 4-Bit-Quantisierungen 17 bis 19 GiB an Arbeits- plus Grafikspeicher. In einer Diskussion unter der Modellkarte hieß es vor wenigen Tagen noch, für IQ4_XS werde es zu eng, sobald 50K Kontext gefragt sind. Die dort genannten 15,7 GB entsprechen umgerechnet 14,6 GiB und damit exakt der Dateigröße aus dem Testlauf.

Den Unterschied macht nicht die Datei, sondern der halbierte Kontext und der quantisierte Cache. Eine Mittelklasse-Grafikkarte erreicht damit rund 92 Prozent des Tempos, das AMD einer Workstation-Karte mit doppeltem Speicher bescheinigt.

Nvidia wiederum positioniert seine neueste offene lokale KI unterdessen anders und gibt Nemotron 3.5 Lightning offiziell nur für die Geforce RTX 5090 frei.

Deutschland: Die günstigste Basis kostet inzwischen über 600 Euro

Der Einstieg in diese Speicherklasse ist hierzulande spürbar teurer geworden, seit die Geforce RTX 5060 Ti 16GB im Preisindex von 3DCenter für August 2026 die Marke von 600 Euro gerissen hat. Auslöser ist die Speicherkrise, die Nvidia inzwischen zur dritten Preisrunde des Jahres bei den GPU-Kits bewogen hat.

Der Kostenvorteil gegenüber Karten mit 24 oder 32 GiB schrumpft damit genau in dem Moment, in dem die Software zeigt, dass die halbe Kapazität genügen kann.

Was die Messung noch nicht belegt

Die gemessene Spitzenrate für Qwen3.8-27B stammt aus einem einzelnen Lauf mit spezieller Quantisierung, aggressivem Cache-Setup und festem Prompt. Offizielle Gegenmessungen stehen ebenso aus wie ein Vergleich mit der BF16-Fassung.

Wie stabil die Akzeptanzrate der Draft-Token über unterschiedliche Prompts hinweg bleibt, ist derzeit noch offen. Das Benchmark-Projekt club-5060ti auf GitHub verlangt für vergleichbare Ergebnisse ohnehin Startbefehl, PCIe-Anbindung, Kontextlänge und Cache-Einstellung.

Diese Angaben liegen nur teilweise vor. Die Benchmarktests zu Coding und Reasoning wiederum stammen von Alibaba selbst. Bis zur ersten unabhängigen Reproduktion taugt die Zahl daher als Richtgröße für die Untergrenze, nicht als Spezifikation.

Empfohlener redaktioneller Inhalt https://youtu.be/1EzVVj7DFPc An dieser Stelle finden Sie externe Inhalte von YouTube. Zum Schutz Ihrer persönlichen Daten werden externe Einbindungen erst angezeigt, wenn Sie dies durch Klick auf "Alle externen Inhalte laden" bestätigen:

Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit werden personenbezogene Daten an Drittplattformen übermittelt. Mehr dazu in unserer Datenschutzerklärung.

• Qwen3.8-27B zeigt, dass ein aktuelles 27-Milliarden-Parameter-Modell mit 32K Kontext vollständig auf einer Geforce RTX 5060 Ti mit 16 GiB laufen kann, wenn Modell und Cache stark quantisiert werden.
• Für Nutzer lokaler KI kann das den Bedarf an Grafikkarten mit 24 oder 32 GiB reduzieren, allerdings arbeitet die 16-GiB-Konfiguration nahezu ohne Speicherreserve und erfordert gezielte Einstellungen.
• Die gemessenen bis zu 47,6 Token pro Sekunde stammen bislang nur aus einem einzelnen Community-Test, weshalb Käufer und Technikfans unabhängige Reproduktionen mit unterschiedlichen Prompts abwarten sollten.

Mitmachen und kommentieren

Wie stehen Sie zu diesem Thema? Die PCGH-Redaktion freut sich schon über Ihre Meinung in den Kommentaren zu dieser Meldung. Sollten Sie hingegen noch keinen Extreme-Account haben, laden wir Sie zu einer Registrierung im Forum ein. Beachten Sie beim Kommentieren aber bitte die gültigen Forenregeln. Folgen Sie gerne PCGH bei 🔈 YouTube oder 💬 WhatsApp und erhalten Sie Neuigkeiten zu CPUs, Grafikkarten und Gaming direkt in Ihrem Feed.

Quelle: Reddit