GPTQ vs AWQ: Welche 4-Bit-Quantisierung ist besser für lokale LLMs?

Wer heute nach GPTQ vs AWQ für lokale LLMs sucht, landet schnell in einem Vergleich, der die eigentliche Frage verfehlt. Der Abstand bei der Modellqualität ist meist kleiner als der Einfluss von Kernel, GPU-Generation und Deployment-Setup. Ein Formatname allein sagt deshalb wenig über den realen Throughput aus.

Dieser Artikel legt die Faktenlage offen: was die Algorithmen tatsächlich trennt, wo der Unterschied verschwindet, und warum die wichtigste Variable in diesem Vergleich weder GPTQ noch AWQ heisst.

GPTQ vs AWQ: Was die Verfahren eigentlich machen

GPTQ (Frantar et al., ICLR 2023) ist eine One-Shot Post-Training Quantization-Methode. Der Algorithmus arbeitet blockweise durch die Gewichtsmatrix, approximiert die Hesse-Matrix jeder Schicht und quantisiert die Gewichte in fester Reihenfolge. Im Paper nutzt die Kalibrierung 128 zufällige 2048-Token-Segmente aus C4.

Die Perplexity-Zahlen aus dem Originalpaper sind bemerkenswert: WikiText2, OPT-175B, FP16 ergibt 8,34. GPTQ mit 4 Bit erreicht 8,37. Round-to-Nearest bei 4 Bit landet bei 10,54. Bei 3 Bit kollabiert RTN vollständig auf Werte über 7300, während GPTQ 8,68 hält. Für eine One-Shot-Methode ohne Retraining ist das ein starkes Ergebnis.

AWQ (Lin et al., MLSys 2024, Best Paper) geht einen anderen Weg. Statt die Hesse-Matrix zu approximieren, analysiert AWQ die Aktivierungsverteilung und identifiziert saliente Kanäle. Diese werden vor der Quantisierung per Channel skaliert. AWQ benötigt keine Rückpropagation oder Rekonstruktion und soll dadurch weniger auf das Kalibrierungsset überfitten.

Im direkten Paper-Vergleich schlägt AWQ GPTQ konsistent. MBPP pass@1 bei 7B: FP16 38,53, GPTQ 31,97, AWQ 40,64. GSM8K bei 7B: FP16 13,87, GPTQ 12,13, AWQ 13,57. Interessant ist das 70B-Ergebnis: GSM8K FP16 56,41, GPTQ 56,03, AWQ 56,40. Bei grossen Modellen nähern sich alle drei Methoden dem FP16-Niveau an.

Der robusteste Beleg für AWQs Stärke liegt bei der Kalibrierung mit Daten aus einer anderen Verteilung. AWQ verliert dabei 0,5 bis 0,6 Perplexity-Punkte, GPTQ 2,3 bis 4,9. Das zeigt eine deutlich höhere Verteilungssensitivität des Kalibrierungssets bei GPTQ.

Die Qualitätsfrage 2026: weitgehend beantwortet

AWQ hat in den Paper-Benchmarks die Nase vorn, besonders bei kleineren Modellen und bei Kalibrierung mit heterogenen Daten. Neuere, breiter angelegte Evaluationen bestätigen die Richtung, zeigen bei 4-Bit-Gewichten aber einen deutlich kleineren Abstand als einzelne Benchmarks des AWQ-Papers.

Eine Long-Context-Studie mit 9.700 Testbeispielen (arXiv:2505.20276) untersucht fünf Modelle: Llama-3.1 8B und 70B sowie Qwen-2.5 7B, 32B und 72B. Auf Aufgaben mit Inputs über 64K Tokens und langen Outputs verliert AWQ int4 im Mittel 1,8 Prozentpunkte gegenüber BF16, GPTQ int4 2,7 und BitsAndBytes NF4 6,9. Einzelne Kombinationen brechen um bis zu 59 Prozent ein. Bei nicht-englischen Inputs fallen die Verluste tendenziell stärker aus. Für deutschsprachige Long-Context-Workloads dürfen die Durchschnittswerte deshalb nicht als allgemeine Qualitätsgarantie gelesen werden.

Das Paper «Give Me BF16 or Give Me Death?» (Kurtic et al., ACL 2025), das auf Basis von über 500.000 Evaluierungen entstand, präzisiert die Deployment-Empfehlung: W4A16 ist für synchrone, speichergebundene Setups attraktiv. Bei asynchronem Continuous Batching schneiden W8A8-Formate besser ab. FP8 zeigt in den untersuchten Llama-3.1-Konfigurationen kaum Qualitätsverlust.

Das bedeutet: Wer heute zwischen GPTQ und AWQ wählt und dabei INT4-Weight-only als Format bestätigt hat, macht die zweitrangige Entscheidung. Die erstrangige Entscheidung ist, ob INT4-Weight-only überhaupt das richtige Format ist.

Der Überblick zur LLM-Quantisierung erklärt die allgemeinen Qualitätsrisiken. Der Frameworks-Vergleich ordnet die Unterschiede zwischen vLLM, llama.cpp und Ollama ein.

Der Kernel entscheidet, nicht der Algorithmus

Marlin ist ein optimierter CUDA-Kernel für 4-Bit-Gewichtsquantisierung, der für GPTQ entwickelt wurde. vLLM führt GPTQ Marlin und AWQ Marlin als eigene Quantisierungspfade. Welcher Pfad verfügbar ist, hängt von Modellformat, vLLM-Version und GPU Compute Capability ab. Deshalb lässt sich aus dem Label GPTQ oder AWQ allein kein belastbarer Geschwindigkeitsvorteil ableiten.

Wer einen Benchmark liest, sollte prüfen, welcher Kernel tatsächlich lief. Unterschiede zwischen generischen und architekturspezifisch optimierten Implementierungen können grösser sein als der Abstand zwischen den Quantisierungsverfahren. Eine universelle Zahl lässt sich daraus jedoch nicht ableiten.

Das ist der Anti-Hype-Hebel: Viele Performancevergleiche zwischen GPTQ und AWQ sind Äpfel-Birnen-Vergleiche, weil sie unterschiedliche Kernelpfade messen, ohne es zu benennen.

GPU-Generation und die eigentliche Matrix

Die zweite Variable, die den GPTQ-AWQ-Vergleich 2026 relativiert, ist die Ziel-Hardware.

Ampere und Ada Lovelace (RTX 30xx, RTX 40xx, A100, A6000): INT4-Weight-only ist hier eine etablierte Kompromisszone. Das GPTQ-Paper misst auf A100 bei Batch 1 und Sequenzlänge 128 rund 3,25-fachen Speedup, auf der A6000 rund 4,5-fachen. Für bestehende Ampere-/Ada-Systeme bleiben GPTQ und AWQ deshalb plausible Optionen, sofern Runtime und Kernel das konkrete Format gut unterstützen.

Hopper (H100, H200): FP8 hat nativen Hardware-Support und zeigt in der ACL-Studie von Kurtic et al. kaum Qualitätsverlust. W4A16 bleibt bei engen Speichergrenzen relevant; der Throughput hängt vom Batching-Modus ab.

Blackwell (RTX 50xx, B200, GB200, GB10): NVIDIA positioniert NVFP4 als nativ beschleunigtes Blackwell-Format. Das macht GPTQ und AWQ nicht unbrauchbar, erweitert aber die Auswahl. Für neue Blackwell-Deployments sollten NVFP4 und FP8 deshalb gegen INT4-Weight-only gemessen werden. Der Artikel zu FP4 und NVFP4 erklärt die Formatunterschiede. Wie diese Verschiebung auf kompakter lokaler Hardware aussieht, zeigt der Praxistest zu DGX Spark und ASUS GX10 mit GB10.

Die Entscheidungsmatrix sieht damit so aus:

Was die Zahlen sagen und was sie verschweigen

Zwei Caveats verdienen explizite Nennung.

Erstens: Die Benchmark-Basis für GPTQ-AWQ-Vergleiche ist stark auf Llama-2 und Llama-3.1 konzentriert. Andere Modellarchitekturen, insbesondere MoE-Modelle wie Mixtral oder Modelle mit untypischen Aktivierungsverteilungen, können abweichende Ergebnisse zeigen. AWQs Vorteil durch Aktivierungsanalyse ist nicht universell garantiert.

Zweitens: Speedup-Zahlen aus Papers gelten für Batch=1, Seq=128. Das ist das memory-bound Regime, das für interaktive Inferenz mit einzelnen Anfragen repräsentativ ist. Unter hohem Batch-Load oder bei Continuous Batching verschiebt sich das Bild. Wer Throughput unter Last optimiert, braucht eigene Benchmarks auf der Zielhardware.

Fazit: Der Algorithmus ist die falsche Einheit

GPTQ und AWQ sind beide etablierte Methoden mit dokumentierten Trade-offs. Die zitierten Evaluationen geben AWQ einen kleinen Qualitätsvorteil, während GPTQ eine konkurrenzfähige W4A16-Option bleibt. Für Deployments auf Ampere- und Ada-Hardware muss die Wahl zusammen mit Runtime und Kernel geprüft werden.

Die eigentliche Entscheidung lautet: INT4-Weight-only oder nicht? Auf Ampere und Ada ist es eine etablierte Option. Auf Hopper gehört FP8 in den Vergleich. Auf Blackwell kommen NVFP4 und FP8 als native Alternativen hinzu. Das ist keine universelle Rangliste, sondern eine Vorauswahl für den eigenen Benchmark.

Wer das nächste Mal einen GPTQ-AWQ-Vergleich liest, sollte zwei Fragen stellen: Welcher Kernel hat in den Benchmarks gelaufen? Und auf welcher GPU-Generation wird deployed? Alles andere ist Feintuning.