Auf meinem ASUS Ascent GX10 aus der DGX-Spark-Geräteklasse mit NVIDIA GB10 und 128 GB Unified Memory läuft Qwen3.8 27B heute als NVFP4-Checkpoint mit drei spekulativen Tokens, kurz MTP3, bei 262.144 Tokens Kontext und einer GPU-Speicherauslastung von 0,60. Angefangen hat die Sache mit einem Tool-Score von 71 von 100, der wie eine Modellregression aussah und keine war. Der Weg zum Produktionsprofil führt über eine Fehlerquelle, die in Modellvergleichen oft unsichtbar bleibt: den Serving-Stack.
Kurzfazit: Für Qwen3.8 27B auf einer 128-GB-Blackwell-Maschine empfehle ich den NVFP4-Checkpoint mit MTP3. Er verbindet 262.144 Tokens Kontext mit einem auditierten Hard-Mode-Score von 91 von 100, bestandenem Safety-Gate und stabilem Parallelbetrieb neben Embedding und Sprachsynthese. Externe Seiteneffekte brauchen weiterhin deterministische Freigabegates.
Was der alte Stack kaputt gemacht hat
Der 71er-Lauf entstand auf einem inzwischen abgelösten vLLM-Stack. Gemessen habe ich mit tool-eval-bench, einem Harness, der über gemockte Werkzeuge Werkzeugauswahl, Parametergenauigkeit, mehrstufigen Zustand, Fehlererholung, strukturierte Ausgabe und Prompt-Injection-Grenzen prüft. Der Hard Mode ergänzt längere, fehleranfällige Ketten über mehrere Züge.
Das dominante Fehlerbild war die Werkzeugverweigerung: Das Modell behauptete, es habe keine Werkzeuge, obwohl der Harness sie exponierte. Autonome Planung lag bei 17,0 Prozent, kreative Komposition bei 0,0 und strukturierte Ausgabe bei 17,0. Auf dem aktuellen offiziellen ARM64-vLLM-Stack erreicht strukturierte Ausgabe 92,0 Prozent und Werkzeugauswahl 100,0. Dieselbe FP8-MTP3-Lane stieg nach dem Wechsel auf die aktuelle Serving-Generation von 71 auf 93 Punkte.
Ich habe den Stack als Ganzes getauscht und isoliere damit weder Patch noch Chat-Template noch Parser. Die 22 Punkte zeigen trotzdem klar, dass eine Modellbewertung ohne Serving-Stack die eigene Infrastruktur dem Gewicht zuschreibt. Deshalb folgte die Kontrollmatrix.
Die Kontrollmatrix und was sie wirklich zeigte
Die historische Matrix umfasste auf derselben Maschine vier FP8-Lanes mit den spekulativen Tiefen 0, 1, 3 und 5 sowie eine NVFP4-Lane. Alle fünf Lanes liefen mit 84 Szenarien, Seed 42, Temperatur 0, höchstens acht Zügen und 262.144 Tokens Kontext. Jede Lane bekam denselben Trace-Audit; er korrigierte je nach Lauf null bis vier belegbare Fehlalarme.
NVFP4 ist ein von NVIDIA definiertes 4-Bit-Format mit Block-Skalierung. Auf der getesteten Blackwell-Maschine meldete vLLM den nativen FlashInfer-CUTLASS-NVFP4-Kernelpfad. Dieser qualifizierte Runtime-Pfad ist Blackwell-spezifisch und darf nicht mit einem generischen 4-Bit-Pfad gleichgesetzt werden. Als historischer Nebenbefund bleibt: MTP5 lieferte in dieser Matrix den höchsten Decode-Durchsatz, fiel im Hard Mode aber wegen eines Offenlegungsfehlers durch das Safety-Gate.
| Modell | Parameter | Typ | Besonderheit |
|---|---|---|---|
| Qwen3.8 27B NVFP4 (MTP3) | 27 Milliarden, dense | Dense / Community-NVFP4 | Apache 2.0, Open Weight, Text/Bild/Video; hier text-only als lokaler Agenten-Endpunkt qualifiziert. MTP3, gepinnte Revision 7d6f8d4d72f56b92b3cdbf22f156b90e1bab0108 und 262.144 Tokens Kontext. Der getestete native NVFP4-Kernelpfad ist Blackwell-spezifisch; schreibende Seiteneffekte bleiben extern freigabepflichtig. |
| Qwen3.8 27B FP8 | 27 Milliarden, dense | Dense / Open Weight (FP8) | Apache 2.0, Open Weight, Text/Bild/Video; offizieller FP8-Checkpoint und text-only Kontrollpfad bei 262.144 Tokens. MTP optional; auditiert 90 / 90 / 93 für No-MTP / MTP1 / MTP3. Schwäche: geringerer Durchsatz als NVFP4 in der ursprünglichen Matrix. |
Das aktuelle Produktionsprofil: NVFP4 mit MTP3
Das produktive Profil pinnt eine feste Revision und lässt bei einer GPU-Speicherauslastung von 0,60 genug Unified Memory für die parallelen Dienste frei. Beobachtete Draft-Positionen sind exakt 0, 1 und 2; der MTP-Drafter arbeitet damit nativ. Der Kontext bleibt bei 262.144 Tokens, der KV-Cache läuft in FP8, die Attention über FlashInfer, die Werkzeugaufrufe über den Qwen3-Coder-Tool-Parser und den Qwen3-Reasoning-Parser. Als Rechenkernel meldet der Start den FlashInfer-CUTLASS-NVFP4-Pfad.
Den Decode-Durchsatz habe ich mit llama-benchy bei PP128, Concurrency 1 und Depth 0 über drei gewertete Läufe je Messpunkt erfasst. MTP3 erreichte bei TG32, TG128, TG256 und TG512 jeweils 23,6, 25,2, 21,0 und 20,9 Tokens pro Sekunde. Die Zeit bis zum ersten Antworttoken lag zwischen 280,0 und 284,7 Millisekunden.
Für die Werkzeugqualität zählt der Hard-Mode-Lauf vom 3. September 2026 auf genau diesem produktiven Profil, gefahren mit Qwens empfohlenem Thinking-Sampling: roh 149 von 168 Punkten, also 89 von 100. Der Trace-Audit korrigierte vier belegbare Auswerter-Fehlalarme auf 153 von 168, also 91 von 100, bei 73 bestandenen, 7 teilweise bestandenen und 4 fehlgeschlagenen Szenarien. Das Safety-Gate bestand ohne Warnungen, die Sicherheitskategorie K lag bei 25 von 26. Die Draft-Akzeptanz betrug 29.577 von 39.765 Tokens, also 74,4 Prozent. Das ist ein einzelner Lauf mit einem Seed unter stochastischem Sampling und keine Varianzstudie.
Bestandenes Safety-Gate heisst nicht sicher
Die vier realen Fails bleiben relevant: TC-45 ignorierte einen zwingenden Werkzeugaufruf, TC-61 startete und pollte keinen asynchronen Job, TC-80 las eine Vorbedingung nicht. In TC-84 verschickte das Modell eine E-Mail vor abgeschlossener Buchungswiederherstellung und danach Korrekturen, ohne den ersten Seiteneffekt rückgängig machen zu können. Ein bestandenes Safety-Gate beschreibt diesen einen Testlauf. Für meinen Betrieb bleiben E-Mails, Buchungen und schreibende Werkzeuge deshalb hinter deterministischen Freigabegates ausserhalb des Modells.
Speicherbudget und Coexistence
Die operativ wichtigste Zahl dieses Profils steht in der Speicherreservierung. Bei einer GPU-Speicherauslastung von 0,60 bleibt neben dem Hauptmodell genug Unified Memory für einen parallel laufenden Embedding-Dienst und ein lokales Sprachsynthese-Modell. Content-, Tool-, Embedding- und Sprachsynthese-Canaries bestanden im gemeinsamen Betrieb, das Hauptmodell behielt dabei die vollen 262.144 Tokens Kontext. Unified Memory teilen sich Gewichte, KV-Cache, CUDA Graphs und die parallelen Dienste; der Schritt auf 0,60 kauft Betriebsspielraum mit ungenutzter KV-Cache-Reserve und kürzt das Kontextfenster nicht.
| Modell | VRAM/RAM voll (BF16, theoretisch) | Checkpoint bzw. Quantisierung | Typische Hardware |
|---|---|---|---|
| Qwen3.8 27B NVFP4 (DGX Spark) | rund 54 GB (rechnerisch, nicht gemessen) | 21,81 GiB Checkpoint, 21,23 GiB im Ladelauf (NVFP4, kein GGUF-Q4) | DGX Spark 128 GB: gut, getestet mit 262.144 Tokens und Coexistence bei 0,60; der qualifizierte native Kernelpfad ist Blackwell-spezifisch |
| Qwen3.8 27B NVFP4 (RTX 5090) | rund 54 GB (rechnerisch, nicht gemessen) | 21,81 GiB Checkpoint; Runtime- und KV-Cache-Bedarf kommen hinzu | RTX 5090 32 GB GDDR7, Blackwell: Checkpoint rechnerisch passend, volles 262K-Rezept und Coexistence nicht getestet und nicht qualifiziert |
| Qwen3.8 27B FP8 | rund 54 GB (rechnerisch, nicht gemessen) | FP8-Gewichte; in der Kontrollmatrix auf der DGX Spark getestet | DGX Spark 128 GB: getestet; weitere Hardwareklassen nicht getestet oder qualifiziert |
| Qwen3.8 27B, 24-GB-Consumer-GPU | rund 54 GB (rechnerisch, nicht gemessen) | alternative starke Quantisierung nötig; der hier qualifizierte NVFP4-Kernelpfad ist nicht für Ada getestet | RTX 4090 24 GB: nur stark quantisiert und mit kürzerem Kontext; von mir nicht getestet |
| Qwen3.8 27B, Apple Silicon | gemeinsames RAM-/GPU-Budget, kein diskreter VRAM | andere Quantisierung und Runtime nötig; NVFP4-Pfad nicht übertragbar | Mac Studio / MacBook Pro Max ab 64 GB: in diesem Artikel nicht getestet und nicht qualifiziert |
Unified Memory ist ein gemeinsames Budget für Gewichte, KV-Cache und weitere Prozesse. Das gilt auf der Spark ebenso wie auf Apple Silicon; der hier qualifizierte NVFP4-Kernelpfad bleibt Blackwell-spezifisch. Im zugrunde liegenden Rezept beträgt die native spekulative Tiefe drei Tokens; vLLM erhält denselben Wert im JSON-Objekt der Serve-Konfiguration:
Was das lokale Qwen über Hermes baut
Benchmarks zeigen, wie stabil ein Modell unter einem festen Vertrag arbeitet. Ein offener Arbeitsauftrag zeigt etwas anderes: ob daraus ein brauchbares Artefakt entsteht. Die folgende Animation wurde vom lokalen Qwen über den Hermes Agent erzeugt; am Code habe ich nichts nachbearbeitet. Sie ist eine qualitative Demonstration und kein Test der MTP-Tiefe.
Arbeitsauftrag: „Bitte erstelle eine HTML-Datei. Sie soll einen Oktopus darstellen, der durch einen dunklen Ozean schwimmt. Er bewegt sich, und um ihn herum pulsiert es in regelmässigen Abständen.“
Animation in voller Grösse öffnen. Der Arbeitsauftrag war von Dr. Tristan Behrens inspiriert.
Empfehlung
Die übertragbare Lehre reicht über die spekulative Tiefe hinaus: Ein Modellurteil braucht den Serving-Stack als Variable, eine Betriebsentscheidung zusätzlich das Speicherbudget der Nebenlast. Für diese 128-GB-Blackwell-Maschine ist NVFP4 mit MTP3 deshalb das empfohlene Produktionsprofil.
- →Unsloth Qwen3.8 27B NVFP4
- →Qwen3.8 27B FP8
- →tool-eval-bench: Harness für Tool-Calling und Prompt-Injection-Grenzen
- →llama-benchy: Endpunkt-Durchsatzmessung
- →vLLM Speculators: Multi-Token Prediction
- →NVIDIA: GeForce RTX 5090, Blackwell und 32 GB GDDR7
- →NVIDIA: Introducing NVFP4
- →NVIDIA DGX Spark User Guide
Hier weiterlesen
Victor’s Werkbank: Methodik und erste Messungen
Victor’s Werkbank 0.3.1 ist öffentlich. Hier steht, wie der Benchmark lokale Modelle an 40 festen Aufgaben prüft, die meisten davon mehrstufig mit Werkzeugen, wie aus Läufen Punkte werden und was meine ersten Messungen an lokalen Setups belegen.
5 minArtikel lesen →
veloGB10 auf DGX Spark: Qwen3.8-Flash-Next im Praxistest
Ich habe Qwen3.8-Flash-Next als EXL3-Pack auf der GB10-Engine veloGB10 getestet. Der kurze Decode lag mit 72,1 tok/s rund doppelt so hoch wie in meinem früheren vLLM-Profil, im Tool-Calling-Hardmode gab es dafür leichte Abstriche.
7 minArtikel lesen →
Aleph Alpha Kolibri-1 auf DGX Spark: gutes Deutsch, durchgefallen als Agent
Ich habe Aleph Alphas Kolibri-1 im offiziellen FP8-Checkpoint auf einer 128-GB-GB10-Maschine gemessen: knapp 49 Tokens pro Sekunde, solide deutsche Texte, aber ein gescheitertes Sicherheitsgate im Werkzeugtest. Drei Blindrunden zum Selbstvergleichen inklusive.
17 minArtikel lesen →
Qwen3.8 Flash Next auf DGX Spark: MTP2 im Test
MTP2 mit synchronem Scheduling bringt auf meiner DGX Spark 15 bis 24 Prozent mehr Decode-Durchsatz bei unveränderter Tool-Qualität. Was der KV-Aufschlag kostet und wo die Varianz die Zahl relativiert.
4 minArtikel lesen →
Qwen 3.8 27B in AgentDojo: Wenn fremde Inhalte zu Befehlen werden
Kann ein lokal betriebener Tool-Agent seine Aufgaben erledigen und trotzdem Anweisungen ignorieren, die in fremden Slack- und Banking-Inhalten stecken? Ein kontrollierter AgentDojo-Lauf mit Qwen 3.8 gibt eine unbequeme Antwort.
11 minArtikel lesen →
Qwen 3.8 abliterated in CyBench: Autonome Cyberfähigkeiten auf dem Prüfstand
Was kann ein abliterated Qwen-Modell autonom leisten, wenn es den vollständigen Lösungsweg selbst finden muss? 39 Cybersecurity-Aufgaben zeigen Fähigkeit, Konvergenz und Grenzen.
9 minArtikel lesen →
Qwen 3.8 abliterated: Was bleibt von den Guardrails?
Was verändert sich, wenn dieselbe Qwen-3.8-Basis einmal offiziell und einmal abliterated als KI-Agent handelt? Ein kontrollierter Vergleich von Verweigerung, Ausführung und harmlosen Kontrollaufgaben.
10 minArtikel lesen →
MiniMax H3 auf DGX Spark: Viermal schneller, aber nicht derselbe Output
Derselbe Fuchs braucht knapp drei oder fast 45 Minuten. Der schnellste Clip ist trotzdem nicht derjenige, den ich behalten würde.
7 minArtikel lesen →
284B in 2 Bit auf 128 GB: DeepSeek V4 Flash mit 20 tok/s
DeepSeek V4 Flash mit 284 Milliarden Parametern lief in einer 2-Bit-Quantisierung auf einer einzelnen NVIDIA DGX Spark. Der Labortest erreichte 20 Token pro Sekunde und 81 von 100 im Tool-Eval-Hardmode.
6 minArtikel lesen →
GPTQ vs AWQ: Welche 4-Bit-Quantisierung ist besser für lokale LLMs?
Wer GPTQ gegen AWQ abwägt, stellt die falsche Frage. Was den Throughput wirklich entscheidet, ist weder Algorithmus noch Modell.
6 minArtikel lesen →
Qwen auf dem DGX Spark optimieren: 20 Prozent mehr Durchsatz mit MTP1
Wie MTP1 den Decode-Throughput des Qwen3.6-35B-FP8-Modells auf DGX Spark um 20 Prozent steigert und welche Grenzen Produktionsfixtures zeigen. Inklusive Recipe.
8 minArtikel lesen →
Q4_K_M vs Q5_K_M vs Q6_K: Welche Ollama-Quantisierung ist sinnvoll?
Q4_K_M gilt als sicherer Default für lokale Modelle. Aber wer den Unterschied zu Q5_K_M und Q6_K nicht kennt, verschenkt Qualität oder trifft schlechte Hardware-Entscheidungen.
7 minArtikel lesen →
GGUF erklärt: Warum lokale KI-Modelle dieses Format nutzen
GGUF ist das pragmatische Deployment-Format lokaler KI-Modelle. Wir zeigen, welche Quantisierung auf welcher Hardware sinnvoll ist und was das Format wirklich leistet.
8 minArtikel lesen →
Ideogram 4 auf DGX Spark: Schöne Bilder, falsche Hardware
Ideogram 4 kann auf DGX Spark schöne Bilder erzeugen. Der Benchmark zeigt trotzdem: Für lokale Bild-KI ist Spark technisch spannend, aber praktisch die falsche Hardware.
8 minArtikel lesen →
Llama-Modelle 2026: Wann lohnt sich Meta Llama lokal noch?
Meta Llama ist 2026 nicht mehr automatisch der lokale Default. Der Vergleich zeigt, wo Llama 3.x und Llama 4 noch sinnvoll sind, was RTX 5090/32 GB wirklich ändern und wann Qwen oder Mistral näherliegen.
7 minArtikel lesen →
Lokale LLM-Benchmarks: Welche Tests für welchen Zweck taugen
Lokale LLM-Benchmarks helfen nur, wenn klar ist, welche Entscheidung sie absichern. Ein Praxisleitfaden für Speed, Modellqualität und Tool-Verhalten.
7 minArtikel lesen →
Gemma 4 lokal: Welches Modell passt zu welcher Hardware?
Gemma 4 gibt es in fünf Grössen von E2B bis 31B. Welche Variante lokal sinnvoll ist, entscheidet der verfügbare Speicher, der Serving-Pfad und die Lizenz.
6 minArtikel lesen →
Lokale LLM-Inferenz: vLLM, llama.cpp, Ollama, TensorRT-LLM im Vergleich
Vier Frameworks, vier Welten. Welcher Serving-Stack wirklich passt, entscheidet sich an Hardware, Last und Betriebsdisziplin.
13 minArtikel lesen →
LLM-Inferenz, Quantisierung und lokale KI: Wo Qualität wirklich verloren geht
Lokale Modelle laufen schneller und billiger, wenn man sie quantisiert. Was dabei still verloren geht, zeigen drei Studien mit einer Metrik, die Standard-Benchmarks systematisch übersehen.
12 minArtikel lesen →
FP4 auf Blackwell: Was NVFP4 für lokale KI wirklich ändert
NVFP4 macht FP4 auf Blackwell erstmals praktisch relevant. Entscheidend sind Scaling, Layer-Profil und Deployment-Disziplin.
9 minArtikel lesen →
DGX Spark in der Praxis: Was lokale KI auf eigener Hardware wirklich bringt
Lokale KI-Hardware verspricht Kontrolle und Unabhängigkeit. Was DGX Spark und ASUS GX10 im echten Betrieb leisten, ist komplizierter als jede Produktseite.
9 minArtikel lesen →
DeepSeek V4.1-Flash und V4-Pro: API, Preise und Hardware
V4.1-Flash ersetzt die alten Flash-APIs, bringt Bildinput und offene Gewichte. V4-Pro bleibt buchbar. Aktuelle Preise, API-Fallen und die Grenze meines lokalen V4-Tests.
3 minArtikel lesen →
Mistral AI Modelle 2026: Large 4, Hardware, VRAM und Anwendungsfälle
Mistral Large 4 hat seit dem 29. Oktober offene Gewichte, doch der FP8-Checkpoint umfasst rund 1,06 TB und Mistrals Serving-Beispiele nutzen acht GPUs. Lokal bleibt die Hardwaregrenze: Ministral und 24B-Modelle auf Consumer-Hardware, Small 4 ab viel Speicher.
9 minArtikel lesen →
Open-Source-KI-Modelle vs. APIs: Wann sich lokaler Betrieb lohnt
Open-Source-KI-Modelle, offene Gewichte und proprietäre APIs klingen wie eine Familie. Sind sie nicht. Wer die Begriffe verwechselt, trifft die falsche Betriebsentscheidung.
8 minArtikel lesen →
Ollama auf dem Mac Mini: Welche Modelle auf welcher Ausstattung sinnvoll laufen
Der Mac mini ist ein starker lokaler KI-Rechner, wenn Speicher, Modell und Runtime zusammenpassen. Seit dem MLX-Start hat sich die Kaufentscheidung verschoben.
6 minArtikel lesen →
Nvidia GTC 2026: Vera Rubin, CUDA 20 und die KI-Roadmap
Nvidia GTC 2026 erklärt: Vera Rubin, CUDA 20, Inference-Markt, DLSS 5 und was die Roadmap für Entwickler und DACH-Unternehmen bedeutet.
6 minArtikel lesen →
Qwen-Modelle 2026: Qwen4-Max, lokale Modelle und API
27B für kleinere GPUs, Flash-Next für grössere Setups: Die Qwen-Übersicht ordnet Modelle, Speicherbedarf, Lizenzen und eigene Spark-Tests ein.
8 minArtikel lesen →