Qwen3.8 Flash Next auf DGX Spark: MTP2 im Test

Ich habe das laufende Hybrid-Sharp-Profil in NVFP4 auf meiner DGX Spark von keiner spekulativen Vorhersage auf MTP2 umgestellt, also zwei spekulative Tokens, synchrones Scheduling und 9 GB KV-Cache statt bisher 7 GB. Die Gewichte, die Präzision und das 262.144-Token-Kontextfenster bleiben identisch. Die operative Frage war, ob das MTP2 Setup messbaren Durchsatz kauft, ohne die Modellqualität oder den gleichzeitigen Betrieb von TTS und Embedding zu stören.

Qwen3.8-Flash-Next ist ein multimodales Mixture-of-Experts-Modell mit 125 Milliarden Parametern, von denen pro Token rund sechs Milliarden aktiv sind; hinzu kommen 51 Milliarden für N-Gramm-Embeddings und vier Milliarden für die Token-Vorhersage per MTP. Als experimentelle Vorschau auf die Qwen4-Architektur verbindet es Gated DeltaNet mit Qwen Sparse Attention zur Verarbeitung langer Kontexte.

Decode-Durchsatz

Die Testmaschine ist mein ASUS Ascent GX10 mit NVIDIA GB10 und 128 GB Unified Memory aus der DGX-Spark-Geräteklasse. Gemessen habe ich mit llama-benchy bei PP128, Concurrency 1, Depth 0 und drei gewerteten Läufen je Messpunkt. Die Tabelle zeigt die MTP2-Ergebnisse gegen die historische Non-MTP-Baseline derselben Maschine und desselben Harness.

Bei TG512 streuen die drei Einzelwerte zwischen 29,5 und 40,4 tok/s. Die +43,5 Prozent sind deshalb kein belastbares Dauerergebnis, sondern ein einzelner Mittelwert mit hoher Varianz. Bei TG32 bis TG256 liegen die Samples enger beieinander; die Gewinne zwischen 15 und 24 Prozent halte ich für stabil.

Werkzeugqualität

Tool Eval misst Werkzeugauswahl, Parametergenauigkeit, mehrstufige Ketten, Fehlererholung und Prompt-Injection-Grenzen. Die folgende Tabelle fasst Short und Hard Mode zusammen.

Gemessen wurde unter Modelcard-Bedingungen: Thinking an · Temperatur 1,0 · top-p 0,95 · top-k 20 · min-p 0 · Repetition Penalty 1,0 · Presence Penalty 0 · Seed 42 · Concurrency 1.

Der Audit hat alle 13 Nicht-PASS-Traces plus ausgewählte PASS-Stichproben semantisch geprüft, nicht alle 84 Szenarien vollständig neu bewertet. Die Rohwerte bleiben unverändert. +1 Punkt im Rohscore und die +4 im Audit bei MTP2 sind je ein stochastischer Einzelvergleich unter einem Seed; sie belegen keinen Fähigkeitsgewinn durch MTP, zeigen aber dennoch das zumindest kein Verlust der Fähigkeiten durch MTP vorliegt.

Was MTP2 kostet

Der KV-Cache wächst von 7 auf 9 GiB, synchrones Scheduling ersetzt asynchrones. Der Grund: Unter asynchronem Scheduling akkumulierte der Mamba-Allocator bei langen Prefills Zustandsblöcke, die den KV-Cache bei 261.000 Tokens bis auf 96 Prozent füllten und den Request zyklisch verdrängt haben. 9 GiB plus synchrones Scheduling lösen das ohne Kontextkürzung oder Präzisionsverlust.

Der volle 261.000-Token-Input besteht sowohl solo als auch unter gemischter Embedding- und TTS-Last, mit einem KV-Peak von rund 81 Prozent.

Empfehlung

Für diese 128-GB-Blackwell-Maschine mit NVFP4 und FlashInfer-CUTLASS-Kernelpfad empfehle ich aktuell MTP2 mit synchronem Scheduling. In den bisherigen Läufen zeigt sich bei TG32 bis TG256 ein stabiler Durchsatzgewinn, die Werkzeugqualität bleibt unverändert, und das Speicherbudget reicht für den vollen Kontext samt Nebendiensten.

Recipe für DGX Spark

Start mit dem getesteten Spezialimage und SSD-Modellcache. Die Recipe setzt eine freie GPU und Docker mit NVIDIA-Container-Unterstützung voraus.

# Modellcache auf der lokalen SSD; Gewichte werden bei Bedarf geladen.
mkdir -p "$HOME/.cache/huggingface"

docker run -d --name qwen-flash-next --gpus all --ipc=host \
  -p 127.0.0.1:8890:8000 \
  -v "$HOME/.cache/huggingface:/root/.cache/huggingface" \
  -e VLLM_PLE_MMAP=1 \
  -e VLLM_PLE_GPU_GATHER=1 \
  -e VLLM_PLE_DECODE_WARM=1 \
  -e VLLM_PLE_MMAP_WORKERS=32 \
  -e VLLM_PLE_MMAP_PREWARM=0 \
  -e VLLM_QSA_EXACT_TOPK=1 \
  -e VLLM_USE_FLASHINFER_SAMPLER=1 \
  -e VLLM_FP8_HYBRID=1 \
  -e VLLM_USE_DEEP_GEMM=0 \
  --entrypoint vllm \
  ghcr.io/lancelind/qwen38-flash-dgx@sha256:62a77b7c2806385cd23aeb7f6c4979b29f1b0db941bdc0f4791da90aa15f5bb9 \
  serve travelinlance/Qwen3.8-Flash-Next-RadixArk-NVFP4-Hybrid-Sharp \
  --revision 1f2ba8b30e34097058610938864b1991cfffa24b \
  --served-model-name travelinlance/Qwen3.8-Flash-Next-RadixArk-NVFP4-Hybrid-Sharp \
  --host 0.0.0.0 \
  --port 8000 \
  --load-format safetensors \
  --max-model-len 262144 \
  --max-num-seqs 1 \
  --gpu-memory-utilization 0.7 \
  --kv-cache-memory-bytes 9663676416 \
  --enable-prefix-caching \
  --enable-chunked-prefill \
  --max-num-batched-tokens 8192 \
  --compilation-config '{"cudagraph_mode":"PIECEWISE","splitting_ops":["vllm::unified_attention_with_output","vllm::unified_mla_attention_with_output","vllm::mamba_mixer2","vllm::mamba_mixer","vllm::short_conv","vllm::qwen3_8_flash_next_ple_short_conv","vllm::qwen3_8_flash_next_qsa_with_output","vllm::linear_attention","vllm::qwen_gdn_attention_core","vllm::qwen_gdn_attention_core_fused_norm_packed","vllm::sparse_attn_indexer"]}' \
  --no-enable-flashinfer-autotune \
  --kv-cache-dtype auto \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder \
  --reasoning-parser qwen3 \
  --speculative-config '{"method": "mtp", "num_speculative_tokens": 2, "rejection_sample_method": "standard"}' \
  --no-async-scheduling

Ein kleines Praxisbeispiel

Als kleines Praxisbeispiel habe ich Qwen Flash Next über Hermes mit drei Prompts einen Browser-Shooter erstellen lassen; die reine Modellarbeit dauerte nach meiner Schätzung insgesamt etwa eine Stunde. Das Ergebnis steckt in einer einzelnen HTML-Datei mit CSS und JavaScript, Canvas 2D für die Spielgrafik sowie WebGL 2 und eigenen Shadern für Hintergrund und Effekte. Das Schiff feuert automatisch, Credits finanzieren Waffen und Upgrades, und jede fünfte Gegnerwelle endet mit einem Bosskampf.