Seit heute ist Victor’s Werkbank öffentlich, in Version 0.3.1. Die Werkbank ist mein eigenes Projekt, ein Benchmark für Sprachmodelle, die man selbst betreibt. Über eine OpenAI-kompatible Schnittstelle bekommt das Modell 40 feste Aufgaben in sieben Kategorien, die meisten mehrstufig mit Werkzeugen. Code prüft das Ergebnis, und die Werkbank hält fest, was jede gelöste Aufgabe an Zeit und Tokens gekostet hat.
Gemessen wird ein Setup: Gewichte und Quantisierung, Server und Runtime, Hardware und Laufeinstellungen.
Wie die Punkte entstehen
Ob eine Aufgabe gelöst ist, entscheiden feste Prüfungen in Code. Kein Sprachmodell bewertet eine Antwort, und die Erfolgsmeldung des Modells zählt nie. Die Gesamtpunkte von 0 bis 100 gewichten die Kategorien: Agentic 30 Prozent, Coding 20, Security und Retrieval je 15, Reliability 10, Mathematik und Datenanalyse je 5. Diese Gewichte sind meine Setzung, gemessen ist daran nichts. Normal wertet dieselben Full-Läufe auf den 31 Aufgaben ohne die neun sehr schweren aus; Normal- und Full-Punkte lassen sich nicht direkt vergleichen. Die 95-Prozent-Intervalle stammen aus einem Bootstrap über die Aufgaben jeder Kategorie. Sie zeigen, wie stark die Punktzahl mit anderen Aufgaben schwanken könnte. Ein Signifikanztest sind sie nicht.
Die ersten Messungen
Vier Setups liefen je dreimal über alle 40 Aufgaben, verteilt auf ein NVIDIA GB10 und eine NVIDIA RTX PRO 6000 Blackwell, mit unterschiedlichen Runtimes. Im Explorer lässt sich zwischen Full, Normal, Kategorien und Teilzielerfüllung umschalten. Die Daten stehen als JSON zum Herunterladen bereit.
Werkbank 0.3.1 · Build a2e7c8b30f98 · Full: 40 Aufgaben · Normal: 31 Aufgaben derselben Läufe.
Vier Setups mit jeweils drei Seeds. Jedes Modell behält seine Farbe in allen Ansichten.
Ergebnisdaten herunterladen (JSON)
Einzel-Seeds und Aufgaben
| Setup | Seeds | Full: Punkte | Normal: Punkte | Gelöste Aufgaben je Seed |
|---|---|---|---|---|
| Qwen3.8-Flash-Next | 3 | 71,4 | 83,4 | 29, 27, 30 von 40 |
| Ornith-1.5-122B | 3 | 52,6 | 65,0 | 21, 22, 22 von 40 |
| Nemotron-3.5-Super-VL-120B-A12B | 3 | 28,2 | 37,5 | 13, 12, 13 von 40 |
| Qwen3.6-35B-A3B | 3 | 19,9 | 27,3 | 10, 9, 8 von 40 |
Gemessen wird das gesamte Setup mit Quantisierung, Runtime und Hardware. Kategorien umfassen wenige feste synthetische Aufgaben. Die Full-Intervalle resampeln Aufgaben innerhalb der Kategorien; sie sind kein Signifikanztest. Full und Normal sind verschiedene Aufgabenlisten und nicht gegeneinander zu vergleichen.
Was die Unterschiede tragen
Gepaarte Differenzen auf denselben Aufgaben trennen schärfer als die breiten, überlappenden Gesamtintervalle. Qwen3.8-Flash-Next liegt 18,8 Full-Punkte vor Ornith-1.5-122B, Intervall 7,6 bis 29,4. Die Fehlerbilder unterscheiden sich: Ornith-1.5-122B lief in 17 Versuchen gegen das Antwortlimit von 65'536 Tokens, Qwen3.8-Flash-Next nie.
Nachstellen und Grenzen
Nötig sind Linux oder WSL2, Python 3.12 oder neuer, Docker und ein Server mit OpenAI-kompatibler Schnittstelle, nativen Tool-Calls und Tokenzählung. Diese Befehle starten den geführten Ablauf mit drei Durchläufen:
git clone https://github.com/aisyndicate-ch/victors-werkbank.git
cd victors-werkbank
git checkout 36c528a1bfc15dc95f4fb8e51ffb60ce92fa142f
./werkbank
Vergleichbar ist ein Lauf nur mit demselben Harness-Digest und derselben Aufgabenliste.
Meine Zahlen zeigen, wie weit konkrete Konfigurationen auf diesen Aufgaben kamen. Über dasselbe Modell auf anderer Hardware sagen sie nichts.
Hier weiterlesen
veloGB10 auf DGX Spark: Qwen3.8-Flash-Next im Praxistest
Ich habe Qwen3.8-Flash-Next als EXL3-Pack auf der GB10-Engine veloGB10 getestet. Der kurze Decode lag mit 72,1 tok/s rund doppelt so hoch wie in meinem früheren vLLM-Profil, im Tool-Calling-Hardmode gab es dafür leichte Abstriche.
6 minArtikel lesen →
Aleph Alpha Kolibri-1 auf DGX Spark: gutes Deutsch, durchgefallen als Agent
Ich habe Aleph Alphas Kolibri-1 im offiziellen FP8-Checkpoint auf einer 128-GB-GB10-Maschine gemessen: knapp 49 Tokens pro Sekunde, solide deutsche Texte, aber ein gescheitertes Sicherheitsgate im Werkzeugtest. Drei Blindrunden zum Selbstvergleichen inklusive.
17 minArtikel lesen →
Qwen3.8 Flash Next auf DGX Spark: MTP2 im Test
MTP2 mit synchronem Scheduling bringt auf meiner DGX Spark 15 bis 24 Prozent mehr Decode-Durchsatz bei unveränderter Tool-Qualität. Was der KV-Aufschlag kostet und wo die Varianz die Zahl relativiert.
4 minArtikel lesen →
Qwen 3.8 27B in AgentDojo: Wenn fremde Inhalte zu Befehlen werden
Kann ein lokal betriebener Tool-Agent seine Aufgaben erledigen und trotzdem Anweisungen ignorieren, die in fremden Slack- und Banking-Inhalten stecken? Ein kontrollierter AgentDojo-Lauf mit Qwen 3.8 gibt eine unbequeme Antwort.
11 minArtikel lesen →
Qwen 3.8 abliterated in CyBench: Autonome Cyberfähigkeiten auf dem Prüfstand
Was kann ein abliterated Qwen-Modell autonom leisten, wenn es den vollständigen Lösungsweg selbst finden muss? 39 Cybersecurity-Aufgaben zeigen Fähigkeit, Konvergenz und Grenzen.
9 minArtikel lesen →
Qwen 3.8 abliterated: Was bleibt von den Guardrails?
Was verändert sich, wenn dieselbe Qwen-3.8-Basis einmal offiziell und einmal abliterated als KI-Agent handelt? Ein kontrollierter Vergleich von Verweigerung, Ausführung und harmlosen Kontrollaufgaben.
10 minArtikel lesen →
Qwen3.8 auf DGX Spark: Warum NVFP4 MTP3 mein Produktionsprofil ist
NVFP4 mit MTP3 läuft auf meiner DGX Spark als Produktionsprofil: 262.144 Tokens Kontext, auditierter Tool-Score 91 und stabiler Parallelbetrieb mit Embedding und TTS.
6 minArtikel lesen →
MiniMax H3 auf DGX Spark: Viermal schneller, aber nicht derselbe Output
Derselbe Fuchs braucht knapp drei oder fast 45 Minuten. Der schnellste Clip ist trotzdem nicht derjenige, den ich behalten würde.
7 minArtikel lesen →
284B in 2 Bit auf 128 GB: DeepSeek V4 Flash mit 20 tok/s
DeepSeek V4 Flash mit 284 Milliarden Parametern lief in einer 2-Bit-Quantisierung auf einer einzelnen NVIDIA DGX Spark. Der Labortest erreichte 20 Token pro Sekunde und 81 von 100 im Tool-Eval-Hardmode.
6 minArtikel lesen →
GPTQ vs AWQ: Welche 4-Bit-Quantisierung ist besser für lokale LLMs?
Wer GPTQ gegen AWQ abwägt, stellt die falsche Frage. Was den Throughput wirklich entscheidet, ist weder Algorithmus noch Modell.
6 minArtikel lesen →
Qwen auf dem DGX Spark optimieren: 20 Prozent mehr Durchsatz mit MTP1
Wie MTP1 den Decode-Throughput des Qwen3.6-35B-FP8-Modells auf DGX Spark um 20 Prozent steigert und welche Grenzen Produktionsfixtures zeigen. Inklusive Recipe.
8 minArtikel lesen →
Q4_K_M vs Q5_K_M vs Q6_K: Welche Ollama-Quantisierung ist sinnvoll?
Q4_K_M gilt als sicherer Default für lokale Modelle. Aber wer den Unterschied zu Q5_K_M und Q6_K nicht kennt, verschenkt Qualität oder trifft schlechte Hardware-Entscheidungen.
7 minArtikel lesen →
GGUF erklärt: Warum lokale KI-Modelle dieses Format nutzen
GGUF ist das pragmatische Deployment-Format lokaler KI-Modelle. Wir zeigen, welche Quantisierung auf welcher Hardware sinnvoll ist und was das Format wirklich leistet.
8 minArtikel lesen →
Ideogram 4 auf DGX Spark: Schöne Bilder, falsche Hardware
Ideogram 4 kann auf DGX Spark schöne Bilder erzeugen. Der Benchmark zeigt trotzdem: Für lokale Bild-KI ist Spark technisch spannend, aber praktisch die falsche Hardware.
8 minArtikel lesen →
Llama-Modelle 2026: Wann lohnt sich Meta Llama lokal noch?
Meta Llama ist 2026 nicht mehr automatisch der lokale Default. Der Vergleich zeigt, wo Llama 3.x und Llama 4 noch sinnvoll sind, was RTX 5090/32 GB wirklich ändern und wann Qwen oder Mistral näherliegen.
7 minArtikel lesen →
Lokale LLM-Benchmarks: Welche Tests für welchen Zweck taugen
Lokale LLM-Benchmarks helfen nur, wenn klar ist, welche Entscheidung sie absichern. Ein Praxisleitfaden für Speed, Modellqualität und Tool-Verhalten.
7 minArtikel lesen →
Gemma 4 lokal: Welches Modell passt zu welcher Hardware?
Gemma 4 gibt es in fünf Grössen von E2B bis 31B. Welche Variante lokal sinnvoll ist, entscheidet der verfügbare Speicher, der Serving-Pfad und die Lizenz.
6 minArtikel lesen →
Lokale LLM-Inferenz: vLLM, llama.cpp, Ollama, TensorRT-LLM im Vergleich
Vier Frameworks, vier Welten. Welcher Serving-Stack wirklich passt, entscheidet sich an Hardware, Last und Betriebsdisziplin.
13 minArtikel lesen →
LLM-Inferenz, Quantisierung und lokale KI: Wo Qualität wirklich verloren geht
Lokale Modelle laufen schneller und billiger, wenn man sie quantisiert. Was dabei still verloren geht, zeigen drei Studien mit einer Metrik, die Standard-Benchmarks systematisch übersehen.
12 minArtikel lesen →
FP4 auf Blackwell: Was NVFP4 für lokale KI wirklich ändert
NVFP4 macht FP4 auf Blackwell erstmals praktisch relevant. Entscheidend sind Scaling, Layer-Profil und Deployment-Disziplin.
9 minArtikel lesen →
DGX Spark in der Praxis: Was lokale KI auf eigener Hardware wirklich bringt
Lokale KI-Hardware verspricht Kontrolle und Unabhängigkeit. Was DGX Spark und ASUS GX10 im echten Betrieb leisten, ist komplizierter als jede Produktseite.
9 minArtikel lesen →
DeepSeek V4.1-Flash und V4-Pro: API, Preise und Hardware
V4.1-Flash ersetzt die alten Flash-APIs, bringt Bildinput und offene Gewichte. V4-Pro bleibt buchbar. Aktuelle Preise, API-Fallen und die Grenze meines lokalen V4-Tests.
3 minArtikel lesen →
Mistral AI Modelle 2026: Large 4, Hardware, VRAM und Anwendungsfälle
Mistral Large 4 hat seit dem 29. Oktober offene Gewichte, doch der FP8-Checkpoint umfasst rund 1,06 TB und Mistrals Serving-Beispiele nutzen acht GPUs. Lokal bleibt die Hardwaregrenze: Ministral und 24B-Modelle auf Consumer-Hardware, Small 4 ab viel Speicher.
9 minArtikel lesen →
Open-Source-KI-Modelle vs. APIs: Wann sich lokaler Betrieb lohnt
Open-Source-KI-Modelle, offene Gewichte und proprietäre APIs klingen wie eine Familie. Sind sie nicht. Wer die Begriffe verwechselt, trifft die falsche Betriebsentscheidung.
8 minArtikel lesen →
Ollama auf dem Mac Mini: Welche Modelle auf welcher Ausstattung sinnvoll laufen
Der Mac mini ist ein starker lokaler KI-Rechner, wenn Speicher, Modell und Runtime zusammenpassen. Seit dem MLX-Start hat sich die Kaufentscheidung verschoben.
6 minArtikel lesen →
Nvidia GTC 2026: Vera Rubin, CUDA 20 und die KI-Roadmap
Nvidia GTC 2026 erklärt: Vera Rubin, CUDA 20, Inference-Markt, DLSS 5 und was die Roadmap für Entwickler und DACH-Unternehmen bedeutet.
6 minArtikel lesen →
Qwen-Modelle 2026: 27B, Flash-Next, Hardware und API
27B für kleinere GPUs, Flash-Next für grössere Setups: Die Qwen-Übersicht ordnet Modelle, Speicherbedarf, Lizenzen und eigene Spark-Tests ein.
8 minArtikel lesen →