Victor’s Werkbank: Methodik und erste Messungen

Victor’s Werkbank 0.3.1 ist öffentlich. Hier steht, wie der Benchmark lokale Modelle an 40 festen Aufgaben prüft, die meisten davon mehrstufig mit Werkzeugen, wie aus Läufen Punkte werden und was meine ersten Messungen an lokalen Setups belegen.

Victor Klaue Victor Klaue IT-Projektleiter & KI-Analyst Veröffentlicht 16. November 2026 5 min Lesezeit
Prüfstück, Messschieber und Werkstücke auf einer dunkelblauen Werkbank.

Seit heute ist Victor’s Werkbank öffentlich, in Version 0.3.1. Die Werkbank ist mein eigenes Projekt, ein Benchmark für Sprachmodelle, die man selbst betreibt. Über eine OpenAI-kompatible Schnittstelle bekommt das Modell 40 feste Aufgaben in sieben Kategorien, die meisten mehrstufig mit Werkzeugen. Code prüft das Ergebnis, und die Werkbank hält fest, was jede gelöste Aufgabe an Zeit und Tokens gekostet hat.

Gemessen wird ein Setup: Gewichte und Quantisierung, Server und Runtime, Hardware und Laufeinstellungen.

Wie die Punkte entstehen

Ob eine Aufgabe gelöst ist, entscheiden feste Prüfungen in Code. Kein Sprachmodell bewertet eine Antwort, und die Erfolgsmeldung des Modells zählt nie. Die Gesamtpunkte von 0 bis 100 gewichten die Kategorien: Agentic 30 Prozent, Coding 20, Security und Retrieval je 15, Reliability 10, Mathematik und Datenanalyse je 5. Diese Gewichte sind meine Setzung, gemessen ist daran nichts. Normal wertet dieselben Full-Läufe auf den 31 Aufgaben ohne die neun sehr schweren aus; Normal- und Full-Punkte lassen sich nicht direkt vergleichen. Die 95-Prozent-Intervalle stammen aus einem Bootstrap über die Aufgaben jeder Kategorie. Sie zeigen, wie stark die Punktzahl mit anderen Aufgaben schwanken könnte. Ein Signifikanztest sind sie nicht.

Die ersten Messungen

Vier Setups liefen je dreimal über alle 40 Aufgaben, verteilt auf ein NVIDIA GB10 und eine NVIDIA RTX PRO 6000 Blackwell, mit unterschiedlichen Runtimes. Im Explorer lässt sich zwischen Full, Normal, Kategorien und Teilzielerfüllung umschalten. Die Daten stehen als JSON zum Herunterladen bereit.

Werkbank 0.3.1 · Build a2e7c8b30f98 · Full: 40 Aufgaben · Normal: 31 Aufgaben derselben Läufe.

Vier Setups mit jeweils drei Seeds. Jedes Modell behält seine Farbe in allen Ansichten.

SetupSeedsFull: PunkteNormal: PunkteGelöste Aufgaben je Seed
Qwen3.8-Flash-Next371,483,429, 27, 30 von 40
Ornith-1.5-122B352,665,021, 22, 22 von 40
Nemotron-3.5-Super-VL-120B-A12B328,237,513, 12, 13 von 40
Qwen3.6-35B-A3B319,927,310, 9, 8 von 40

Gemessen wird das gesamte Setup mit Quantisierung, Runtime und Hardware. Kategorien umfassen wenige feste synthetische Aufgaben. Die Full-Intervalle resampeln Aufgaben innerhalb der Kategorien; sie sind kein Signifikanztest. Full und Normal sind verschiedene Aufgabenlisten und nicht gegeneinander zu vergleichen.

Was die Unterschiede tragen

Gepaarte Differenzen auf denselben Aufgaben trennen schärfer als die breiten, überlappenden Gesamtintervalle. Qwen3.8-Flash-Next liegt 18,8 Full-Punkte vor Ornith-1.5-122B, Intervall 7,6 bis 29,4. Die Fehlerbilder unterscheiden sich: Ornith-1.5-122B lief in 17 Versuchen gegen das Antwortlimit von 65'536 Tokens, Qwen3.8-Flash-Next nie.

Nachstellen und Grenzen

Nötig sind Linux oder WSL2, Python 3.12 oder neuer, Docker und ein Server mit OpenAI-kompatibler Schnittstelle, nativen Tool-Calls und Tokenzählung. Diese Befehle starten den geführten Ablauf mit drei Durchläufen:

git clone https://github.com/aisyndicate-ch/victors-werkbank.git
cd victors-werkbank
git checkout 36c528a1bfc15dc95f4fb8e51ffb60ce92fa142f
./werkbank

Vergleichbar ist ein Lauf nur mit demselben Harness-Digest und derselben Aufgabenliste.

Meine Zahlen zeigen, wie weit konkrete Konfigurationen auf diesen Aufgaben kamen. Über dasselbe Modell auf anderer Hardware sagen sie nichts.

PASSEND ZUM THEMA

Hier weiterlesen

modellwerkstatt

veloGB10 auf DGX Spark: Qwen3.8-Flash-Next im Praxistest

Ich habe Qwen3.8-Flash-Next als EXL3-Pack auf der GB10-Engine veloGB10 getestet. Der kurze Decode lag mit 72,1 tok/s rund doppelt so hoch wie in meinem früheren vLLM-Profil, im Tool-Calling-Hardmode gab es dafür leichte Abstriche.

6 minArtikel lesen →
modellwerkstatt

Aleph Alpha Kolibri-1 auf DGX Spark: gutes Deutsch, durchgefallen als Agent

Ich habe Aleph Alphas Kolibri-1 im offiziellen FP8-Checkpoint auf einer 128-GB-GB10-Maschine gemessen: knapp 49 Tokens pro Sekunde, solide deutsche Texte, aber ein gescheitertes Sicherheitsgate im Werkzeugtest. Drei Blindrunden zum Selbstvergleichen inklusive.

17 minArtikel lesen →
modellwerkstatt

Qwen3.8 Flash Next auf DGX Spark: MTP2 im Test

MTP2 mit synchronem Scheduling bringt auf meiner DGX Spark 15 bis 24 Prozent mehr Decode-Durchsatz bei unveränderter Tool-Qualität. Was der KV-Aufschlag kostet und wo die Varianz die Zahl relativiert.

4 minArtikel lesen →
modellwerkstatt

Qwen 3.8 27B in AgentDojo: Wenn fremde Inhalte zu Befehlen werden

Kann ein lokal betriebener Tool-Agent seine Aufgaben erledigen und trotzdem Anweisungen ignorieren, die in fremden Slack- und Banking-Inhalten stecken? Ein kontrollierter AgentDojo-Lauf mit Qwen 3.8 gibt eine unbequeme Antwort.

11 minArtikel lesen →
modellwerkstatt

Qwen 3.8 abliterated in CyBench: Autonome Cyberfähigkeiten auf dem Prüfstand

Was kann ein abliterated Qwen-Modell autonom leisten, wenn es den vollständigen Lösungsweg selbst finden muss? 39 Cybersecurity-Aufgaben zeigen Fähigkeit, Konvergenz und Grenzen.

9 minArtikel lesen →
modellwerkstatt

Qwen 3.8 abliterated: Was bleibt von den Guardrails?

Was verändert sich, wenn dieselbe Qwen-3.8-Basis einmal offiziell und einmal abliterated als KI-Agent handelt? Ein kontrollierter Vergleich von Verweigerung, Ausführung und harmlosen Kontrollaufgaben.

10 minArtikel lesen →
modellwerkstatt

Qwen3.8 auf DGX Spark: Warum NVFP4 MTP3 mein Produktionsprofil ist

NVFP4 mit MTP3 läuft auf meiner DGX Spark als Produktionsprofil: 262.144 Tokens Kontext, auditierter Tool-Score 91 und stabiler Parallelbetrieb mit Embedding und TTS.

6 minArtikel lesen →
modellwerkstatt

MiniMax H3 auf DGX Spark: Viermal schneller, aber nicht derselbe Output

Derselbe Fuchs braucht knapp drei oder fast 45 Minuten. Der schnellste Clip ist trotzdem nicht derjenige, den ich behalten würde.

7 minArtikel lesen →
modellwerkstatt

284B in 2 Bit auf 128 GB: DeepSeek V4 Flash mit 20 tok/s

DeepSeek V4 Flash mit 284 Milliarden Parametern lief in einer 2-Bit-Quantisierung auf einer einzelnen NVIDIA DGX Spark. Der Labortest erreichte 20 Token pro Sekunde und 81 von 100 im Tool-Eval-Hardmode.

6 minArtikel lesen →
modellwerkstatt

GPTQ vs AWQ: Welche 4-Bit-Quantisierung ist besser für lokale LLMs?

Wer GPTQ gegen AWQ abwägt, stellt die falsche Frage. Was den Throughput wirklich entscheidet, ist weder Algorithmus noch Modell.

6 minArtikel lesen →
modellwerkstatt

Qwen auf dem DGX Spark optimieren: 20 Prozent mehr Durchsatz mit MTP1

Wie MTP1 den Decode-Throughput des Qwen3.6-35B-FP8-Modells auf DGX Spark um 20 Prozent steigert und welche Grenzen Produktionsfixtures zeigen. Inklusive Recipe.

8 minArtikel lesen →
modellwerkstatt

Q4_K_M vs Q5_K_M vs Q6_K: Welche Ollama-Quantisierung ist sinnvoll?

Q4_K_M gilt als sicherer Default für lokale Modelle. Aber wer den Unterschied zu Q5_K_M und Q6_K nicht kennt, verschenkt Qualität oder trifft schlechte Hardware-Entscheidungen.

7 minArtikel lesen →
modellwerkstatt

GGUF erklärt: Warum lokale KI-Modelle dieses Format nutzen

GGUF ist das pragmatische Deployment-Format lokaler KI-Modelle. Wir zeigen, welche Quantisierung auf welcher Hardware sinnvoll ist und was das Format wirklich leistet.

8 minArtikel lesen →
modellwerkstatt

Ideogram 4 auf DGX Spark: Schöne Bilder, falsche Hardware

Ideogram 4 kann auf DGX Spark schöne Bilder erzeugen. Der Benchmark zeigt trotzdem: Für lokale Bild-KI ist Spark technisch spannend, aber praktisch die falsche Hardware.

8 minArtikel lesen →
modellwerkstatt

Llama-Modelle 2026: Wann lohnt sich Meta Llama lokal noch?

Meta Llama ist 2026 nicht mehr automatisch der lokale Default. Der Vergleich zeigt, wo Llama 3.x und Llama 4 noch sinnvoll sind, was RTX 5090/32 GB wirklich ändern und wann Qwen oder Mistral näherliegen.

7 minArtikel lesen →
modellwerkstatt

Lokale LLM-Benchmarks: Welche Tests für welchen Zweck taugen

Lokale LLM-Benchmarks helfen nur, wenn klar ist, welche Entscheidung sie absichern. Ein Praxisleitfaden für Speed, Modellqualität und Tool-Verhalten.

7 minArtikel lesen →
modellwerkstatt

Gemma 4 lokal: Welches Modell passt zu welcher Hardware?

Gemma 4 gibt es in fünf Grössen von E2B bis 31B. Welche Variante lokal sinnvoll ist, entscheidet der verfügbare Speicher, der Serving-Pfad und die Lizenz.

6 minArtikel lesen →
modellwerkstatt

Lokale LLM-Inferenz: vLLM, llama.cpp, Ollama, TensorRT-LLM im Vergleich

Vier Frameworks, vier Welten. Welcher Serving-Stack wirklich passt, entscheidet sich an Hardware, Last und Betriebsdisziplin.

13 minArtikel lesen →
modellwerkstatt

LLM-Inferenz, Quantisierung und lokale KI: Wo Qualität wirklich verloren geht

Lokale Modelle laufen schneller und billiger, wenn man sie quantisiert. Was dabei still verloren geht, zeigen drei Studien mit einer Metrik, die Standard-Benchmarks systematisch übersehen.

12 minArtikel lesen →
modellwerkstatt

FP4 auf Blackwell: Was NVFP4 für lokale KI wirklich ändert

NVFP4 macht FP4 auf Blackwell erstmals praktisch relevant. Entscheidend sind Scaling, Layer-Profil und Deployment-Disziplin.

9 minArtikel lesen →
modellwerkstatt

DGX Spark in der Praxis: Was lokale KI auf eigener Hardware wirklich bringt

Lokale KI-Hardware verspricht Kontrolle und Unabhängigkeit. Was DGX Spark und ASUS GX10 im echten Betrieb leisten, ist komplizierter als jede Produktseite.

9 minArtikel lesen →
modellwerkstatt

DeepSeek V4.1-Flash und V4-Pro: API, Preise und Hardware

V4.1-Flash ersetzt die alten Flash-APIs, bringt Bildinput und offene Gewichte. V4-Pro bleibt buchbar. Aktuelle Preise, API-Fallen und die Grenze meines lokalen V4-Tests.

3 minArtikel lesen →
modellwerkstatt

Mistral AI Modelle 2026: Large 4, Hardware, VRAM und Anwendungsfälle

Mistral Large 4 hat seit dem 29. Oktober offene Gewichte, doch der FP8-Checkpoint umfasst rund 1,06 TB und Mistrals Serving-Beispiele nutzen acht GPUs. Lokal bleibt die Hardwaregrenze: Ministral und 24B-Modelle auf Consumer-Hardware, Small 4 ab viel Speicher.

9 minArtikel lesen →
modellwerkstatt

Open-Source-KI-Modelle vs. APIs: Wann sich lokaler Betrieb lohnt

Open-Source-KI-Modelle, offene Gewichte und proprietäre APIs klingen wie eine Familie. Sind sie nicht. Wer die Begriffe verwechselt, trifft die falsche Betriebsentscheidung.

8 minArtikel lesen →
modellwerkstatt

Ollama auf dem Mac Mini: Welche Modelle auf welcher Ausstattung sinnvoll laufen

Der Mac mini ist ein starker lokaler KI-Rechner, wenn Speicher, Modell und Runtime zusammenpassen. Seit dem MLX-Start hat sich die Kaufentscheidung verschoben.

6 minArtikel lesen →
modellwerkstatt

Nvidia GTC 2026: Vera Rubin, CUDA 20 und die KI-Roadmap

Nvidia GTC 2026 erklärt: Vera Rubin, CUDA 20, Inference-Markt, DLSS 5 und was die Roadmap für Entwickler und DACH-Unternehmen bedeutet.

6 minArtikel lesen →
modellwerkstatt

Qwen-Modelle 2026: 27B, Flash-Next, Hardware und API

27B für kleinere GPUs, Flash-Next für grössere Setups: Die Qwen-Übersicht ordnet Modelle, Speicherbedarf, Lizenzen und eigene Spark-Tests ein.

8 minArtikel lesen →