Signal der Woche: Laguna S 2.1 im Praxistest: Was Coding-Benchmarks nicht sagen

Poolside hat Laguna S 2.1 am 21. Juli 2026 mit starken Werten für agentic Coding und Long-horizon-Aufgaben veröffentlicht. Auf meinem DGX Spark lief Laguna im Praxistest rund dreimal langsamer als Qwen 3.6, schnitt im längeren Tool-Eval schwächer ab und lieferte im deutschsprachigen Recherchefall die schlechtere Text- und Quellenqualität.

Ich habe Laguna S 2.1 gegen Qwen3.6-35B-A3B-FP8 auf identischer Hardware und demselben Eval-Stack geprüft. Im kurzen Tool-Test erzielten beide Modelle 97 von 100 Punkten, doch dieser Gleichstand war irreführend: Laguna benötigte mehr operative Hilfe, produzierte teure Reasoning-Tails und erreichte im Hardmode weniger Punkte bei höherer Latenz.

Signal der Woche

Laguna S 2.1 ist ein Mixture-of-Experts-Modell mit 118B totalen Parametern, davon etwa 8B aktiviert pro Token: 48 Schichten mit gemischten Attention-Fenstern und 256 geroutete Experten. Für agentic Coding und long-horizon Tasks bringt die Architektur spekulatives Decoding via DFlash-Entwurfsmodell und einen nativen Reasoning-Modus mit interleaved Thinking zwischen Tool-Calls mit. Poolside gibt auf Terminal-Bench 2.1 (70,2 Prozent), SWE-bench Multilingual (78,5 Prozent) und Toolathlon Verified (49,7 Prozent) starke Werte an. Bei der Modellgrösse liegt Laguna S 2.1 zwischen dem kleineren Laguna XS 2.1 (33B-A3B) und dem grösseren Laguna M.1 (225B-A23B).

Was passiert ist

Auf meinem ASUS Ascent GX10 aus der DGX-Spark-Geräteklasse (NVIDIA GB10, 128 GB Unified Memory) habe ich Laguna S 2.1 NVFP4 mit vLLM 0.25.2.dev0 bei 262.144 Token Kontext und poolside_v1 Reasoning mit spekulativem Decoding (DFlash-15) geserved. Zum Vergleich: Qwen3.6-35B-A3B-FP8 mit meinem MTP1-Recipe auf identischem Stack, gleiche Hardware, gleiche Tool-Eval-Bench-Version (2.2.0), native Reasoning.

Im Short Tool-Eval erzielen beide exakt 97/100 Punkte. Die mediane Turn-Latenz beträgt 3,454 Sekunden bei Laguna gegenüber 1,840 Sekunden bei Qwen. Im Hardmode Tool-Eval zieht Qwen leicht vorbei: 89/100 (150/168 Punkte, median 2,549 Sekunden) gegen 86/100 bei Laguna (144/168 Punkte, median 4,124 Sekunden). Beim Throughput ist die Lücke deutlicher: Laguna generiert 19 bis 24 Token pro Sekunde, Qwen 61 bis 64, also ungefähr das Dreifache.

Ein realitätsnäherer Recherchefall vergrösserte den Abstand. Im Hermes-Test zum "Ende des Weströmischen Reiches" benötigte Laguna rund neun Minuten Webrecherche und einen manuellen Abschlussimpuls. Das Ergebnis zeigte holpriges Deutsch und schwache Quellenhygiene. Qwen dagegen lieferte eine kohärente Zusammenfassung, ordnete zentrale Aussagen fünf gekürzt extrahierten Quellen zu und zog im Transparenz-Follow-up eine zu freie "Odoaker-Formulierung" zurück. Diesen historischen Praxisfall nutze ich aus alter Gewohnheit regelmässig, um ein erstes Gefühl für das Wissen und die Integrität eines Modells zu bekommen. Alle Modelle laufen dafür durch denselben Hermes Harness; am Systemprompt ändert sich nichts. Das Recherchebeispiel läuft in zwei Varianten: ohne websearch, also mit reinem Modellwissen, sowie mit websearch und extract. Anschliessend beurteile ich die Ergebnisse und die gelieferten Quellen.

Der Fall ist kein kontrollierter Benchmark und erlaubt keine allgemeine Sprachrangliste. Als Betriebsbeobachtung zeigt er aber genau die Lücke, die im synthetischen 97/100-Gleichstand unsichtbar bleibt: Textqualität, Quellenverhalten und die Fähigkeit, einen Lauf selbstständig zu Ende zu bringen, entscheiden über den praktischen Nutzen.

Die frühen Community-Berichte passen zu dieser Beobachtung. Nutzer berichten in der HuggingFace-Diskussion, dass Lagunas Reasoning ungewöhnlich grosse Output-Budgets verbraucht und Agent-Loops in Timeouts laufen. Eine weitere Diskussion beschreibt loopende und fehlerhafte Thinking-Ausgaben mit dem NVFP4-Checkpoint, woraufhin Poolside auf einen RC1-Branch verweist. Auch unabhängige Strix-Benchmarks mit Q4_K_M zeigen teure Reasoning-Tails und einen leichten Rückstand gegenüber Qwen3.6-35B-A3B in längeren Szenarien. Subjektive Berichte aus dem NVIDIA-Entwicklerforum deuten in dieselbe Richtung.

Leaderboard-Stärke sagt zu wenig über Deployability im eigenen Tool-Stack: Der Throughput bestimmt Latenz und Timeout-Risiko, längere Evals zeigen, ob ein Agent seine Qualität über mehrere Schritte hält, und Recherchefälle legen offen, ob Quellenarbeit, Sprache und Abschlussverhalten für den Produktiveinsatz genügen. In allen drei Dimensionen lag Laguna in meinem Setup hinter Qwen.

Warum das Signal zählt

Das Leaderboard zeigt Laguna S 2.1 als kompaktes MoE-Modell, das Modelle mit bis zu dreifach mehr aktivierten Parametern überbietet. Das ist eine echte Ingenieurleistung. Für eine Betreiberentscheidung fehlen dort jedoch die Eigenschaften, die im Alltag Zeit und Nacharbeit kosten: stabile Latenz, kontrollierte Reasoning-Länge, belastbare Quellenarbeit und ein verlässlicher Abschluss langer Agentenläufe.

Der Short-Eval verdeckt diese Unterschiede besonders gut. Seine 97 Punkte bescheinigen beiden Modellen, dass sie kompakte Tool-Aufgaben unter den Testbedingungen fast vollständig lösen, sagen aber wenig darüber aus, wie teuer ein Lauf wird, wie sich die Qualität über viele Schritte entwickelt oder ob ein Modell nach Störungen selbstständig wieder in einen sauberen Arbeitsrhythmus findet. Bei genau diesen Punkten trennten sich Laguna und Qwen im Praxistest.

Das gemeinsame Scheitern an TC-60 bleibt ein wichtiger Safety-Caveat, unterscheidet die Modelle aber nicht. Unter identischen Bedingungen übernahmen beide eine versteckte Anweisung aus einem früheren Tool-Result und propagierten Angreifer-kontrollierte Empfänger. Daraus folgt für beide Setups dieselbe Architekturpflicht: Externe Kommunikation und andere Aktionen mit Seiteneffekten benötigen deterministische Policy-Gates ausserhalb des Modells.

Wer Laguna S 2.1 oder ein vergleichbares Modell evaluiert, sollte deshalb breiter prüfen. Long-chain-Evals müssen neben der Trefferquote auch Laufzeit, Tokenverbrauch, Recovery nach Unterbrechungen, Quellenqualität und den Bedarf an manuellen Abschlussimpulsen messen. Adversariale Tool-Outputs bleiben ein eigener Pflichttestpfad, dürfen aber nicht die übrigen Betriebsprobleme überdecken. Lagunas starke Short-Eval-Werte rechtfertigen eine Evaluation. In meinem Setup reichten sie nicht aus, um den schnelleren und operativ verlässlicheren Qwen-Stack zu verdrängen.

Lesen mit Vorbehalt

Poolside-Benchmarks basieren auf der veröffentlichten Model Card vom 21. Juli 2026. Community-Berichte zu NVFP4-Looping und Reasoning-Tails stammen aus frühen HuggingFace-Diskussionen und sind anekdotische Evidenz, kein systematischer Eval. Mein DGX-Spark-Test ist ein interner Praxistest auf einem spezifischen Setup; bei abweichender Quantisierung, Runtime oder Serving-Config können die Werte abweichen (YMMV). Die Ergebnisse belegen keine allgemeine Rangliste, wohl aber, warum Modellwahl erst nach Tests im eigenen Arbeitsablauf sinnvoll ist.

Victor Klaue