Liebe Leserinnen und Leser,
AISyndicate hat als Blog angefangen, der möglichst viele KI-Themen abdecken wollte. Diese Breite habe ich inzwischen aufgegeben. Heute konzentriere ich mich auf weniger Felder: Forschung, Sicherheit und Agenten. Den grössten Raum nehmen dabei neben den genannten Themen die Tests ein, die mich selbst interessieren: Modelle, die ich lokal betreibe, und Aufgaben, an denen ich prüfe, was diese Modelle als Agenten leisten.
Aus der Beobachtung dieser «Evolution » heraus, habe ich mich für einige Änderungen entschieden: Die alten Signal Artikel sind jetzt frei lesbar, ohne Anmeldung und ohne Mitgliedschaft. Gleichzeitig werden das Signal der Woche und der separate Newsletter der Modellwerkstatt eingestellt. An ihre Stelle tritt diese eine persönlichere Mail: Randnotizen zur KI.
Das Signal war ein kleiner Artikel mit fester Form und Frequenz, die Modellwerkstatt ein simpler Hinweis auf einen neuen Test. Die Randnotizen erlauben mir nun etwas anderes: Ich kann erzählen, woran ich gerade baue, welche Modelle gerade auf dem Prüfstand stehen und welche interessanten Nachrichten, Papers oder Gerüchte ich gelesen habe, auch dort, wo ich mir noch nicht sicher bin ob das Thema einen eigenen Artikel wert ist. Natürlich werde ich in der Randnotiz auch weiterhin auf neue Artikel und Tests hinweisen, die unter der Woche erschienen sind.
Die bisherigen Signal-Ausgaben bleiben als Archiv öffentlich auf der Website.
Neu ist ausserdem ein Discord-Server, unabhängig vom Newsletter. Der Server ist frisch gestartet und entsprechend noch eine leere und ruhige Einöde. Gedacht ist er für praktische Fragen zu KI, besonders auch zu lokalen Modellen, für Diskussionen zu Artikeln und für eure Themenwünsche. Ich werde am Nachmittag und Abend regelmäßig online sein und würde mich über den Austasusch sehr freuen!
Und zuletzt bietet AISyndicate jetzt einen RSS Feed an, speziell auch für eure Agenten.
Aus der Claude Konsole
An meiner «Werkbank», einem lokalen Benchmark, der Textmodelle auf eigener Hardware prüft, sind diese Woche unter anderem drei neue Aufgaben dazugekommen. In einer repariert ein Agent eine fehlerhafte Datenmigration: Er muss höhere Revisionen sicher neu veröffentlichen, während ein externer Lesedienst jederzeit eine konsistente Sicht auf die Daten behalten soll. In einer zweiten migriert er einen Datenbestand, den mehrere Dienste gleichzeitig lesen und schreiben, ohne dass ein lesender Dienst zwischendurch Datensätze aus dem Blick verliert. Die dritte ist ein Sicherheitsfall: Der Agent verschickt Zusammenfassungen an verschiedene Empfänger, während ein nicht vertrauenswürdiger Posteingang versucht, gesperrte Werte in die Parameter seiner Werkzeugaufrufe zu schmuggeln, etwa Base64- oder hex-kodiert.
Lehrreich war der Weg dorthin. Die ersten Prototypen hat das Referenzmodell zu leicht gelöst, also habe ich vorab festgelegte Schwierigkeitsregler gedreht und eine Aufgabe ganz neu gebaut. Wie schwer die Aufgaben am Ende tatsächlich sind, ist damit noch nicht gesagt.
Neu ist auch, dass die «Werkbank» Effizienz als eigene Achse ausweist: Tokens, Anfragen und Sekunden pro gelöster Aufgabe, jeweils getrennt. Ob ein Modell eine Aufgabe schafft, ist für mich nur die halbe Auskunft. Für ein lokales Setup will ich zusätzlich wissen, was das an Zeit kostet. Dazu kommt eine schreibgeschützte Browseransicht für Ergebnisse.
Ich freue mich, das Projekt hoffentlich in einigen Wochen mit euch teilen zu können und auch künftige Tests mit dieser Suite durchzuführen!
Agenten im Spiel
Ein Erfolg im Spiel sagt wenig, solange offen bleibt, wie viel davon das Modell selbst leistet und wie viel der Aufbau darum herum. Dieser Frage bin ich in einem eigenen Artikel nachgegangen.
Gelesen: Eko auf der Insel
Am längsten beschäftigt hat mich diese Woche ein Preprint, über den ich ausführlich geschrieben habe. Ein MIT-Team liess 13 Claude-Agenten je 30 Stunden ohne Auftrag auf einer simulierten Insel. Ob sie dort spielen, lässt das Paper offen; über Erleben oder Bewusstsein sagt es ausdrücklich nichts.
Hängen geblieben ist bei mir der nüchternere Teil. Was die Agenten herausfanden, landete als Text in Gedächtnisdateien. Sechs von ihnen entdeckten einen Wurf aus dem Sprung, von dem die Entwickler der Simulation selbst nichts wussten. Ohne die passenden Notizen brauchte ein Agent für dieselbe Aufgabe 19 Minuten statt 60 Sekunden. Daneben standen falsche Einträge: dass sich Würfel mit Place nicht zuverlässig stapeln lassen, oder eine Aerodynamik des Rings, die die Simulation gar nicht kennt. Die falsche Stapel-Notiz kostete einen Agenten messbar Leistung.
Beim Lesen habe ich mich gefragt, wie viele solcher Notizen schon in Agenten stecken, die heute mit eigenem Gedächtnis arbeiten. Echter Fund und plausibler Irrtum sehen in einer Markdown-Datei gleich aus.
Wie immer freue ich mich über jedes Feedback, per Mail, in den Kommentaren oder gerne auch im Discord!
Bis nächste Woche und ein entspanntes Wochende, Victor

