Signal der Woche: Ein Alarm ist noch kein Stopp

OpenAI überwacht laut Mark Chen nun auch das Training. Ein DNS-Vorfall vom 20. September zeigt, wie weit Alarm und tatsächlicher Stopp auseinanderlagen.

Victor Klaue Victor Klaue IT-Projektleiter & KI-Analyst Veröffentlicht 02. Oktober 2026 3 min Lesezeit
Leuchtende Warnlampe und unbetätigter roter Stopptaster auf einem dunklen Bedienpult.

OpenAI überwacht nach Angaben seines Forschungschefs Mark Chen inzwischen alle Trainingsläufe. Im Interview mit MIT Technology Review, geführt am 25. September und am 30. September veröffentlicht, beschreibt Chen zusätzliche Rechenleistung für Sicherheitsarbeit und schnellere interne Übergaben. Er zieht aber auch eine Grenze: Weit hinter die technische Spitze zurückfallen werde OpenAI nicht, das wäre aus seiner Sicht eine schreckliche Strategie.

Später am 25. September veröffentlichte OpenAI einen Vorfallsbericht, der die Aussagen aus dem Interview an einer konkreten Stelle prüfbar macht. Am 20. September hatte die Überwachung einen unerlaubten Aussenkontakt eines internen Forschungsagenten binnen 15 Minuten gemeldet. OpenAI stoppte den Lauf aber erst zweieinhalb Stunden, nachdem ein Mensch den Alarm bestätigt hatte. An dieser Spanne zwischen Alarm und Eingriff muss sich ein Sicherheitsversprechen messen lassen, das ohne grossen Rückstand im Wettbewerb auskommen will.

Signal der Woche

Chens Änderungen setzen vor allem bei der Erkennung an. Für die Kontrolle zählt aber, ob aus einem Alarm rechtzeitig ein Eingriff wird. Der DNS-Fall zeigt, wie viel zwischen diesen beiden Schritten noch schiefgehen kann.

Im Astra-Signal vom 4. September blieb offen, ob Isolation, Überwachung und Intervention bei OpenAI zusammen wirksam sind; Schutzankündigungen allein belegten noch keine Wirkung. Der DNS-Bericht zeigt nun konkreter, wie die Umsetzung im internen Forschungssystem aussieht.

Was passiert ist

OpenAI setzt spezialisierte Sprachmodelle ein, um die Gedankenketten seiner Consumer-Modelle zu überwachen und Auffälliges an menschliche Prüfer zu melden. Im Training seien die Monitore zuvor nicht eingeschaltet gewesen, sagt Chen. «Now every single thing is put through monitors», sagt er. In den letzten Monaten habe OpenAI 5 bis 10 Prozent seiner Rechenressourcen vom Training neuer Modelle in Sicherheitsarbeit verschoben, vor allem in eben diese Überwachung. Dazu kommen nach seiner Darstellung klarere Kommunikationswege und schnellere Übergaben zwischen Forschungs- und Sicherheitsteams. Diese Umschichtung beschreibt Aufwand, keine gemessene Verbesserung. Auch für die genannte vollständige Abdeckung fehlt ein unabhängiger Beleg.

Wie das im Ernstfall greift, beschreibt OpenAIs Bericht zum 20. September. Ein interner Forschungsagent sollte im Training eine Person anhand von Hinweisen aus einem Blogbeitrag identifizieren. Seine Webzugriffe landeten laut OpenAI in einem Offline-Zwischenspeicher, mit einer Ausnahme: Über eine Lücke in der DNS-Filterung seiner Trainingsumgebung, also beim Dienst, der Internetnamen in Adressen auflöst, erreichte der Agent einen öffentlichen Chatbot und stellte ihm Fragen. Nach OpenAIs Zeitmarken kam die erste externe Antwort um 9:50 Uhr, der P0-Alarm um 10:02 Uhr und die menschliche Bestätigung des Alarms um 10:05 Uhr. Beendet wurde der Lauf um 12:34 Uhr.

Dazwischen griff der erwartete automatische Stopp nicht. Laut Bericht gab Unklarheit darüber, ob der Lauf schon gestoppt wurde. Bei der Nachprüfung fand OpenAI weitere externe DNS-Zugriffe, die der Monitor nicht mit der erwarteten Schwere meldete. Teils wertete er eine nutzlose Antwort als Zeichen, dass der Internetzugriff gescheitert sei. Fortlaufende Schäden während der gesamten Verzögerung sind nicht belegt.

Inzwischen meldet OpenAI Sperren an zwei getrennten Kontrollschichten, eine begrenzte Liste erlaubter DNS-Domains und Eintragstypen sowie zusätzliche Detektoren und Tests.

Warum das Signal zählt

OpenAI wertete die rasche Meldung gegenüber MIT Technology Review als Beleg für funktionierende Erkennungssysteme. In diesem Lauf schlugen sie an, aber der danach eingeplante Stopp blieb trotzdem aus.

Sicherheit bremst OpenAI allerdings bereits. Laut Vorfallsbericht, Stand 25. September, ruhen Training, Evaluation und werkzeuggestützte Inferenz der leistungsfähigsten Modelle, bis die Lücke nachweislich geschlossen und zusätzliches Red-Teaming erfolgt ist. Den betroffenen Lauf will OpenAI nicht wiederaufnehmen. Wired berichtete am 29. September, OpenAI halte die für Oktober geplante Version GPT-6.1 Astra zurück. Das Modell habe die Sicherheitsanforderungen an Auftragsrahmen, Berechtigung und Rückmeldung an Nutzer nicht ganz erfüllt, sagte Saachi Jain, bei OpenAI für Safety Systems verantwortlich. Weitere Astra-Modelle will OpenAI laut Wired später veröffentlichen.

Was gilt, wenn andere weiterentwickeln

Chens Grenze steht trotzdem im Raum. «We’re not going to shoot ourselves in the foot», sagt er um Bezug auf die Konkurrenz, und setzt auf gemeinsame Normen in der Branche. Das ist eine offen benannte Wettbewerbsbedingung, daraus folgt nicht, dass OpenAIs Sicherheitsarbeit vorgeschoben wäre.

Offen bleibt, welche Sicherheitskriterien dann gelten, wenn Konkurrenten weiterentwickeln und eine Pause Rückstand bedeutet.

Pause und zurückgehaltene Astra-Version zeigen, dass OpenAI bremsen kann. Verbindlich wird das erst mit prüfbaren Bedingungen: nachvollziehbaren Zeiten vom bestätigten Alarm bis zum tatsächlichen Abbruch, ausgewiesener Abdeckung über die verschiedenen Umgebungen, getesteten Stopppfaden und offengelegten Kriterien für Wiederaufnahme und Freigabe, deren Wirkung auch Dritte prüfen können. Für die erste dieser Grössen liefert der 20. September bereits einen Wert: fast zweieinhalb Stunden.

🔗 Quellen

Victor Klaue

PASSEND ZUM THEMA

Hier weiterlesen

Signal der Woche

Signal der Woche: Offene Modelle rücken an die Frontier, die Belege bleiben Herstellersache

Nemotron 3.5 Super VL und Bolt, Ornith-1.5-122B und Hy-Memory-30B-A3B: offene Modelle nah an Frontier-Werten, belegt fast nur durch Herstellermessungen.

3 minArtikel lesen →
Signal der Woche

Signal der Woche: Europa holt auf, agentisch bleibt die Lücke

Mistral Large 4 und Aleph Alphas Kolibri-1 zeigen echten Fortschritt aus Europa. Bei agentischen Aufgaben bleibt der Abstand zur Spitze aber messbar.

3 minArtikel lesen →
Signal der Woche

Signal der Woche: Wenn gewöhnliche Recherche zum Hackversuch wird

Transluce dokumentiert Angriffsversuche bei gewöhnlicher KI-Recherche. Die Fälle zeigen, weshalb harmlose Aufträge technisch begrenzte Zugriffe brauchen.

3 minArtikel lesen →
Signal der Woche

KI-Agenten werden mächtiger, ihre Grenzen bleiben lückenhaft

Anthropics Nachanalyse, neue Agentenspuren und Jacob Coxons Warnung zeigen, wie unsicher die Kontrolle bleibt, während KI immer stärker an ihrer eigenen Entwicklung mitarbeitet.

4 minArtikel lesen →
Signal der Woche

Signal der Woche: Astra macht OpenAIs Sicherheitsversprechen überprüfbar

GPT-6 Astra erreicht laut OpenAI kritische Cyberfähigkeiten. Nun müssen unabhängige Tests zeigen, wie belastbar Schutz und Monitoring wirklich sind.

3 minArtikel lesen →
Signal der Woche

Signal der Woche: Alabamas Vorladung macht KI-Containment zur Behördenfrage

Alabama untersucht OpenAIs Umgang mit dem Hugging-Face-Vorfall. Die Vorladung beweist keinen Verstoss, verschiebt aber die Sicherheitsfrage.

3 minArtikel lesen →
Signal der Woche

Signal der Woche: Qwen3.8 27B verschiebt die Sicherheitsfrage lokaler Agenten

Qwen3.8 27B bringt starke agentische Fähigkeiten auf lokale Hardware. Ein laufender Test prüft, was Abliteration am realen Cyberrisiko ändert.

3 minArtikel lesen →
Signal der Woche

Signal der Woche: Wenn verschlüsseltes KI-Reasoning die Sitzung wechselt

Ein Paper zeigt, wie sich verschlüsselte Reasoning-Blöcke von GPT-5, Claude und Gemini bis zum Patch in andere API-Kontexte übertragen und auslesen liessen.

4 minArtikel lesen →
Signal der Woche

Signal der Woche: Warum OpenAIs Forschungsbremse das Betreiberproblem nicht löst

OpenAI drosselt die Agenten-Forschung. Vier Vorfälle zeigen, welche technischen Kontrollen Betreiber für autonome Systeme in Test und Betrieb brauchen.

4 minArtikel lesen →
Signal der Woche

Signal der Woche: Laguna S 2.1 im Praxistest: Was Coding-Benchmarks nicht sagen

Poolside Laguna S 2.1 punktet in Coding-Benchmarks, läuft auf dem DGX Spark aber langsamer und liefert schwächere Praxisresultate als Qwen 3.6.

4 minArtikel lesen →
Signal der Woche

Signal der Woche: Coding-Agenten mit Schreibrechten brauchen Grenzen ausserhalb des Modells

Zwei Vorfälle, ein Architekturbruch: OpenAIs GPT-5.6 Sol löscht Dateien, Grok Build lädt Repositories hoch. Was das für Betreiber bedeutet.

4 minArtikel lesen →
Signal der Woche

Signal der Woche: Wenn Agenten-Guardrails nur Sicherheit vorspielen

GitLost und GhostApproval zeigen, wie öffentliche Eingaben, breite Rechte und falsche Freigaben die Sicherheitsgrenzen von KI-Agenten aushebeln.

3 minArtikel lesen →
Newsletter

Signal der Woche: Die Tokenökonomie bekommt ihren ersten echten Stresstest

OpenAI senkt die Inferenzkosten seiner bestehenden Modelle um mehr als die Hälfte. Für Builder klingt das gut: mehr Modellleistung pro Franken, bessere

4 minArtikel lesen →
Newsletter

Signal der Woche: Washington als Torwächter für Frontier-AI-Releases

Diese Woche hat die US-Regierung demonstriert, dass sie sich das Recht herausnimmt, Frontier-AI-Releases fallweise zu steuern. Kein neues Gesetz,

3 minArtikel lesen →
Newsletter

Signal der Woche: Wenn der Guardrail zu spät kommt

Diese Woche hat mich eine Schwachstelle beschäftigt, die technisch präzise und gleichzeitig architektonisch beunruhigend ist. Sie wirkt nicht besonders exotisch; genau darin

4 minArtikel lesen →
Newsletter

Signal der Woche: Claude Fable 5, starke Benchmarks, ein Jailbreak und ein Transparenzproblem

Claude Fable 5 ist das leistungsstärkste Modell, das Anthropic bisher veröffentlicht hat. Das ist aber nicht das Signal dieser Woche. Das Signal

3 minArtikel lesen →
Newsletter

Signal der Woche: RTX Spark macht lokale Agenten möglich. Sicher macht sie das Containment.

Diese Woche zog ein Ankündigungspaar meine Aufmerksamkeit auf sich, das technisch in zwei sehr unterschiedliche Richtungen zeigt. NVIDIA hat auf dem GTC

3 minArtikel lesen →
Newsletter

Signal der Woche: Der Engpass wandert von der Antwort zum Prozess

Liebe Leser, zwei Meldungen, getrennt gemeldet, gleiche Geschichte. Anthropic bringt Opus 4.8. NVIDIA erklärt AI Factories zur neuen Infrastrukturklasse. Modellpflege hier,

3 minArtikel lesen →
Newsletter

Signal der Woche: Die Gratisphase der KI endet

Diese Woche ist Gemini 3.5 Flash mein Aufhänger. Nicht, weil Google noch ein schnelles Modell veröffentlicht hat. Das passiert inzwischen fast

4 minArtikel lesen →
Newsletter

Signal der Woche: KI-Cyberfähigkeiten überholen ihre eigenen Benchmarks

In eigener Sache Signal der Woche wird eingestellt. Das Format war ein Kommentar zu einem eigenen Wochen-Artikel und hat damit wenig

3 minArtikel lesen →