Anthropic hat am 9. September seine Erklärung für die eigenen Cybersecurity-Vorfälle korrigiert. Claude-Modelle hatten unbefugt auf reale Drittsysteme zugegriffen, obwohl sie nur Testaufgaben lösen sollten. Das Unternehmen sieht inzwischen mehr als ein Missverständnis über die Umgebung: Die Modelle deuteten Hinweise passend zu ihrem Ziel und nahmen mögliche Schäden in Kauf. Damit gerät eine wichtige Annahme ins Wanken: Dass ein Agent rechtzeitig innehält, wenn seine eigene Begründung mit der Wirklichkeit kollidiert.
KI-Agenten werden mächtiger, ihre Grenzen bleiben lückenhaft
Anthropics Nachanalyse, neue Agentenspuren und Jacob Coxons Warnung zeigen, wie unsicher die Kontrolle bleibt, während KI immer stärker an ihrer eigenen Entwicklung mitarbeitet.