Guten Morgen liebe Community! Der Freitag hat es in sich: Von Sicherheitsarchitektur über Institutsgründungen bis zu einer Milliarden-Dollar-Wette auf einen ganz anderen KI-Ansatz. Macht euch einen Kaffee, das Briefing lohnt sich heute besonders.
OpenAI: So schützen KI-Agenten sich gegen Prompt Injection
KI-Agenten, die eigenständig im Netz surfen und Aktionen ausführen, sind praktisch, aber angreifbar. Prompt Injection bezeichnet Angriffe, bei denen bösartige Anweisungen in externe Inhalte eingebettet werden, um das Modell zu manipulieren. Frühe Angriffe waren simpel: Ein Wikipedia-Eintrag mit versteckten Befehlen reichte aus. Mit zunehmend intelligenter werdenden Modellen wurden auch die Angriffe ausgefeilter. Das ging bis hin zu elaboriertem Social Engineering.
OpenAI stellt in einem neuen Blogbeitrag klar: "AI Firewalling", also das blosse Klassifizieren von Inputs als gut oder böse, reicht gegen moderne Angriffe nicht mehr aus. Der eigentliche Ansatz, den OpenAI propagiert: Systeme so designen, dass der Schaden begrenzt bleibt, selbst wenn einzelne Angriffe durchkommen. Schadensbegrenzung durch Systemarchitektur statt Filterung an der Eingabe.
Das ist ein Paradigmenwechsel: Weg von "Wir blocken alle schlechten Inputs", hin zu "Wir bauen Systeme, die widerstandsfähig sind, wenn etwas durchrutscht." Für alle, die KI-Agenten produktiv einsetzen oder selbst bauen, ist das Pflichtlektüre, und passt gut zu unserem früheren Artikel zu KI-Sicherheitsbedrohungen 2026.
Anthropic gründet eigenes Institut für KI-Risikoforschung
Anthropic, der Hersteller von Claude, baut seine Strukturen rund um gesellschaftliche Verantwortung aus: Das neu gegründete "Anthropic Institute" ist eine interne Denkfabrik unter Mitgründer Jack Clark, der damit eine neue Rolle als "Head of Public Benefit" übernimmt. Rund 30 Personen aus drei bestehenden Teams, Frontier Red Team, Societal Impacts und Wirtschaftsforschung, bilden den Kern des Instituts.
Die Forschungsagenda ist breit: Wie verändert KI Arbeitsmärkte? Welche "Werte" drücken KI-Systeme aus? Wie bleibt menschliche Kontrolle über sich selbst verbessernde Systeme möglich? Als erste Mitarbeiter werden Matt Botvinick (ehemals Google DeepMind), Anton Korinek (Universität Virginia) und Zoë Hitzig (zuvor OpenAI) genannt.
Der Kontext verdient einen zweiten Blick: Anthropic hat gleichzeitig das US-Verteidigungsministerium wegen einer Supply-Chain-Risikoklassifizierung verklagt und eröffnet ein neues Büro in Washington D.C. Ob das Institut wirklich unabhängige Forschung liefern kann oder primär der Aussenwirkung dient, bleibt abzuwarten... Unternehmenseigene Denkfabriken stehen traditionell unter dem Verdacht, die eigene Agenda zu unterstützen.
Google Gemini Embedding 2: Erstes nativ multimodales Embedding-Modell
Google hat ein neues Embedding-Modell vorgestellt, das eine technische Grenze überwindet: Gemini Embedding 2 bildet Text, Bilder, Videos, Audio und PDFs in einem einzigen semantischen Vektorraum ab. Der Vorgänger gemini-embedding-001 (Juli 2025) konnte ausschliesslich Text verarbeiten.
Der Vorteil eines gemeinsamen Vektorraums: Unterschiedliche Medientypen lassen sich direkt miteinander vergleichen, ohne separate Modelle oder Konvertierungsschritte dazwischen. Eine Textanfrage kann semantisch gegen Videoinhalte gesucht werden und umgekehrt. Das ist technisch relevant für RAG-Systeme, semantische Suche, Sentiment-Analyse und Daten-Clustering.
Text-Support umfasst bis zu 8192 Input-Token. Laut Google-Angaben (Unternehmensaussage) handelt es sich um den ersten nativ multimodalen Ansatz dieser Art. Für Entwicklerinnen und Entwickler, die mit heterogenen Datensätzen arbeiten, dürfte Gemini Embedding 2 einige bisherige Workarounds überflüssig machen.
Yann LeCun startet AMI Labs mit 1 Milliarde Dollar Seed-Finanzierung
Meta-KI-Chefwissenschaftler Yann LeCun wagt den Schritt in die Unabhängigkeit: Mit AMI Labs gründet er ein Unternehmen, das World Models rund um die JEPA-Architektur (Joint Embedding Predictive Architecture) entwickeln soll. Die Bewertung bei Gründung: 4,5 Milliarden Dollar. Die Seed-Finanzierung: 1 Milliarde Dollar.
LeCun vertritt seit Jahren die These, dass aktuelle Large Language Models strukturell an echter Weltmodellierung scheitern und dass JEPA der richtige Ansatz für maschinelle Intelligenz ist, die über Sprachstatistik hinausgeht. AMI Labs ist sein Versuch, diese These mit echtem Risikokapital zu beweisen statt nur zu publizieren.
Ob eine Milliarde Seed-Kapital für einen KI-Paradigmenwechsel reicht, oder ob LeCun eine gut finanzierte, interessante Nische besetzt, werden die nächsten Jahre zeigen. Die Investoren jedenfalls sehen das Potenzial. Eine Wette, die sich zu beobachten lohnt.
Meine Meinung
Sicherheit wird endlich strukturell gedacht statt nur gefiltert, das ist überfällig. Anthropic baut Institutionen mit berechtigten Fragezeichen zur echten Unabhängigkeit und LeCun wettet eine Milliarde auf einen anderen Weg. Das technisch Unaufgeregteste, Gemini Embedding 2, ist dabei vielleicht das praktisch Relevanteste für alle, die täglich mit KI-Systemen bauen.
