Was sind KI World Models?

KI-Systeme, die Texte produzieren oder Bilder generieren, sind inzwischen breit bekannt. World Models dagegen klingen nach Science-Fiction: KI, die ein inneres Modell der Welt aufbaut, zukünftige Zustände simuliert und auf dieser Basis handelt. Das Konzept kursiert seit Jahrzehnten in der KI-Forschung, aber erst seit 2024 wird es laut.

Der Grund: Systeme wie V-JEPA 2 und GWM-1 trainieren auf Millionen Stunden Video und steuern Roboterarme in neuen Umgebungen. Gleichzeitig streitet das Feld noch darüber, was ein World Model überhaupt ist: Sora etwa wurde als World Model vermarktet, produzierte aber keine verlässlich physikalisch konsistenten Outputs. Ob aktuelle Systeme die konzeptionelle Schwelle tatsächlich überschreiten, bleibt offen.

Ein Begriff, zwei Schulen

Die Fachgemeinschaft ist gespalten. Eine Schule definiert World Models über ihre Funktion: Interne Repräsentationen der Umwelt aufbauen, also verstehen, wie die Welt strukturiert ist. Die andere Schule betont die Vorhersagefunktion: Ein World Model simuliert zukünftige Zustände, also was passiert, wenn ein Agent eine bestimmte Aktion ausführt.

Beides klingt ähnlich, ist aber konzeptionell unterschiedlich. Ein System, das primär Repräsentationen baut, muss keine Handlungsfolgen modellieren. Ein System, das primär vorhersagt, kann das tun, ohne die zugrundeliegende Struktur der Welt zu verstehen. Der Tsinghua-Survey (2025, ACM Computing Survey), bisher die umfassendste systematische Kategorisierung des Feldes, fasst beide Funktionen zusammen: World Models konstruieren interne Repräsentationen und sagen zukünftige Zustände vorher.

Praktisch bedeutet das: Je nach Anwendung werden unterschiedliche Architekturen bevorzugt. Für autonomes Fahren sind präzise Vorhersagen in Echtzeit entscheidend. Für Roboterplanung braucht man längere Horizonte und die Fähigkeit, kontrafaktische Szenarien zu simulieren, also zu fragen: Was wäre passiert, wenn der Arm anders angesetzt hätte?

Von Craik bis Sora: Eine kurze Geschichte

Der Begriff taucht früh in der Kognitionswissenschaft auf. Kenneth Craik formulierte 1943 die Idee, dass Menschen kleine interne Modelle der Realität bilden, um Ereignisse vorwegzunehmen. Philip Johnson-Laird brachte das Konzept 1983 in die Kognitionswissenschaft. Marvin Minsky gehört in diese Linie nur indirekt: Sein Beitrag waren Frames, also strukturierte Wissensrepräsentationen, nicht mentale Modelle als zentraler Mechanismus. Für KI-Systeme blieb das lange abstrakt.

2018 änderte das Ha und Schmidhuber mit dem Paper "World Models": Sie trainierten rekurrente neuronale Netze auf Spielumgebungen wie CarRacing und VizDoom, extrahierten komprimierte Repräsentationen und liessen einen Controller ausschliesslich in der internen Simulation des Modells trainieren. Das Ergebnis war ein Agent, der in Spielumgebungen ohne reale Interaktion lernte.

2022 legte Yann LeCun mit der JEPA-Architektur (Joint Embedding Predictive Architecture) eine konzeptionelle Erweiterung vor. LeCun argumentiert, dass generative Modelle, also solche, die Pixel oder Token vorhersagen, keine geeignete Grundlage für echtes Verstehen sind. JEPA macht Vorhersagen stattdessen im latenten Repräsentationsraum: nicht "wie sieht das nächste Frame aus", sondern "welche abstrakte Repräsentation des nächsten Zustands ist wahrscheinlich". Das entspricht LeCuns Intuition, dass menschliches Denken weniger mit Pixel-Rekonstruktion zu tun hat als mit abstrakten Zustandsmodellen.

2024 wurde Sora breit als erstes "World Model" vermarktet. OpenAI beschrieb das Videogenerierungsmodell als System, das physikalische Gesetze und kausale Strukturen modelliert. Die Realität war bescheidener: Sora produzierte visuell überzeugende Videos, aber physikalische Inkonsistenzen waren dokumentiert. Flüssigkeiten verhielten sich falsch, Objekte kollabierten oder erschienen ohne Grund. Sora modellierte keine verlässliche Physik. Es approximierte das visuelle Erscheinungsbild physikalischer Vorgänge, ohne die zugrundeliegende Mechanik zu erfassen. Im März 2026 kündigte OpenAI das Ende der Sora-Produkte an; Web und App wurden im April abgeschaltet, die API soll im September folgen.

Der entscheidende Schritt kam 2025 mit Metas V-JEPA 2.

V-JEPA 2: World Model als Roboterintelligenz

Meta FAIR veröffentlichte V-JEPA 2 im Juni 2025 als bisher konkreteste Umsetzung der World-Model-Vision nach LeCun. Das Modell wurde auf über einer Million Stunden Internet-Video trainiert, ohne menschliche Labels. Die Architektur folgt dem JEPA-Prinzip: Vorhersagen im Repräsentationsraum statt auf Pixelebene.

Das Bemerkenswerte: Mit nur 62 Stunden unlabeled Roboter-Video lässt sich ein Aktionsmodell (V-JEPA 2-AC) trainieren, das Roboterarme zero-shot in neuen Umgebungen steuert. Auf dem Something-Something v2 Benchmark erreicht das Modell 77,3% Top-1 Accuracy, auf Epic-Kitchens-100 39,7 Recall@5, was einer 44-prozentigen relativen Verbesserung entspricht.

Das Paper formuliert das Programm so: "A major challenge for modern AI is to learn to understand the world and learn to act largely by observation." V-JEPA 2 ist ein Argument für diese These, kein Beweis. Die Laborergebnisse stammen aus Meta-eigenen Umgebungen mit Franka-Roboterarmen unter kontrollierten Bedingungen. Eine direkte Vergleichsstudie mit Konkurrenzarchitekturen existiert nicht.

Parallel arbeiten Google DeepMind, Nvidia und Runway an eigenen Ansätzen. Runways GWM-1 (Dezember 2025) positioniert sich als World Model für physikalisch konsistente Videosimulation. Nature beschrieb World Models Anfang 2026 als primäre Trainingsumgebung für die nächste Robotergeneration.

Wie World Models technisch funktionieren

Der mathematische Rahmen kommt aus der Entscheidungstheorie: Partially Observable Markov Decision Processes (POMDP). Ein Agent beobachtet die Welt nur teilweise, muss aber trotzdem handeln. Ein World Model kompensiert diese Unvollständigkeit durch drei Komponenten: Dynamics Prior (was ist der wahrscheinliche nächste Zustand), Filtered Posterior (was ist der aktuelle Zustand nach Beobachtung) und Reconstruction (wie lässt sich der Zustand aus Beobachtungen rekonstruieren).

Der Nankai/A*STAR-Survey (2025) unterscheidet zwei grundlegende Architektur-Typen. Decision-Coupled World Models sind aufgabenspezifisch: Sie lernen eine Weltrepräsentation, die direkt für eine bestimmte Aufgabe optimiert ist. Ein Modell für autonomes Fahren würde seine Repräsentation zum Beispiel direkt auf Fahrentscheidungen ausrichten. Das ist effizient, generalisiert aber schlecht. General-Purpose World Models sind aufgabenagnostisch: Sie bauen ein breiteres Modell der Welt und passen sich an verschiedene Aufgaben an. V-JEPA 2 zielt auf diesen Typ, also zuerst Weltrepräsentation lernen, dann für Robotikaufgaben adaptieren.

Bei der Zeitmodellierung gibt es zwei Paradigmen: Sequentielle Simulation rollt Zustand für Zustand vorwärts (autoregressiv, ähnlich wie Sprachmodelle Token für Token generieren). Global Difference Prediction macht parallele Vorhersagen über den Unterschied zwischen aktuellem und zukünftigem Zustand.

Das grösste ungelöste Problem ist die Fehlerakkumulation bei langen Horizont-Rollouts. Je weiter ein World Model in die Zukunft simuliert, desto grösser werden kleine Fehler. Für kurzfristige Planung funktioniert das; für komplexe Roboteraufgaben mit vielen Schritten bleibt es kritisch.

Was ein World Model nicht ist: Das Verstehen-Problem

Hier liegt die schwächste Annahme des gesamten Feldes. Der Tsinghua-Survey erwähnt, ob aktuelle Systeme wirklich "verstehen", als offene Frage. Zwei Forscher des Indian Institute of Science (IISc, 2025) haben das explizit untersucht und kommen zu einem ernüchternden Befund: World Models sind ein bedeutender Fortschritt, aber kein hinreichendes Kriterium für menschliches Verstehen.

Ihr Argument: Ein System kann physikalische Zustände perfekt tracken und trotzdem nicht verstehen, was es trackt. Sie zeigen das anhand von Fallstudien, darunter die Othello-GPT-Kontroverse. Li et al. (2023) zeigten, dass Othello-GPT eine nichtlineare interne Repräsentation des Spielbretts aufbaut. Nanda, Lee und Wattenberg (2023) wiesen anschliessend nach, dass eine eng verwandte lineare Repräsentation des Boards im Modell liegt. Eine Folgearbeit aus dem MATS-6.0-Programm (2024) argumentiert dagegen, dass Othello-GPT eher eine "Bag of Heuristics" gelernt hat als ein zusammenhängendes Weltmodell.

Andrew Ng formulierte 2023: "I believe that LLMs build sufficiently complex models of the world that I feel comfortable saying that, to some extent, they do understand the world." LeCun ist vorsichtiger und fragt eher, ob aktuelle Architekturen überhaupt die richtige Grundlage bieten. Beide Positionen sind plausibel. Weder lässt sich das eine noch das andere beweisen, solange "Verstehen" nicht präzise definiert ist.

Für die Praxis bedeutet das: Wer einen Roboter in einer Fabrikhalle einsetzen will, braucht keinen philosophischen Konsens über Verstehen. Er braucht ein System, das zuverlässig Objekte greift und Fehler erkennt. World Models können das leisten, ohne das Verstehen-Problem zu lösen. Die Frage bleibt trotzdem relevant, weil sie Grenzen markiert: Ein System, das nicht versteht, wird in unbekannten Situationen auf spezifische Weise versagen.

Das ist kein theoretisches Problem. Das Halluzinations-Problem bei Sprachmodellen zeigt, wie Systeme, die auf Oberflächen-Statistik operieren, in neuen Kontexten systematisch falsche Ausgaben produzieren. World Models mit unzureichenden Repräsentationen werden analog versagen, nur mit physischen Konsequenzen.

Praxisrahmen: Was die Industrie tatsächlich braucht

Die IFR (International Federation of Robotics) beschreibt in ihrem Positions-Paper "AI in Robotics" vom Februar 2026 "Physical AI" als Roboterintelligenz, die in virtuellen Umgebungen trainiert und durch Erfahrung statt klassischer Programmierung handelt. Die Erwartung: Roboter sollen künftig in simulierten Welten trainiert und nicht mehr nur klassisch programmiert werden. World Models sind dafür die natürliche Infrastruktur.

Die Industrie ist vorsichtiger. Eine Fraunhofer-IPA-Studie mit 113 Antworten aus Industrie, Integration und angrenzenden Sektoren zeigt: Die wichtigsten Anwendungen sind Materialtransport (84%) und Machine Tending (79%). Die grössten Hindernisse: fehlende Sicherheitsregulierung (45%), überhöhte Erwartungen (37%), keine wirtschaftlich tragfähigen Use Cases (35%). Das IFR-Positionspapier "Humanoid Robots: Vision and Reality" vom August 2025 fasst den ökonomischen Test nüchtern zusammen: "To be profitable, humanoid robots must stand out from other automation solutions in terms of their flexibility." Der konkrete Industriekontext steht im AISyndicate-Artikel zu humanoiden Robotern und Physical AI 2026.

Das ist der Praxistest für World Models. Sie versprechen Flexibilität: Ein Roboter, der in simulierten Welten gelernt hat, soll sich an neue Umgebungen anpassen, ohne neu programmiert zu werden. V-JEPA 2 liefert erste Belege für zero-shot Transfer. Aber unter Laborbedingungen. Der Schritt von 62 Stunden Roboter-Video zu einer zuverlässigen Produktionslinie ist nicht linear.

Der Paradigmenwechsel vom ML-Engineering zum AI-Engineering trifft hier auf sein physisches Pendant: Systeme, die auf Weltrepräsentationen basieren, erfordern andere Validierungslogiken als klassische ML-Pipelines. Deterministisches Verhalten ist nicht mehr garantiert, Zertifizierung wird komplexer.

Second-Order Effect: Wer die Simulation kontrolliert

World Models sind keine neutralen Werkzeuge. Wer die Simulation kontrolliert, in der zukünftige Robotergenerationen trainieren, bestimmt, welche physikalischen Regeln, welche Prioritäten und welche Fehlertoleranzgrenzen internalisiert werden.

Meta, Google DeepMind, Nvidia und Runway investieren massiv in diese Infrastruktur. Das sind nicht primär Robotik-Unternehmen. Es sind Plattformunternehmen, die Trainingsinfrastruktur als strategischen Layer aufbauen. Wer die World-Model-Plattform kontrolliert, auf der die nächste Generation physischer KI trainiert, hat einen strukturellen Vorteil ähnlich dem Cloud-Paradigma der letzten Dekade.

Für Unternehmen und Regulatoren bedeutet das: Welche Roboter gebaut werden, reicht als Frage nicht mehr aus. Ebenso wichtig ist, in welchen simulierten Welten sie gelernt haben.

Ein zweiter Effekt betrifft die Qualifizierung: Unternehmen, die heute in Domänen wie Robotik, Fahrzeugsteuerung oder Logistik ausbilden, werden in 18 bis 24 Monaten feststellen, dass klassisches Regelwissen für ML-getriebene Systeme nicht mehr hinreichend ist. World Models verschieben die benötigte Kompetenz von Programmierung und Parametrisierung hin zu Datenqualität, Simulationsdesign und Validierungslogiken für nicht-deterministische Systeme.