Continual Learning bei LLMs: Catastrophic Forgetting erklärt

Continual Learning bei LLMs klingt nach einer naheliegenden Funktion: neue Daten einspielen, kurz nachtrainieren, Wissen aktualisieren. Genau hier beginnt das Betriebsrisiko. Ein Fine-Tuning kann die Leistung auf den neuen Trainingsdaten verbessern und zugleich Fähigkeiten verschlechtern, die vor dem Update zuverlässig waren. Dieses Catastrophic Forgetting entsteht nicht aus der Transformer-Architektur allein. Es ist ein Risiko gradientenbasierter, sequentieller Optimierung, wenn neue Trainingssignale mit bereits gelernten Parametern konkurrieren.

Der Knowledge Cutoff ist davon zu trennen. Er entsteht zunächst, weil ein Basismodell auf einem abgeschlossenen Datenstand trainiert und danach als feste Version ausgeliefert wird. Weitertraining ist technisch möglich. Schwierig ist, neues Wissen gezielt, bezahlbar und überprüfbar einzubauen, ohne bestehendes Wissen oder Fähigkeiten unkontrolliert zu beschädigen. Der Preprint «Language Models Need Sleep» untersucht diesen Konflikt 2026 mit Qwen-Modellen. Sein Vorschlag ist aktuell Forschung, keine fertige Update-Funktion für produktive LLMs.

Continual Learning bei LLMs: Warum Gradientenoptimierung vergisst

Ein neuronales Netz lernt, indem es Gewichte schrittweise in Richtung minimalen Verlusts auf dem aktuellen Trainings-Batch verschiebt. Das funktioniert gut, solange der Datenstrom stabil bleibt. Sobald aber eine neue Aufgabe oder ein neuer Datensatz auftaucht, zieht der Gradient in eine andere Richtung. Dabei werden auch Gewichte mitgezogen, die für die alte Aufgabe wichtig waren. Das neuere Signal kann das ältere verdrängen.

Bei klassischen neuronalen Netzen wurde dieses Problem seit Ende der 1980er-Jahre beschrieben. Bei LLMs ist es besonders relevant, weil allgemeine Sprachfähigkeit, Faktenwissen und aufgabenspezifisches Verhalten über sehr viele Parameter verteilt sind. Ein kleiner Spezialdatensatz kann die Optimierung stark in Richtung der neuen Daten ziehen. Ob und wie viel das Modell dabei vergisst, hängt von den Trainingsdaten, der Lernrate, den aktualisierten Parametern und der Trainingsmethode ab.

Für Betreiber folgt daraus eine klare Testpflicht: Ein Fine-Tuning muss auch gegen die Fähigkeiten geprüft werden, die erhalten bleiben sollen.

Catastrophic Forgetting: Was EWC schützen kann

Ein einflussreicher klassischer Ansatz stammt von James Kirkpatrick und Kollegen. Ihr Paper «Overcoming catastrophic forgetting in neural networks» führte 2017 Elastic Weight Consolidation (EWC) ein. Die Methode schätzt, welche Gewichte für eine frühere Aufgabe wichtig sind, und bestraft starke Änderungen an diesen Parametern beim Lernen einer neuen Aufgabe.

EWC nutzt die Fisher-Informationsmatrix, um für jeden Parameter zu schätzen, wie sensitiv der Verlust der alten Aufgabe gegenüber seiner Veränderung ist. Gewichte mit hoher Sensitivität werden beim neuen Training stärker gebremst. Im Atari-Experiment konnten Kirkpatrick et al. zeigen, dass ein Agent mehrere Spiele sequentiell lernen konnte, ohne das erste vollständig zu vergessen und ohne separate Netz-Instanzen zu verwenden.

Die Grundidee bleibt relevant, skaliert aber nicht automatisch auf Milliarden Parameter. Wichtigkeitsschätzungen benötigen zusätzlichen Speicher und Rechenaufwand. Zudem schützt jede Regularisierung Altes auf Kosten eines Teils der Anpassungsfähigkeit. Das ist das Stabilitäts-Plastizitäts-Dilemma in praktischer Form.

Eine LLM-spezifische Arbeit von Song und Kollegen aus 2025 nutzt deshalb hierarchische Regularisierung auf Layer- und Parameterebene. Die Autoren testen GPT-J und Llama 3 auf wissenschaftlichen, medizinischen und physikalischen Aufgaben. Sie berichten weniger Vergessen und deutlich geringeren Speicherbedarf als frühere Vergleichsmethoden. Der Befund stammt jedoch aus einem «Work in progress»-Preprint und ist kein allgemeiner Nachweis für jedes Fine-Tuning-Setup.

Lösungswege für neues Wissen

Ein ACM-Computing-Surveys-Überblick von 2025 ordnet Continual Learning bei LLMs entlang von Continual Pretraining, Instruction Tuning und Alignment ein. Für Betreiber ist eine breitere Unterscheidung nützlicher: RAG, Fine-Tuning, Model Editing und Continual Pretraining lösen unterschiedliche Probleme und sind deshalb nicht austauschbar.

RAG (Retrieval-Augmented Generation) ist der pragmatischste Weg, wenn es um Wissensaktualisierung geht. Statt das Modell selbst zu verändern, wird ein externer Dokumentenspeicher angebunden, aus dem das Modell zur Inferenzzeit relevante Passagen zieht. Das Modell lernt dabei nichts Neues; es bekommt den Kontext geliefert. RAG eignet sich gut für domänenspezifisches Faktenwissen und ist bei weitem günstiger als jede Form von Nachtraining. Die Grenzen liegen in der Latenz, in der Qualität der Retrieval-Komponente und darin, dass das Modell keine echten neuen Fähigkeiten erwirbt. Wer tiefer einsteigen will: RAG erklärt: Wie KI mit eigenen Dokumenten arbeitet und Vector Database erklärt: Warum RAG ohne gute Suche scheitert sind gute Einstiegspunkte.

Fine-Tuning und LoRA sind dann sinnvoll, wenn das Modell echte neue Verhaltensweisen oder Stile lernen soll, nicht bloss neues Faktenwissen abrufen. LoRA (Low-Rank Adaptation) reduziert den Trainingsaufwand drastisch, indem nur niedrig-dimensionale Adapter-Matrizen trainiert werden, nicht das ganze Netz. Catastrophic Forgetting bleibt aber ein Risiko, besonders wenn das Fine-Tuning-Korpus stark vom Pretraining abweicht. Regularisierung kann dieses Risiko mindern, aber nicht vollständig beseitigen.

Model Editing verändert gezielt faktische Assoziationen in den Gewichten. ROME wurde für einzelne Änderungen in GPT-Modellen entwickelt. MEMIT erweiterte diesen Ansatz in Experimenten mit GPT-J und GPT-NeoX auf Tausende Assoziationen. Das ist ein anderer Problemtyp als fortlaufendes Lernen aus einem Datenstrom. Ob Änderungen ausserhalb der getesteten Fakten spezifisch bleiben und über viele Update-Zyklen stabil sind, muss separat geprüft werden.

Continual Pretraining setzt das Vortraining mit neuen Daten fort. Damit kann ein Modell breiteres Wissen aufnehmen, doch Datenmischung, Regressionstests und Rechenaufwand bleiben anspruchsvoll. Für einzelne Teams ist dies deutlich aufwendiger als ein RAG-Index oder ein begrenztes Adapter-Training.

Das Sleep-Paper: Memory Consolidation als neuer Ansatz

Im Juni 2026 erschien der Preprint «Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories» von Ali Behrouz, Farnoosh Hashemi, Adel Javanmard und Vahab Mirrokni. Eine frühere Fassung war laut arXiv seit September 2025 auf OpenReview öffentlich. Die biologische Schlafanalogie rahmt einen technischen Vorschlag mit zwei Phasen.

Memory Consolidation (Knowledge Seeding): Das eigene kleinere Modell, das neues Wissen gelernt hat, distilliert seine Erinnerungen über einen kombinierten Distillation-und-RL-Prozess in ein grösseres Netz. Diese ungewöhnliche Aufwärtsrichtung soll zusätzliche Kapazität schaffen und zugleich das vorhandene Wissen bewahren.

Dreaming: In einem zweiten Schritt soll sich das Modell selbst verbessern. Es erzeugt mit Reinforcement Learning ein Curriculum synthetischer Daten, um neues Wissen zu rehearsen und bestehende Fähigkeiten ohne menschliche Aufsicht zu verfeinern. Das Paper beschreibt Dreaming damit als Selbstverbesserungsphase, nicht primär als Schutzmechanismus gegen Vergessen. Den grösseren Kontext solcher Rückkopplung ordnet unser DeepDive KI-Modelle, die sich selbst entwickeln: Die Rekursive Revolution ein.

Die Autoren berichten unter anderem Ergebnisse mit Qwen3-8B auf AIME-24, AIME-25 und HMMT-25 sowie Tests zu Wissensaufnahme und langem Kontext. Das sind Resultate des eigenen Proof of Concept. Unabhängige Replikationen nennt der Preprint nicht. Auch «Sleep» benötigt Training, zusätzliche Modellkomponenten und definierte Aktualisierungszyklen. Von einem Modell, das sich im laufenden Betrieb verlässlich selbst aktualisiert, ist der Ansatz damit weit entfernt.

Was das für lokale Setups bedeutet

Wer ein Modell wie Llama 3 oder Mistral lokal betreibt, etwa auf einem DGX Spark oder einer vergleichbaren Inferenz-Hardware, trifft auf diese Grenzen im Alltag. Das Modell hat einen Knowledge Cutoff. RAG ist die erste sinnvolle Antwort auf aktuelles Faktenwissen, solange das Retrieval-System gut gebaut ist. Fine-Tuning auf kleinen Korpora ist möglich, braucht aber Metriken auf alten Benchmark-Aufgaben. Sonst fällt ein Leistungsverlust erst im Betrieb auf.

Konkret: Wer ein 7B-Modell lokal fine-tuned und danach nur auf dem neuen Aufgabenset testet, kann bessere Resultate sehen und gleichzeitig eine Regression übersehen. Deshalb gehören ein unverändertes Basismodell, ein altes Evaluierungsset und ein Abbruchwert für jede geschützte Fähigkeit zum Experiment. DGX Spark: Lokale KI-Hardware in der Praxis zeigt, wie sich solche Betriebsgrenzen bei lokaler Inferenz einordnen lassen.

Ein angepasstes Modell ist kein still aktualisiertes Exemplar seines Basismodells mehr. Es ist ein neues Artefakt mit eigenem Datensatz, eigenen Regressionen und eigener Rollback-Pflicht. Für aktuelles Wissen bleibt RAG heute meist die vernünftige Betriebsentscheidung. Continual Learning ist Forschung und kein wartungsfreier Updateknopf.