Gemma 4 lokal: Welches Modell passt zu welcher Hardware?

Gemma 4 gibt es in fünf Grössen, und die Auswahl entscheidet sich fast immer am verfügbaren Speicher. E2B und E4B zielen auf Edge-Geräte und Systeme mit kleinerem Speicherbudget, 12B Unified ist die vernünftige Wahl für gängige lokale Systeme mit 12 bis 24 GB, und ab der 32-GB-Klasse werden 26B A4B und 31B interessant. Alle fünf Varianten stehen unter Apache 2.0. Wer eine bestehende Gemma-3- oder Gemma-3n-Installation betreibt, hat trotzdem einen Grund zu bleiben, und der hat wenig mit Benchmarkwerten zu tun.

Kurzfazit: Welche Gemma-4-Variante wofür

Bei knappem Speicher sind E2B und E4B die ersten Kandidaten, aber selbst hier entscheidet das konkrete Paket samt Runtime. Zwischen 12 und 24 GB ist 12B Unified eine sinnvolle Wahl; sie bietet 256K nominelles Kontextfenster und Audio-Eingabe, ohne dass das volle Fenster in dieses Speicherbudget passen muss. Ab 32 GB lohnt sich der Vergleich mit 26B A4B: Das MoE-Modell aktiviert pro Token nur 3,8B Parameter und reduziert damit die Rechenlast. Ob es schneller antwortet als 31B, hängt auch von Runtime und Hardware ab. 31B erzielt die stärksten hier genannten offiziellen Qualitätswerte. Ältere Generationen bleiben bei bewährten Fine-Tunes oder bereits geprüften Deployments relevant.

Für stärkere lokale Coding- und Agentenprofile ist Qwen der naheliegende Vergleich, während Llama vor allem dort relevant bleibt, wo bestehende Tools und breite Runtime-Kompatibilität zählen.

Die fünf Varianten und was sie technisch unterscheidet

Google listet Gemma 4 in fünf Grössen: E2B, E4B, 12B Unified, 26B A4B und 31B. Das "E" steht für effektive Parameter. E2B und E4B nutzen Per-Layer Embeddings, bei denen jede Decoder-Schicht eine eigene kleine Embedding-Tabelle pro Token erhält. Diese Tabellen sind gross, dienen aber nur schnellen Lookups, weshalb die effektive Parameterzahl deutlich unter der geladenen liegt. Das "A" in 26B A4B steht für aktive Parameter.

Der wichtigste Denkfehler bei dieser Tabelle betrifft 26B A4B. Aktive Parameter sind eine Eigenschaft der Rechenlast, keine Eigenschaft des Speichers. Wer das MoE-Modell laden will, braucht Platz für alle 25.2B Gewichte, auch wenn pro Token nur 3.8B davon rechnen. Der Gewinn liegt bei der Geschwindigkeit: Google beschreibt das Modell als annähernd so schnell wie ein 4B-Modell, obwohl es Speicher wie ein 25B-Modell belegt. Genau das macht es auf einer 32-GB-Maschine attraktiver als das Dense-31B.

Alle Gemma-4-Modelle nutzen ein hybrides Attention-Muster aus lokalem Sliding Window und globalen Layern, wobei die letzte Schicht immer global ist. Das Sliding-Window-Mass liegt bei 512 Tokens für E2B und E4B und bei 1024 Tokens für die drei grösseren Varianten. Für lange Kontexte teilen sich die globalen Layer Keys und Values und nutzen Proportional RoPE. Praktisch heisst das: Der KV-Cache wächst bei Gemma 4 langsamer als bei einem reinen Full-Attention-Modell derselben Grösse, aber er wächst.

Hardware: Was tatsächlich in den Speicher passt

Die folgende Matrix schätzt ausschliesslich den Gewichtsspeicher: zwei Byte pro Parameter für BF16 und etwa 0,55 Byte für gängige 4-Bit-Quantisierungen. Das sind weder zugesicherte Downloadgrössen noch gemessene RAM-Werte. KV-Cache, Aktivierungen, multimodale Komponenten und Runtime kommen je nach Paket hinzu. Für das volle 128K- oder 256K-Kontextfenster reicht die Gewichtsrechnung allein nicht.

Die Ollama-Library zeigt am 3. Oktober 2026 je nach Backend und Tag deutlich andere Paketgrössen: E2B etwa 4,6 bis 7,5 GB, E4B 6,6 bis 9,5 GB, 12B 7,7 bis 8,0 GB, 26B 16 bis 19 GB und 31B 19 bis 20 GB. Diese Spannweiten sind keine einheitliche Q4-Messreihe. Vor dem Download zählt der konkrete Tag, vor dem Betrieb zusätzlich der gemessene Speicherverbrauch. Bei Apple Silicon teilen sich System, Anwendungen, Modell und Cache das Unified Memory; auf einem 16-GB-Mac steht dem Modell deshalb weniger als die Nennkapazität zur Verfügung.

Für die Wahl des Quantisierungsformats gilt die übliche Regel: 4-Bit-Formate wie Q4_K_M sind der Standardweg auf Consumer-Hardware, 8-Bit-Varianten vergrössern den Gewichtsspeicher ungefähr auf das Doppelte. Bei 26B und 31B kann damit schon das Modell den nutzbaren Speicher einer 32-GB-Maschine ausschöpfen. Wer die Formatlogik dahinter braucht, findet sie im Backbone-Artikel zu GGUF.

Ollama als Serving-Pfad und als Entscheidungsfaktor

Ollama führt Gemma 4 in der offiziellen Modell-Library. Die Tags decken alle fünf Grössen ab, von gemma4:e2b und gemma4:e4b über gemma4:12b und gemma4:26b bis gemma4:31b; zusätzlich existiert gemma4:31b-cloud als gehosteter Pfad. Ollama sortiert die Familie dabei genauso, wie es die Hardwarefrage nahelegt: E2B und E4B als Edge-Modelle, 12B, 26B und 31B als Workstation-Modelle.

Der praktische Vorteil ist die Chat-Template-Logik. Gemma 4 steuert seinen Reasoning-Modus über ein Think-Token am Anfang des System-Prompts, und die Modelle geben ihre internen Gedanken in einem eigenen Channel aus. Bei allen Varianten ausser E2B und E4B erzeugt das Modell diese Tags auch dann, wenn Thinking deaktiviert ist, dann eben mit leerem Gedankenblock. Wer selbst gegen die Rohausgabe parst, muss diesen Fall abfangen. Ollama, Transformers und llama.cpp nehmen einem das laut Modellkarte ab, was die einfachste Begründung dafür ist, den bequemen Weg zu nehmen.

Die Ollama-Library führt inzwischen Audio als Fähigkeit und zusätzlich MLX-Varianten auf. Daraus folgt noch keine bestätigte Audio-Unterstützung für jeden Tag, jedes Backend und jede API-Version. Für lokale Spracherkennung oder Sprachübersetzung mit E2B, E4B oder 12B muss der konkrete Serving-Pfad geprüft werden. Ebenso bestimmt die Serverkonfiguration das tatsächlich nutzbare Kontextfenster. Ein nominelles 256K-Fenster ist keine Zusage, dass es mit jeder Quantisierung und auf jeder 16-GB-Maschine nutzbar ist. Bei parallelen Anfragen muss die Speicherplanung die zusätzliche Cache-Last berücksichtigen.

Lizenz: Apache 2.0 gegen die alten Gemma Terms

Gemma 4 steht unter Apache 2.0. Die fünf hier geprüften offiziellen Google-Repositories auf Hugging Face sind am 3. Oktober 2026 ohne vorgeschaltete Lizenzbestätigung zugänglich. Das beseitigt keine Lizenzpflichten: Bei Weitergabe bleiben etwa Lizenztext, vorhandene Hinweise und gegebenenfalls die Kennzeichnung eigener Änderungen relevant. Gemma 2, Gemma 3 und Gemma 3n stehen dagegen unter den Gemma Terms of Use mit zusätzlichen Nutzungs- und Weitergabebedingungen. Lizenz und Downloadzugang sind getrennte Fragen; die frühere pauschale Aussage, alle Google-Repositories seien gated, trifft auf Gemma 4 nicht zu.

Wann ältere Generationen noch tragen

Googles eigene Zahlen zeigen einen deutlichen Generationensprung. Auf MMLU Pro liegt Gemma 4 31B bei 85.2 Prozent, 26B A4B bei 82.6 Prozent und 12B Unified bei 77.2 Prozent, während Gemma 3 27B ohne Thinking mit 67.6 Prozent angegeben ist. Auffälliger für lokale Anwendungen ist der Long-Context-Test MRCR v2 (8 needle, 128K): 66.4 Prozent für 31B gegen 13.5 Prozent für Gemma 3 27B. Wer lange Dokumente lokal verarbeitet, gewinnt beim Umstieg mehr als die reinen Wissensbenchmarks nahelegen.

Externer Benchmark, nicht AISyndicate-eigene Messung. Die Werte sind nur eingeschränkt vergleichbar, weil Runtime, Quantisierung und Hardware variieren.

Bestehende Fine-Tunes auf Gemma 2 oder Gemma 3 können den Umstieg verzögern, weil Training und Evaluation erneut Aufwand erzeugen. Bei ausgelieferten Gemma-3n-Paketen kommen Geräteprüfung und Update-Verteilung hinzu. Auch Runtime-Unterstützung, gemessene Latenz und Qualität auf den eigenen Aufgaben können für einen älteren Stand sprechen. Die Herstellerbenchmarks allein rechtfertigen deshalb keinen Austausch einer funktionierenden Installation.

Empfehlung nach Nutzerprofil

Für lokale Bild- oder Audio-Experimente auf einem Notebook ist E4B ein Einstieg, sofern der gewählte Tag die benötigte Modalität unterstützt. Mit 16 GB kann 12B Unified in einer passenden Quantisierung sinnvoll sein; vor längeren Sitzungen müssen Kontextlimit und Speicherreserve geprüft werden. Auf einer 12-GB-GPU ist ein rund 8 GB grosses 12B-Paket ein Kandidat, keine Zusage für jede Kontextlänge oder multimodale Last.

Wer eine Workstation mit 32 GB oder mehr betreibt und Antwortzeiten interaktiv halten will, nimmt 26B A4B. Wer maximale Qualität pro Anfrage braucht und längere Wartezeiten akzeptiert, nimmt 31B. Für Teams, die Gemma-basierte Modelle weitergeben oder in Produkte einbetten, vereinfacht Apache 2.0 die Lizenzbasis. Die zugehörigen Weitergabepflichten bleiben bestehen. Und wer noch nicht weiss, ob Gemma überhaupt die passende Familie ist, sollte den Vergleich mit den lokal relevanten Llama-Varianten führen, bevor er einen Stack darauf aufbaut.

Ein Punkt bleibt offen, und er lässt sich nicht aus Modellkarten beantworten: wie sich diese Modelle unter realer Last mit voll geöffnetem Kontextfenster verhalten. Speicherangaben für Gewichte sind der einfache Teil der Rechnung. Der KV-Cache entscheidet, ob eine Maschine im Alltag trägt.