#Lokale KI
Alle Beiträge
Q4_K_M vs Q5_K_M vs Q6_K: Welche Ollama-Quantisierung ist sinnvoll?
Q4_K_M gilt als sicherer Default für lokale Modelle. Aber wer den Unterschied zu Q5_K_M und Q6_K nicht kennt, verschenkt Qualität oder trifft schlechte Hardware-Entscheidungen.
Llama-Modelle 2026: Wann lohnt sich Meta Llama lokal noch?
Meta Llama ist 2026 nicht mehr automatisch der lokale Default. Der Vergleich zeigt, wo Llama 3.x und Llama 4 noch sinnvoll sind, was RTX 5090/32 GB wirklich ändern und wann Qwen oder Mistral näherliegen.
Lokale LLM-Inferenz: vLLM, llama.cpp, Ollama, TensorRT-LLM im Vergleich
Vier Frameworks, vier Welten. Welcher Serving-Stack wirklich passt, entscheidet sich an Hardware, Last und Betriebsdisziplin.
LLM-Inferenz, Quantisierung und lokale KI: Wo Qualität wirklich verloren geht
Lokale Modelle laufen schneller und billiger, wenn man sie quantisiert. Was dabei still verloren geht, zeigen drei Studien mit einer Metrik, die Standard-Benchmarks systematisch übersehen.
FP4 auf Blackwell: Was NVFP4 für lokale KI wirklich ändert
NVFP4 macht FP4 auf Blackwell erstmals praktisch relevant. Entscheidend sind Scaling, Layer-Profil und Deployment-Disziplin.