2 Beiträge
#Lokale KI
Alle Beiträge
Lokale KI
LLM-Inferenz, Quantisierung und lokale KI: Wo Qualität wirklich verloren geht
Lokale Modelle laufen schneller und billiger, wenn man sie quantisiert. Was dabei still verloren geht, zeigen drei Studien mit einer Metrik, die Standard-Benchmarks systematisch übersehen.
Lokale KI
FP4 auf Blackwell: Was NVFP4 für lokale KI wirklich ändert
NVFP4 macht FP4 auf Blackwell erstmals praktisch relevant. Aber der Unterschied liegt nicht in 4 Bit, sondern in Scaling, Layer-Profil und Deployment-Disziplin.
1 / 1