2 Beiträge
#Quantisierung
Alle Beiträge
Local AI
GGUF erklärt: Warum lokale KI-Modelle dieses Format nutzen
GGUF ist das pragmatische Deployment-Format lokaler KI-Modelle. Wir zeigen, welche Quantisierung auf welcher Hardware sinnvoll ist und was das Format wirklich leistet.
Lokale KI
FP4 auf Blackwell: Was NVFP4 für lokale KI wirklich ändert
NVFP4 macht FP4 auf Blackwell erstmals praktisch relevant. Entscheidend sind Scaling, Layer-Profil und Deployment-Disziplin.
1 / 1