Quantification et formats de modèles
Réduire la précision (8 ou 4 bits) pour tenir sur moins de mémoire GPU, au prix d'une qualité parfois dégradée. Formats courants : safetensors, GGUF.
Dans la roadmap
Ressources
- llama.cpp : quantification et format GGUF
Référence open source