Google's TurboQuant AI-compression algorithm can reduce LLM memory usage by 6x

Le problème de la mémoire des LLMs

Les grands modèles de langage sont, par nature, gourmands en mémoire. Chaque paramètre du modèle est traditionnellement stocké sous forme de nombre à virgule flottante de 16 ou 32 bits. Pour un modèle de 80 milliards de paramètres — comme Qwen-3-Coder-Next —, cela représente environ 159 Go de mémoire vive nécessaire rien que pour charger le modèle, sans compter la mémoire requise pour l'inférence elle-même.

Ces exigences matérielles rendent le déploiement local de LLMs performants quasiment impossible pour la plupart des utilisateurs et des entreprises. Même les GPU haut de gamme grand public ne dépassent pas 24 Go de VRAM, ce qui est loin d'être suffisant pour faire tourner les modèles les plus capables.

La quantification comme solution

La quantification est une technique de compression qui consiste à réduire la précision numérique des poids du modèle. Au lieu de stocker chaque paramètre en 16 bits (float16), on peut le représenter en 8 bits (int8), 4 bits (int4), voire moins. Cette réduction de précision entraîne une perte de qualité, mais les recherches récentes ont montré que cette perte peut être remarquablement faible.

Les techniques de quantification existantes permettent déjà une réduction de mémoire d'environ 4x avec seulement 5 à 10 % de perte de précision sur les benchmarks standards. C'est ce qui a permis l'émergence de l'écosystème de modèles locaux — des outils comme llama.cpp, Ollama ou LM Studio exploitent ces modèles quantifiés pour offrir une expérience d'IA locale.

TurboQuant : une avancée significative

Google va plus loin avec TurboQuant. L'algorithme promet une réduction de l'empreinte mémoire d'un facteur 6 — soit 50 % de compression supplémentaire par rapport aux méthodes classiques en 4 bits — tout en maintenant une qualité de sortie comparable au modèle non compressé.

Cette performance est rendue possible par des techniques de quantification avancées qui optimisent la manière dont les poids sont regroupés et compressés, en tenant compte de la sensibilité variable des différentes couches du réseau. Certaines couches tolèrent mieux la compression que d'autres, et TurboQuant exploite cette asymétrie pour maximiser la réduction de mémoire là où l'impact sur la qualité est minimal.

Impact sur le déploiement local

Les implications pratiques sont considérables. Un modèle de 80 milliards de paramètres qui nécessitait 159 Go de mémoire pourrait, avec TurboQuant, fonctionner avec environ 26 Go — une quantité accessible avec du matériel professionnel standard.

Cette réduction rend viable une nouvelle catégorie d'applications :

• Agents IA desktop : les applications comme Manus "My Computer" ou Claude Cowork, qui nécessitent un modèle local performant, deviennent techniquement réalisables sur un plus grand nombre de machines
• Développement local : les développeurs peuvent tester et itérer avec des modèles puissants sans dépendre d'une connexion cloud
• Confidentialité : les entreprises soumises à des contraintes de confidentialité peuvent faire tourner des modèles capables entièrement en local, sans envoyer de données vers des serveurs externes

Contexte de recherche

TurboQuant s'inscrit dans un mouvement de recherche plus large visant à démocratiser l'accès aux LLMs. D'autres travaux, comme GPTQ, AWQ ou GGUF, ont déjà contribué à réduire les barrières d'entrée. La contribution de Google se distingue par l'ampleur de la compression proposée et le maintien de la qualité, ce qui pourrait en faire une nouvelle référence pour la quantification de modèles.