Google vient de publier TurboQuant, un algorithme de compression qui pourrait bien changer la donne pour toute l'industrie de l'intelligence artificielle. Presente lors de la prestigieuse conference ICLR 2026 le 24 mars dernier, ce travail de recherche mene par Amir Zandieh et Vahab Mirrokni de Google Research s'attaque a l'un des plus gros problemes techniques des modeles de langage actuels : leur consommation de memoire delirante. Et les resultats sont impressionnants.

Pourquoi les IA consomment autant de memoire

Pour comprendre l'importance de TurboQuant, il faut d'abord saisir ce qui ralentit les IA aujourd'hui. Quand un modele comme GPT, Gemini ou Claude genere du texte, il ne part pas de zero a chaque mot. Il stocke en memoire des vecteurs mathematiques appeles cle-valeur (ou KV cache) pour chaque mot deja genere. Concretement, chaque mot de votre conversation est converti en une serie de nombres decimaux (par exemple 1.29, 0.03, -0.76, 0.91...) stockes en 16 bits de precision.

Le probleme ? Ce cache grossit lineairement avec la longueur du texte. Pour un modele de 8 milliards de parametres avec un contexte de 32 000 tokens, le KV cache a lui seul consomme environ 4,6 Go de VRAM. Souvent, c'est le cache — et non le modele lui-meme — qui sature la memoire du GPU. C'est ce goulot d'etranglement que TurboQuant vient resoudre.

Comment fonctionne TurboQuant

L'algorithme opere en deux etapes mathematiques elegantes, chacune reposant sur des fondements theoriques solides.

Etape 1 : PolarQuant — reorganiser les donnees

La premiere etape consiste a appliquer une rotation aleatoire aux vecteurs de donnees. En convertissant les coordonnees cartesiennes classiques en coordonnees polaires (rayon + angle), PolarQuant repartit l'energie de chaque vecteur uniformement sur toutes ses composantes. Le resultat ? Une distribution statistique previsible qui permet d'appliquer une quantification optimale via l'algorithme de Lloyd-Max, sans avoir besoin de calibrer quoi que ce soit sur le modele cible. Cette etape elimine aussi le besoin de stocker des constantes de normalisation couteuses en memoire.

Etape 2 : QJL — corriger les erreurs residuelles

La seconde etape s'occupe de l'erreur residuelle laissee par la premiere compression. L'algorithme Quantized Johnson-Lindenstrauss (QJL) projette cette erreur a travers une transformation mathematique, puis ne conserve qu'un seul bit par element : le signe (+1 ou -1). Cette correction rend l'estimation des scores d'attention mathematiquement non biaisee, avec un surcout memoire quasi nul.

Des chiffres qui parlent d'eux-memes

Les performances annoncees par Google Research sont remarquables :

• Reduction de 6x de la memoire du KV cache sans perte de precision mesurable
• Compression des caches jusqu'a 3 bits par element (contre 16 bits habituellement), sans aucun reentrainement
• Gain de vitesse allant jusqu'a 8x sur GPU NVIDIA H100 par rapport aux cles non quantifiees en 32 bits
• Performances quasi identiques a la precision originale sur les benchmarks LongBench, Needle In A Haystack, ZeroSCROLLS, RULER et L-Eval

Les tests ont ete realises sur des modeles Gemma et Mistral, couvrant des taches variees : reponse a des questions, generation de code et resume de texte.

Trois atouts qui changent la donne

Sans entrainement. Contrairement a d'autres methodes de compression, TurboQuant ne necessite aucun fine-tuning ni dataset de calibration. On l'applique directement sur n'importe quel modele Transformer existant, tel quel.

Agnostique au modele. L'algorithme fonctionne sur n'importe quelle architecture Transformer. Pas besoin de l'adapter selon que vous utilisez Gemini, Llama, Mistral ou un autre modele.

Agnostique aux donnees. TurboQuant est ce qu'on appelle "data-oblivious" : ses garanties theoriques tiennent quelle que soit la distribution des donnees traitees. Pas besoin de jeu de donnees specifique pour le faire fonctionner.

Un impact concret pour les developpeurs

En pratique, TurboQuant permet de faire tourner des modeles significativement plus gros sur du materiel grand public. En combinant des poids quantifies en 4 bits avec un KV cache compresse en 4 bits, des configurations auparavant impensables deviennent viables sur une simple carte graphique gaming.

La communaute open source n'a d'ailleurs pas attendu : plusieurs implementations sont deja disponibles, notamment des versions compatibles HuggingFace, llama.cpp, vLLM et meme une bibliotheque Rust standalone. Le code s'utilise en quelques lignes :

Le sweet spot se situe a 4 bits, ou la qualite reste indiscernable du FP16 sur les modeles de 3 milliards de parametres et plus. A 3 bits, une legere degradation peut apparaitre sur les petits modeles (moins de 1,6 milliard de parametres).

Les consequences pour l'industrie de l'IA

L'impact potentiel va bien au-dela du monde des developpeurs. Si TurboQuant se generalise — et tout porte a croire que ce sera le cas — les couts d'inference des modeles d'IA pourraient chuter de 50% ou plus. Les services cloud comme Google Cloud, AWS ou Azure pourraient servir davantage de requetes avec le meme materiel. La recherche semantique sur des bases de vecteurs a l'echelle du milliard d'elements deviendrait nettement plus efficace.

Sans surprise, l'annonce a deja fait reagir les marches financiers : les fabricants de puces memoire ont vu leurs cours baisser, les investisseurs anticipant une reduction de la demande en memoire haute performance. Certains analystes comparent meme l'impact a celui de DeepSeek debut 2025.

TurboQuant est le genre d'avancee technique qui ne fait pas les gros titres grand public, mais qui transforme silencieusement toute une industrie. En compressant la memoire de travail des IA d'un facteur 6 a 8, sans perte de qualite et sans reentrainement, Google vient potentiellement de rendre l'intelligence artificielle beaucoup plus accessible — et beaucoup moins couteuse a deployer.