Turboquant : google débloque l'ia face à la pénurie de mémoire

La course effrénée à la puissance de l'intelligence artificielle a atteint un point de rupture. La pénurie de RAM, baptisée par certains « Rammageddon », menace le développement des modèles de langage de grande taille (LLM) comme Gemini. Google pourrait avoir la réponse avec TurboQuant, une innovation prometteuse qui pourrait révolutionner l'efficacité de l'IA.

Turboquant : une compression radicale pour l'ia

Le problème réside dans le « KV cache », cette mémoire clé-valeur qui permet d'éviter les calculs redondants. Ce système, essentiel au bon fonctionnement des modèles d'IA, devient de plus en plus gourmand en ressources, entraînant une augmentation des coûts et des délais. TurboQuant, annoncé par Google, propose une solution basée sur la quantification, une technique qui réduit la précision numérique des données.

Le processus se décline en deux étapes : PolarQuant, qui transforme les vecteurs cartésiens en polaires pour éviter les normalisations répétées, et Quantized Johnson-Lindenstrauss (QJL), qui réduit chaque élément à un simple bit (positif ou négatif) pour éliminer les erreurs de calcul. Contrairement aux méthodes de quantification traditionnelles, TurboQuant maintient la qualité des modèles, même avec une réduction de la précision jusqu'à trois bits, sans nécessiter de réentraînement.

Les bénéfices sont substantiels : une réduction de l'utilisation de la mémoire pour le cache clé-valeur jusqu'à six fois. Les calculs d'attention sont jusqu'à huit fois plus rapides avec des opérations en 32 bits, et la quantification jusqu'à trois bits se fait sans réentraînement. Le gain en énergie, en temps et en compatibilité est considérable.

Cette optimisation pourrait soulager la pression sur les fabricants de puces et réduire les coûts liés à la mémoire vive. Des tests en conditions réelles ont montré des résultats encourageants, mais il reste encore des développements à venir. Six fois moins de mémoire nécessaire : c'est une révolution potentielle.

Microsoft, quant à elle, explore des solutions plus radicales, comme l'utilisation de plaques de verre pour stocker des informations sur des millénaires. Mais pour l'instant, c'est l'optimisation logicielle que Google propose qui semble offrir la solution la plus immédiate et pragmatique. Et dans un secteur où la performance est reine, c'est là qu'on doit se concentrer.

La mise en œuvre à grande échelle de TurboQuant pourrait bien relancer le développement de l'IA, en libérant des ressources précieuses et en permettant aux entreprises de se concentrer sur l'innovation plutôt que sur la gestion de la mémoire.