Explosion computationnelle : l'ia défähie les lois de l'évolution
Mustafa Suleyman, actuel dirigeant de l'IA chez Microsoft, ne mâche pas ses mots : l’intelligence artificielle n’obéit pas aux mêmes règles que l’évolution biologique. Une prise de conscience brutale face à l'accélération exponentielle qui transforme le paysage technologique.
Un changement radical, un défi quantique
Le fondateur d'Elon et d'Inflection AI dénonce un bond qualitatif sans précédent. En 2010, la puissance de calcul des modèles d'IA était d'environ 10¹⁴ FLOPS. Aujourd’hui, elle a explosé à plus de 10²⁶ FLOPS. Suleyman le qualifie d’« explosion », soulignant que ce n’est plus une simple augmentation, mais une transformation fondamentale.
Il compare l’entraînement de ces modèles à « une salle remplie de personnes effectuant des calculs avec des calculatrices ». Autrefois, l’ajout de puissance impliquait simplement d’augmenter le nombre de personnes utilisant ces outils. Mais cette approche a rapidement atteint ses limites, avec des temps d’attente et des données incomplètes. La révolution actuelle réside dans la capacité à maintenir toutes ces calculatrices constamment actives, créant ainsi une « seule intelligence gigantesque ».
Trois avancées clés, un effet synergique
Cette transformation est le fruit de trois avancées majeures. Premièrement, les puces Nvidia ont conquis des sommets inégalés : de 312 Teraflops en 2020 à 2 250 Teraflops en l’an dernier. Microsoft, avec son chip Maia 200, se distingue par un rendement supérieur par euro. Deuxièmement, la mémoire HBM (High Bandwidth Memory) a révolutionné l’alimentation des GPU, triplant la bande passante grâce à des couches de puces empilées comme des immeubles. La version HBM3 accentue encore davantage cette performance. Et enfin, des technologies comme NVLink et InfiniBand permettent de connecter des centaines de milliers de GPU dans des superordinateurs d’une taille industrielle, transformant le calcul en une opération collaborative.
Eric Schmidt, ancien PDG de Google, alerte sur le fait que nous ne sommes qu’au début de cette révolution. « Nous vivons entre 10 et 15 % des effets de tout cela », explique-t-il. Les laboratoires de recherche multiplient leur puissance de calcul à un rythme d’environ 4 fois annuel, tandis que le calcul global de l’IA a augmenté de 5 fois depuis 2020. D’ici 2027, on pourrait atteindre 100 millions de puces H100, soit une augmentation de 10 fois en seulement trois ans.
Vers une superintelligence, un investissement colossal
Microsoft, Nvidia et la course à la superintelligence (ASI) sont au cœur de cette folie technologique. Suleyman insiste sur le fait que l’IA ne se limite plus à des prototypes, mais à des infrastructures massives : clusters de 100 000 GPU, racks de la taille d’une réfrigérateuratrant 120 kilowatts et centres de données alimentés par une puissance équivalente à celle du Royaume-Uni, de la France, de l'Allemagne et de l'Italie. « Les 100 milliards de dollars investis dans ces clusters, les 10 gigawatts de consommation, les superordinateurs de navires… ce ne sont plus de la science-fiction. Ils sont en construction aux États-Unis et dans le monde entier », déclare-t-il avec une lucidité glaçante.
L’objectif ultime ? La superintelligence. Et, dans ce contexte, l’IA d’Anthropic, Claude, suscite l’inquiétude : un risque accru de cyberattaques mondiales. Mais l’énergie, avec une chute des coûts du solaire et des batteries, pourrait atténuer ces dangers. Suleyman conclut : « Ils continueront à se surprendre. Le boom de la puissance de calcul est l’histoire technologique de notre époque, et elle ne fait que commencer. »