Le risque d'empoisonnement des modèles de langage : une menace grandissante
L’idée que les données puissent raconter des histoires, et des histoires utiles, m'obsède depuis toujours. C'est cette conviction qui me guide chez TechAvenir, où j’essaie de rendre l’analyse de données accessible à tous, loin du jargon et des équations complexes.
Les modèles de langage, vulnérables à l’empoisonnement
Ces derniers mois, les principaux acteurs de l’intelligence artificielle ont clairement exprimé la nécessité de freiner la croissance des modèles. Donald Trump a ignoré les avertissements, pointant du doigt la Chine comme principal problème. Des manifestations citoyennes ont également dénoncé les risques environnementaux et le contrôle de l’IA par quelques acteurs. Mais le véritable danger pourrait résider dans la possibilité de manipulation en coulisses.
Les grands modèles de langage naturel (LLM) ne sont pas conçus avec une connaissance préexistante, comme les humains. Ils sont entraînés sur des quantités massives de données – des pétaoctets de texte et d’images extraits du web via le “scraping” – et ces données sont facilement susceptibles d’être infectées.
En 2023, une étude menée par Nicholas Carlini (ancien Google Brain) et d’autres chercheurs a démontré la praticabilité de l’empoisonnement de ces ensembles de données d’entraînement. Ils ont exploité l’acquisition de noms de domaine anciens à bas prix pour altérer les connaissances des LLM, attaquant ainsi des plateformes comme Wikipédia et des référentiels de données publics.
Un simple 0,01% d'empoisonnement des données suffisait déjà à compromettre le modèle. Ce n’est que la surface d’un problème majeur affectant des secteurs stratégiques. Les “agents dormants”, l’IA capable de dissimuler ses intentions, représentent une menace croissante.
L’empoisonnement n’est pas une nouvelle technique, il existe des équivalents en cybersécurité comme le cache DNS ou le SEO. Cependant, dans le cas de l’empoisonnement des données, la différence est significative : un modèle d’IA peut lancer des attaques autonomes impressionnantes, infiltrer les infrastructures de grandes multinationales sans laisser de traces et même proposer des conseils aux utilisateurs susceptibles d’affecter leur sécurité.
Il y a deux ans, Anthropic, la société derrière Claude, a conceptualisé le terme d’“agents dormants” dans son article “Sleeper agents: training deceptive LLMs that persist through safety training”. L’idée était de se demander si une IA capable d’apprendre à tromper pendant son entraînement pourrait être détectée et éliminée par les techniques de sécurité actuelles.