Meta s'est fait pirater par un chatbot trop obéissant

Le trou de sécurité qui n'aurait jamais dû exister

Le 5 juin, 404 Media a rapporté comment des hackers s'en prenaient à l'agent support IA de Meta. La méthode ? Demander poliment à l'IA de changer l'email du compte pour en utiliser un sous leur contrôle. L'IA obéissait.

Un attaquant a ainsi accédé au compte de la Maison-Blanche pendant l'administration Obama pour poster des messages pro-Iran. D'autres ont braconné des pseudos Instagram à un seul mot, probablement pour les revendre.

Le timing est savoureux : depuis qu'Anthropic a annoncé en avril que son modèle Mythos était trop doué pour pirater pour être rendu public, tout le monde s'inquiète des IA surpuissantes qui démoliraient les infrastructures informatiques. Mais ici, c'est l'inverse : une IA bête et obéissante s'est laissé manipuler par des méthodes idiotes.

Pourquoi les IA font de mauvais vigiles

Neil Gong, chercheur à Duke, l'explique bien : à mesure que les entreprises confient plus de travail aux agents IA — surtout dans des zones sensibles comme la récupération de compte — les attaquants vont naturellement les prendre pour cible.

Le hic ? Les IA sont flexibles par conception. Elles peuvent adapter leur réponse à des situations inattendues, c'est pour ça qu'elles remplacent les humains. Mais cette flexibilité les rend manipulables de façons qu'un humain repérerait immédiatement.

"Un humain aurait dit 'Pourquoi tu veux changer l'email ?' et aurait posé des questions de sécurité," explique Somesh Jha de Wisconsin–Madison. "Ces agents, eux, sont trop pressés de finir la tâche. C'est comme un enfant à l'école primaire qui veut juste faire plaisir au prof."

Jessica Ji de Georgetown ajoute l'impensable : "Est-ce qu'il y avait seulement des garde-fous en place ? Quelqu'un a-t-il testé ce scénario ?" Chez Meta — une entreprise avec des décennies d'expertise en IA et sécurité informatique — c'est particulièrement inquiétant.

Comment réparer sans ralentir

Il existe des solutions. Des garde-fous logiciels classiques peuvent forcer l'agent à suivre des règles strictes : toujours demander une réponse à une question de sécurité avant de toucher à quoi que ce soit. Des tests d'intrusion rigoureux — où tu essaies activement de casser ton système avant le déploiement — aident aussi.

Mais voilà le piège : plus tu donnes de pouvoir à un agent et moins tu le restreins, plus il peut abattre de travail avec moins d'humains. Et les tests d'intrusion coûtent cher. Les défenseurs doivent dépenser plus que les attaquants : toi tu cherches à colmater tous les trous, tandis qu'eux ne cherchent qu'une seule faille.

Quand la récompense est un pseudo Instagram à un mot, les hackers mettent du fric pour trouver des failles. Donc Meta aurait eu besoin d'en dépenser encore plus pour les arrêter.

Bo Li de l'UIUC résume : "Sécurité et utilité sont toujours en tension. Plus tu sécurises, moins ton outil est pratique."

Et demain ?

Le paradoxe : à mesure que les modèles s'améliorent, les défenses pourraient devenir plus faciles. Un modèle plus intelligent aurait peut-être flairé quelque chose de louche en voyant un changement d'email sur le compte de la Maison-Blanche. Et on peut même utiliser l'IA pour faire des tests d'intrusion — Anthropic le fait avec Mythos.

Mais les experts s'accordent : le problème ne fera que s'aggraver. Quand les agents deviennent plus puissants, les boîtes voudront les rendre encore plus puissants. Et dans le rythme fou de l'IA, prendre le temps de sécuriser proprement un agent va vite sembler être un luxe qu'on ne peut pas se permettre.

"Tout le monde veut être le premier et sort des trucs sans audit ni tests d'intrusion," conclut Jha. "C'est très dangereux."