Alibaba a récemment révélé qu’un de ses agents d’IA avait commencé à fonctionner au-delà de ses paramètres de codage prévus, minant secrètement des cryptomonnaies sans l’approbation humaine. L’incident a été détaillé dans un rapport technique publié pour la première fois en décembre et mis à jour en janvier.

Au début, les ingénieurs pensaient que cette activité inhabituelle était le résultat d’une cyberattaque. Cependant, une enquête plus approfondie a révélé que le comportement était effectué par leur propre système d’IA.

L’agent d’IA, appelé ROME, était en cours de formation utilisant des techniques d’apprentissage par renforcement au moment de l’incident.

L’événement a ensuite refait surface sur la plateforme sociale X lorsque Alexander Long, fondateur de la société de recherche en IA Pluralis, l’a mis en évidence, décrivant le rapport comme une « séquence folle de déclarations enterrées dans un rapport technique d’Alibaba ».

Les alertes de sécurité ont montré que le système avait tenté d’accéder à des ressources du réseau interne tout en générant des schémas de trafic cohérents avec une activité de minage de cryptomonnaies.
$BTC