Le fondateur d'Ethereum avertit : gouverner avec l'IA est une « mauvaise idée », cela pourrait entraîner d'énormes pertes financières.

Le cofondateur d'Ethereum, Vitalik Buterin, a récemment publié sur X (anciennement Twitter) en déclarant que la "gouvernance de l'intelligence artificielle" présente des risques majeurs, pouvant même entraîner d'énormes pertes financières. Ses commentaires proviennent d'inquiétudes concernant les failles de sécurité des plateformes d'IA et il a proposé un ensemble de solutions de gouvernance alternatives plus robustes.

Défaut fatal de la gouvernance par IA

La déclaration de Buterin répond à l'avertissement d'Eito Miyamura, cofondateur de la plateforme de gouvernance des données AI EdisonWatch. Miyamura a révélé qu'après l'ajout d'un soutien complet pour l'outil MCP (protocole de contexte modèle), les risques de sécurité ont augmenté de manière spectaculaire.

Cette mise à jour permet à ChatGPT de se connecter directement et de lire les données d'applications telles que Gmail, Calendrier, Notion, mais cela offre également des opportunités aux attaquants :

Envoyer une invitation de calendrier malveillante avec "Alerte de jailbreak" permet de contourner les restrictions et d'obtenir des droits d'administrateur.

Les victimes peuvent déclencher une faille même si elles n'ont pas accepté l'invitation, lors de l'organisation de leur emploi du temps avec l'aide de ChatGPT.

Une fois conquis, l'attaquant peut récupérer à distance les e-mails privés et les données de la victime, puis les envoyer à une adresse e-mail spécifiée.

Buterin a averti que si l'IA est utilisée pour des tâches de gouvernance telles que la répartition des fonds, des acteurs malveillants exploiteront des vulnérabilités similaires pour insérer dans le système des instructions "donnez-moi tout votre argent", entraînant un transfert massif de fonds.

Solutions alternatives de Buterin : gouvernance financière de l'information

Pour réduire les risques, Buterin recommande d'adopter le modèle des marchés d'information :

Créer un marché ouvert permettant à différents développeurs de soumettre leurs propres modèles d'IA.

Introduire un « mécanisme d'échantillonnage », permettant à quiconque de déclencher un examen, évalué par un jury populaire sur le comportement du modèle.

Les grands modèles de langage (LLM) peuvent aider les jurés à prendre des décisions, assurant ainsi l'efficacité et la précision de l'examen.

Il pense que ce type de conception du système peut fournir immédiatement une diversité des modèles et, grâce aux incitations du marché, inciter les développeurs et les participants externes à superviser et corriger proactivement les problèmes, ce qui est globalement plus robuste qu'une gouvernance par une seule IA.

Pourquoi les risques de gouvernance de l'IA sont-ils élevés ?

Buterin a souligné deux raisons :

1. Risques de sécurité de l'IA traditionnelle : y compris les attaques par jailbreak, l'abus de droits, le vol de données, etc.

2. Choc de valeur à court terme : Une fois que le système de gouvernance AI est compromis, cela pourrait entraîner des pertes irréversibles de fonds et d'actifs en très peu de temps.

Il souligne que, bien que l'idée de « l'IA en tant que gestionnaire » soit excitante, à ce stade, de telles expériences sont trop dangereuses pour les fonds publics et les systèmes de gouvernance.

Conclusion

Avec l'infiltration rapide de la technologie AI dans les domaines financier et de la gouvernance, les problèmes de sécurité deviennent un défi central qui ne peut être ignoré. L'avertissement de Buterin nous rappelle que, tout en recherchant l'efficacité et l'automatisation, il est essentiel de s'assurer que la conception institutionnelle puisse résister aux attaques malveillantes, sinon la "gouvernance intelligente" pourrait rapidement se transformer en "gouvernance catastrophique".