El fundador de Ethereum advierte: Gobernar con IA es una "mala idea", podría provocar enormes pérdidas de capital.

El cofundador de Ethereum, Vitalik Buterin, publicó recientemente en X (anteriormente Twitter), afirmando que la "gobernanza de la inteligencia artificial" presenta riesgos significativos, e incluso podría causar pérdidas financieras masivas. Sus comentarios surgen de preocupaciones sobre las vulnerabilidades de seguridad en las plataformas de IA y propone un conjunto de alternativas de gobernanza más robustas.

Defecto mortal de la gobernanza de IA

La declaración de Buterin es una respuesta a la advertencia de Eito Miyamura, cofundador de la plataforma de gobernanza de datos de IA EdisonWatch. Miyamura reveló que la incorporación de soporte completo para la herramienta MCP (protocolo de contexto del modelo) en ChatGPT ha llevado a un aumento drástico en los riesgos de seguridad.

Esta actualización permite que ChatGPT se conecte y lea directamente los datos de aplicaciones como Gmail, Calendario, Notion, pero esto también brinda oportunidades a los atacantes:

Enviar una invitación de calendario maliciosa con "sugerencia de jailbreak" permite eludir las restricciones y obtener permisos de administrador.

Las víctimas, incluso si no aceptan la invitación, pueden activar vulnerabilidades al utilizar ChatGPT para ayudar a organizar su agenda.

Una vez que se haya tomado el control, el atacante puede recuperar de forma remota los correos electrónicos y datos privados de la víctima y enviarlos a un correo electrónico específico.

Buterin advirtió que si se utiliza IA para tareas de gobernanza como la asignación de fondos, los actores maliciosos aprovecharán vulnerabilidades similares para insertar órdenes como "dame todo el dinero" en el sistema, lo que provocará una transferencia masiva de fondos.

Alternativa de Buterin: Gobernanza de Finanzas de Información

Para reducir el riesgo, Buterin sugiere adoptar el modelo de mercados de información.

Establecer un mercado abierto que permita a diferentes desarrolladores enviar sus propios modelos de IA.

Introducir un "mecanismo de muestreo", cualquier persona puede activar una revisión, que será evaluada por un jurado humano sobre el comportamiento del modelo.

Los modelos de lenguaje de gran tamaño (LLM) pueden ayudar a los jurados a juzgar, asegurando la eficiencia y precisión de la revisión.

Él cree que este diseño del sistema puede proporcionar diversidad de modelos en tiempo real y, a través de incentivos de mercado, fomentar que los desarrolladores y participantes externos supervisen y corrijan problemas de manera activa, siendo en general más robusto que la gobernanza de una sola IA.

¿Por qué es alto el riesgo de gobernanza de IA?

Buterin señaló dos grandes razones:

1. Riesgos de seguridad de la IA tradicional: incluyen ataques de jailbreak, abuso de permisos, robo de datos, etc.

2. Impacto en el valor a corto plazo: Una vez que el sistema de gobernanza de IA sea vulnerado, podría causar pérdidas irreversibles de fondos y activos en un período de tiempo muy corto.

Él enfatizó que, aunque la idea de "IA como administradora" es emocionante, en esta etapa, tales experimentos son demasiado peligrosos para los fondos públicos y los sistemas de gobernanza.

Conclusión

Con la rápida penetración de la tecnología AI en los campos financiero y de gobernanza, los problemas de seguridad se están convirtiendo en un desafío central que no se puede ignorar. La advertencia de Buterin nos recuerda que, en la búsqueda de eficiencia y automatización, debemos asegurarnos de que el diseño institucional pueda resistir ataques maliciosos, de lo contrario, la "gobernanza inteligente" podría convertirse de inmediato en "gobernanza desastrosa".