O fundador do Ethereum alerta: governar com IA é uma "má ideia", pode levar a enormes perdas financeiras.

O cofundador do Ethereum, Vitalik Buterin, publicou recentemente no X (antigo Twitter), afirmando que a "governança de inteligência artificial" apresenta riscos significativos, podendo até resultar em enormes perdas financeiras. Seus comentários surgem de preocupações sobre vulnerabilidades de segurança em plataformas de IA e ele propôs um conjunto de alternativas de governança mais robustas.

Defeito fatal da governança de IA

A declaração de Buterin foi uma resposta ao aviso de Eito Miyamura, cofundador da plataforma de governança de dados de IA EdisonWatch. Miyamura revelou que, após o ChatGPT adicionar suporte total para a ferramenta MCP (protocolo de contexto de modelo), os riscos de segurança aumentaram drasticamente.

A atualização permite que o ChatGPT se conecte diretamente e leia dados de aplicações como Gmail, Calendário, Notion, entre outras, mas isso também oferece uma oportunidade para atacantes:

Envie um convite de calendário malicioso com o "aviso de jailbreak" para contornar as restrições e obter privilégios de administrador.

As vítimas, mesmo que não tenham aceitado o convite, podem acionar vulnerabilidades ao organizar a agenda com a ajuda do ChatGPT.

Uma vez invadido, o atacante pode recuperar remotamente os e-mails e dados privados da vítima e enviá-los para um e-mail designado.

Buterin avisou que, se a IA for usada para tarefas de governança, como a alocação de fundos, atores maliciosos explorarão vulnerabilidades semelhantes para inserir comandos no sistema como "dê-me todo o dinheiro", resultando em uma transferência maciça de fundos.

Alternativa de Buterin: Governança Financeira da Informação

Para reduzir o risco, Buterin sugere a adoção do modelo de mercados de informação (information markets):

Criar um mercado aberto que permita a diferentes desenvolvedores submeterem os seus próprios modelos de IA.

Introduzir um "mecanismo de auditoria", qualquer pessoa pode acionar uma revisão, avaliada por um júri popular sobre o comportamento do modelo.

Modelos de linguagem de grande escala (LLM) podem auxiliar os jurados a fazer julgamentos, garantindo eficiência e precisão na revisão.

Ele acredita que este design de sistema pode fornecer diversidade de modelos em tempo real e, através de incentivos de mercado, incentivar desenvolvedores e participantes externos a supervisionar e corrigir problemas ativamente, sendo, no geral, mais robusto do que uma única governança de IA.

Por que o risco de governança da IA é alto?

Buterin apontou duas grandes razões:

1. Riscos de segurança da IA tradicional: incluem ataques de jailbreak, abuso de permissões, roubo de dados, etc.

2. Impacto de valor a curto prazo: uma vez que o sistema de governança de IA seja comprometido, pode causar perdas irreversíveis de fundos e ativos em um período muito curto.

Ele enfatizou que, embora a ideia de "IA como gestora" seja empolgante, nesse estágio, esse tipo de experimento é demasiado arriscado para os fundos públicos e o sistema de governança.

Conclusão

Com a rápida penetração da tecnologia de IA nos setores financeiro e de governança, as questões de segurança estão se tornando um desafio central que não pode ser ignorado. O aviso de Buterin nos lembra que, ao buscar eficiência e automação, é necessário garantir que o design institucional possa resistir a ataques maliciosos; caso contrário, a "governança inteligente" pode rapidamente se transformar em "governança desastrosa".