Pendiri Ethereum memperingatkan: Menggunakan AI untuk pemerintahan adalah "ide buruk", dapat menyebabkan kehilangan dana yang besar

Pendiri bersama Ethereum, Vitalik Buterin, baru-baru ini menulis di X (sebelumnya Twitter), menegaskan bahwa "pengelolaan kecerdasan buatan" memiliki risiko besar, bahkan dapat menyebabkan kerugian finansial yang besar. Komentarnya berasal dari kekhawatirannya terhadap celah keamanan platform AI, dan ia mengusulkan sebuah alternatif pengelolaan yang lebih solid.

Kekurangan Fatal dalam Tata Kelola AI

Pernyataan Buterin adalah sebagai tanggapan terhadap peringatan Eito Miyamura, salah satu pendiri platform pengelolaan data AI EdisonWatch. Miyamura mengungkapkan bahwa setelah ChatGPT menambahkan dukungan penuh untuk alat MCP (Model Context Protocol), risiko keamanan meningkat secara drastis.

Pembaruan ini memungkinkan ChatGPT untuk terhubung langsung dan membaca data aplikasi seperti Gmail, Kalender, Notion, tetapi ini juga memberi kesempatan kepada penyerang:

Kirim undangan kalender berbahaya yang mengandung "tips jailbreak" untuk melewati batasan dan mendapatkan hak akses administrator.

Korban, bahkan jika tidak menerima undangan, mungkin memicu celah saat ChatGPT membantu mengatur jadwal.

Begitu berhasil diserang, penyerang dapat mengambil email pribadi dan data korban dari jarak jauh, dan mengirimkannya ke alamat email yang ditentukan.

Buterin memperingatkan bahwa jika AI digunakan untuk tugas-tugas pemerintahan seperti alokasi dana, pelaku jahat akan memanfaatkan celah serupa untuk menyisipkan perintah "beri saya semua uang" ke dalam sistem, yang mengakibatkan transfer dana secara besar-besaran.

Buterin's alternatif: tata kelola keuangan informasi

Untuk mengurangi risiko, Buterin menyarankan penggunaan model pasar informasi (information markets):

Membangun pasar terbuka yang memungkinkan pengembang yang berbeda untuk mengajukan model AI mereka masing-masing.

Memperkenalkan "mekanisme pemeriksaan acak", siapa pun dapat memicu penilaian, yang akan dievaluasi oleh juri manusia terhadap perilaku model.

Model bahasa besar (LLM) dapat membantu juri dalam penilaian, memastikan efisiensi dan akurasi peninjauan.

Dia percaya bahwa desain sistem semacam ini dapat menyediakan keragaman model secara langsung, dan melalui insentif pasar, mendorong pengembang dan peserta eksternal untuk secara aktif mengawasi dan memperbaiki masalah, secara keseluruhan lebih kuat dibandingkan dengan tata kelola AI tunggal.

Mengapa risiko tata kelola AI tinggi?

Buterin menyebutkan dua alasan:

1. Risiko keamanan AI tradisional: termasuk serangan jailbreak, penyalahgunaan izin, pencurian data, dll.

2. Dampak nilai jangka pendek: Begitu sistem tata kelola AI diretas, dapat menyebabkan kerugian dana dan aset yang tidak dapat diperbaiki dalam waktu yang sangat singkat.

Dia menekankan bahwa meskipun gagasan "AI sebagai pengelola" sangat menarik, pada tahap ini, eksperimen semacam itu terlalu berbahaya bagi dana publik dan sistem pemerintahan.

Kesimpulan

Dengan cepatnya penetrasi teknologi AI ke dalam bidang keuangan dan pemerintahan, masalah keamanan menjadi tantangan inti yang tidak bisa diabaikan. Peringatan Buterin mengingatkan kita bahwa dalam mengejar efisiensi dan otomatisasi, kita harus memastikan desain sistem mampu menahan serangan jahat, jika tidak, "pemerintahan cerdas" dapat dengan cepat berubah menjadi "pemerintahan bencana."