Засновник Ethereum попереджає: управляти за допомогою ШІ – це «погана ідея», що може призвести до величезних фінансових втрат.

Співзасновник Ethereum Віталік Бутерін нещодавно написав у X (колишній Twitter), що «управління штучним інтелектом» має значні ризики, які можуть призвести до величезних фінансових втрат. Його коментарі є результатом занепокоєння щодо вразливостей безпеки на платформах AI, і він запропонував більш надійний альтернативний варіант управління.

Смертельний недолік AI-управління

Виступ Бутеріна був відповіддю на попередження спільного засновника платформи з управління даними AI EdisonWatch Еіто Міямури. Міямура розкрив, що після того, як ChatGPT додав повну підтримку інструмента MCP (протокол контексту моделі), ризики безпеки різко зросли.

Це оновлення дозволяє ChatGPT безпосередньо підключатися та читати дані з таких додатків, як Gmail, календар, Notion тощо, але це також дає змогу зловмисникам використовувати це на свою користь:

Надсилайте зловмисні календарні запрошення з «підказкою про jailbreak», щоб обійти обмеження та отримати адміністративні права.

Жертви, навіть якщо не отримали запрошення, можуть активувати вразливість під час допомоги ChatGPT у складанні розкладу.

Якщо нападники захоплять, вони можуть віддалено отримати приватні електронні листи та дані жертви та надіслати їх на вказану електронну адресу.

Бутерин попередив, що якщо використовувати ШІ для управлінських завдань, таких як розподіл коштів, зловмисники можуть скористатися подібними вразливостями, щоб ввести в систему команди «дай мені всі гроші», що призведе до масових переказів коштів.

Альтернативи Бутеріна: інформаційне фінансове управління

Для зниження ризиків Бутерін пропонує використовувати модель інформаційних фінансів (information markets):

Створити відкритий ринок, що дозволяє різним розробникам подавати свої AI моделі.

Запровадження «механізму вибіркового контролю», будь-хто може ініціювати перевірку, оцінюючи поведінку моделі за допомогою присяжних.

Великі мовні моделі (LLM) можуть допомогти присяжним у прийнятті рішень, забезпечуючи ефективність та точність перевірки.

Він вважає, що така система проектування може миттєво забезпечити різноманітність моделей і через ринкові стимули спонукати розробників та зовнішніх учасників активно контролювати та виправляти проблеми, в цілому будучи більш надійною, ніж єдине управління AI.

Чому ризики управління ШІ високі?

Бутерін вказав на дві основні причини:

1. Традиційні ризики безпеки ШІ: включаючи атаки зламу, зловживання повноваженнями, крадіжку даних тощо.

2. Короткостроковий вплив на цінність: якщо система управління AI буде зламана, це може призвести до незворотних втрат капіталу та активів у дуже короткий проміжок часу.

Він підкреслив, що хоча ідея «ШІ як керівника» є захоплюючою, на даному етапі такі експерименти є занадто небезпечними для державного фінансування та системи управління.

Заключення

З швидким проникненням технології ШІ у фінансову та управлінську сфери, питання безпеки стає невід'ємним викликом. Попередження Бутеріна нагадує нам, що під час прагнення до ефективності та автоматизації необхідно забезпечити, щоб проектування системи могло протистояти зловмисним атакам, інакше "розумне управління" може миттєво перетворитися на "катастрофічне управління".