Минулого вересня OpenAI опублікували статтю

Авторами статті були Adam Tauman Kalai, Edwin Zhang, Ofir Nachum з OpenAI, а також Santosh Vempala з Georgia Tech
Вони розробили математичну схему, ключове відкриття якої — ця нерівність:
Частота помилок при генеруванні ≥ 2 × Частота помилок при оцінці
Припустимо, штучний інтелект має 1% вірогідність помилитися при оцінці "1+1 дорівнює скільки". Тоді при генеруванні відповіді ймовірність помилки становить щонайменше 2%
Чому відбувається посилення? Тому що одна помилка в оцінці породжує декілька помилок при генеруванні. Наприклад, якщо ШІ оцінює 1+1=3, то він одночасно допускає дві помилки: стверджує, що 1+1=3 правильно, і що 1+1=2 неправильно. Одна помилка в оцінці — щонайменше дві помилки при генеруванні
Якщо ви відповісте "не знаю", ви отримаєте 0 балів. Якщо ви вгадуєте, навіть якщо ймовірність правильної відповіді лише 10%, очікуваний результат — 0,1 бала. Раціональний вибір? Вгадати. Отже, ШІ не "навчився брехати". ШІ змушують вгадувати система навчання
Я займаюся автоматизацією з ШІ вже півроку. Усю мою систему контенту — від скроперинга даних до написання текстів і підбору зображень — запускає ШІ
Як ця стаття змінила мої уявлення? Чесно кажучи, основне розуміння не змінилось
Я завжди знав, що ШІ помиляється, мого система розроблена так, щоб на кожному етапі була перевірка людиною. Але одне стало ясніше: галюцинація — це не баг, а фіча
Тому правильний підхід — не чекати, поки ШІ стане ідеальним, а розробити робочий процес, припускаючи, що ШІ обов'язково помилиться, а потім спроєктувати механізми підстраховки.
Мої методи:
1. Для всіх даних, вироблених ШІ, мають бути оригінальні посилання для перехресної перевірки
2. Конкретні числові дані в писаному контенті мають бути перевірені людиною перед публікацією
3. Не давати ШІ "оцінювати", тільки "упорядковувати" — оцінювання — це моя робота