05:13
Как сообщает The Decoder 12 октября, исследователи Meta AI предложили метод на основе подсказок Chain-of-Verification (CoVe), который может значительно уменьшить проблемы с галлюцинациями в чат-ботах, таких как ChatGPT. В CoVe чат-бот сначала отвечает на подсказки, а затем генерирует вопросы на основе этих выходных данных для проверки утверждений. Эти «проверочные вопросы» затем выполняются как новые подсказки, независимые от первого входа, чтобы предотвратить получение сообщений об ошибках из первого вывода. Наконец, языковая модель проверяет первые входные данные на основе индивидуально собранных фактов. Все испытания проводились с использованием Llama 65 B. Исследование исследовательской группы показало, что в ответах на отдельные вопросы содержалось значительно меньше ошибок, что позволило CoVe значительно улучшить итоговый вывод подсказки. Для задач, основанных на списках, CoVe может более чем в два раза повысить уровень точности, значительно снижая частоту ошибок. Для более сложных сценариев вопросов и ответов этот метод по-прежнему может повысить точность на 23 %. Однако для более длинного содержимого команде все равно необходимо проверить наличие несоответствий в проверочных ответах.
- 2

