Согласно отчету веб-мастера от 26 июля, исследователи из Стэнфордского университета разработали новый оптимизатор под названием Sophia, который может вдвое сократить время предварительной подготовки языковых моделей. По сравнению с оптимизатором Adam, Sophia может быстрее решить проблему языковой модели. Sophia использует облегченную оценку диагональной матрицы Гессе в качестве предварительного условия для оптимизатора второго порядка. После обновления выполняется поэлементное отсечение путем взятия среднего значения градиента и деления на среднее значение предполагаемого гессиана. Кроме того, Sophia также может адаптироваться к большим изменениям параметров в задачах языкового моделирования.