DeepSeek в начале года опубликовала новую работу «mHC: Manifold-Constrained Hyper-Connections», в которой также принял участие основатель Лян Вэньфэн. Это глубокая и понятная статья о технологиях базовой архитектуры, основные моменты можно понять так:

Во-первых, стабильность обучения больших моделей значительно повысилась. Ранее HC (усовершенствованная версия остаточных связей) действительно показывал впечатляющие результаты, но имел один недостаток — процесс обучения легко срывался. mHC решает эту проблему с помощью механизма ограничения на многообразие, что позволяет модели сохранять стабильность обучения при более глубокой структурной оптимизации.

Во-вторых, это не просто наращивание производительности, а переосмысление с точки зрения базовой архитектуры. Ввод новой топологической структуры гипер-связей позволяет одновременно сохранять вычислительную эффективность и повышать обобщающую способность и устойчивость модели.

Проще говоря, mHC — это способ сделать большие модели одновременно стабильными, быстрыми и точными. Это имеет определенное значение для направления оптимизации моделей в всей индустрии.