DeepSeek a publié en début d'année le dernier article « mHC : Manifold-Constrained Hyper-Connections », auquel le fondateur Liang Wenfeng a également participé. Il s'agit d'un article technique approfondi sur l'architecture sous-jacente, dont voici une compréhension des points clés :

Tout d'abord, la stabilité de l'entraînement des grands modèles est nettement améliorée. Les HC (connexions résiduelles améliorées) de la version précédente étaient effectivement performants, mais présentaient un point faible — le processus d'entraînement était susceptible de s'effondrer. mHC a résolu ce problème grâce à un mécanisme de contrainte sur la variété, permettant au modèle de maintenir une stabilité d'entraînement lors d'une optimisation de structure plus profonde.

Ensuite, il ne s'agit pas simplement d'accumuler des performances, mais d'une reconsidération de l'architecture fondamentale. En introduisant une nouvelle topologie de super-connexion, cette approche améliore à la fois l'efficacité computationnelle, la capacité de généralisation et la robustesse du modèle.

En résumé, mHC permet à un grand modèle de rester stable, rapide et précis. Cela offre une certaine référence pour la direction de l'optimisation des modèles dans l'industrie.