DeepSeek năm mới đã phát hành bài báo mới nhất 《mHC：Manifold-Constrained Hyper-Connections》， sáng lập viên Liang Wenfeng cũng tham gia. Đây là một bài viết kỹ thuật về kiến trúc nền tảng sâu sắc, điểm nổi bật chính như sau:

Trước tiên, độ ổn định của huấn luyện mô hình lớn được nâng cao rõ rệt. Trước đây, HC (kết nối residual nâng cấp) có hiệu suất thực sự ấn tượng, nhưng tồn tại một điểm đau — quá trình huấn luyện dễ bị sập, mHC giải quyết vấn đề này bằng cơ chế ràng buộc đa dạng hình học, giúp mô hình duy trì ổn định trong tối ưu hóa cấu trúc sâu hơn.

Thứ hai, đây không chỉ là sự tích tụ hiệu suất đơn thuần, mà là suy nghĩ lại từ cấp độ kiến trúc nền tảng. Bằng cách giới thiệu cấu trúc topo mới của siêu kết nối, đồng thời duy trì hiệu quả tính toán, khả năng tổng quát và độ bền của mô hình đều được nâng cao.

Nói đơn giản, mHC chính là giúp mô hình lớn vừa chạy ổn định, vừa chạy nhanh, vừa chính xác. Điều này có ý nghĩa tham khảo nhất định cho hướng tối ưu hóa mô hình của toàn ngành.