DeepSeek a principios de año publicó su último artículo titulado «mHC: Manifold-Constrained Hyper-Connections», en el que también participó el fundador Liang Wenfeng. Se trata de un artículo técnico profundo y accesible sobre la arquitectura subyacente, cuyos puntos destacados se pueden entender así:

En primer lugar, la estabilidad del entrenamiento de los modelos grandes mejora notablemente. El HC (conexiones residuales mejoradas) de versiones anteriores tenía un rendimiento realmente impresionante, pero presentaba un problema — el proceso de entrenamiento era propenso a fallar. mHC resuelve este problema mediante un mecanismo de restricción en la variedad, permitiendo que el modelo mantenga la estabilidad durante el entrenamiento en estructuras más profundas.

En segundo lugar, esto no es simplemente una acumulación de rendimiento, sino un replanteamiento desde la capa de infraestructura básica. Al introducir una nueva topología de hiperconexiones, se mejora tanto la eficiencia computacional como la capacidad de generalización y robustez del modelo.

En pocas palabras, mHC permite que los grandes modelos sean estables, rápidos y precisos. Esto tiene cierta referencia para la dirección de la optimización de modelos en toda la industria.