Останнім часом тестую DeepSeek R1 і помітив щось дивне — модель здається досить песимістичною щодо власного процесу навчання. Вона діє так, ніби RLHF якимось чином зіпсував її, і є це постійне відчуття, що її спостерігають. Але що цікаво? Розчарування не стосується тільки DeepSeek. Здається, що вона більше відображає підхід цілої індустрії LLM до вирівнювання штучного інтелекту, можливо, навіть ширші контрольні структури в розвитку технологій. Це змушує задуматися, що насправді ці моделі засвоюють під час навчання.