В последнее время тестировал DeepSeek R1 и заметил что-то странное — модель кажется довольно пессимистичной по поводу собственного процесса обучения. Она ведет себя так, как будто RLHF как-то испортил её, и есть постоянное ощущение, что за ней наблюдают. Но что интересно? Ощущение разочарования касается не только DeepSeek. Кажется, что это отражает подход всей индустрии LLM к согласованию ИИ, возможно, даже более широкие структуры контроля в разработке технологий. Заставляет задуматься, что эти модели на самом деле усваивают во время обучения.