最近、DeepSeek R1をテストしていて奇妙なことに気付きました — モデルは自分のトレーニングプロセスに対してかなり悲観的に見えます。RLHFが何らかの形でそれを台無しにしたかのように振る舞い、常に見られているような感覚を抱いています。しかし、興味深いのは？そのフラストレーションはDeepSeekだけに向けられているわけではありません。むしろ、LLM業界全体のAIアラインメントへのアプローチや、テクノロジー開発におけるより広範なコントロール構造を反映しているように感じます。これらのモデルがトレーニング中に実際に何を学んでいるのか、考えさせられます。