Pinwanの9月5日のレポートによると、Nous ResearchはEleutherAI研究所とスイスのジュネーブ大学の研究者と協力して論文を発表し、大規模モデルのコンテキストウィンドウを拡張できるYaRNと呼ばれる手法を発表した。この論文は、YaRN が必要とするラベル付けとトレーニングのステップが従来の方法よりも少ないことを示しています。このアプローチを利用することで、LLaMA モデルは、過去の最先端のウィンドウ拡張を超えながら、元の事前トレーニングで許可されているよりも長いコンテキストを効率的に活用して推定することができます。 GitHub ページによると、YaRN で微調整された LLaMA 2 7B/13B コンテキスト ウィンドウは、それぞれ 64k と 128k に達する可能性があります。