AIが天井にぶつかった：スタートアップはさらなる拡大の方法を探しています

OpenAIの将来のAIモデルは、先行モデルと比較して性能向上が少ないことがThe Informationの情報源によると報じられています。

この出版物によると、Orionは20％の学習を終えた後、GPT-4のレベルに到達しました。これは、GPT-5の性能向上が、GPT-3からGPT-4に比べて少なくなることを示しています。

「Orionは、いくつかの課題を解決する上で以前のモデルよりも優れているわけではない。言語の問題に対処する際には優れた性能を発揮しますが、コーディングに関しては以前のモデルに劣る」と、スタートアップのスタッフが出版物に語った。

通常、ニューラルネットワークの最も顕著な改善は、訓練の初期段階で起こります。その後の期間では進歩が遅れます。したがって、残りの80%の時間では生産性の著しい向上は期待できないとThe Informationの情報筋は述べています。

AIは天井にぶつかった

OpenAIのあまり楽観的でない結果は、教育のための高品質なデータの枯渇という、業界全体を直面するより基本的な問題を示しています。

2026年から2032年の間に、AI企業は公開されたすべてのテキストデータを利用すると、数多くの専門家の調査で明らかにされました。これは人工知能の開発における従来のアプローチにとって重要なポイントとなります。

「私たちの結果は、現在のLLMの開発トレンドは、伝統的なデータのスケーリングのアカウントだけでサポートすることはできないことを示しています」と論文の著者は述べています。

研究では、合成データの生成や閉じた情報の利用など、ニューラルネットワークの改善に対する代替アプローチの開発の必要性が強調されています。

The Information は、現在のLLMの学習戦略が、ウェブサイト、書籍、およびその他の情報源からの一般的なテキストデータに基づいていることに注目し、「開発者はこれらの情報からすべてを引き出した」と述べた。しかし、これは減少の段階にある。

解決策があります

OpenAIおよび他のプレーヤーは、AI開発へのアプローチを根本的に変えています。

「GPTの改善ペースが鈍化する中、業界は訓練中のスケーリングから、初期トレーニング後のモデルの最適化に焦点を移すようです。このアプローチは新しいスケーリングの法則の形成につながる可能性があります。」- The Information が報告しています。

OpenAIは持続的な改善を達成するために、モデルの開発を2つの異なる方向に分けています:

*シリーズOは、推論の可能性に焦点を当てています。これらのモデルは、計算の密度がはるかに高く、複雑な課題を解決するために設計されています。計算要件は著しく高く、運用コストは現行モデルと比較して6倍もかかります。ただし、推論の拡張機能は、分析処理を必要とする特定のアプリケーションにおいて、支出の増加を正当化しています。

• GPTシリーズは並行して開発されており、コミュニケーションの一般的な課題に焦点を当てています。このモデルはより広範な知識ベースを使用しています。

AMАセッションの中で、OpenAIのプロダクトディレクターであるケビン・ヴァイル氏は、将来的に両方の開発を統合する予定であると述べました。

01928374656574839201

データ不足の問題を人工的に作成することで解決しようとするアプローチは、情報の品質にリスクをもたらす可能性があります。これは、英国のさまざまな大学の専門家による研究で述べられています。

彼らの意見では、このような決定は最終的にAIを現実から完全に切り離し、「モデルの崩壊」につながる可能性があります。問題は、ニューラルネットワークが信頼性のないデータを使用して次世代のAIのトレーニングセットを形成することにあります。

OpenAIは問題を解決するために、異なる検証方法を統合して高品質のコンテンツを潜在的に問題のあるコンテンツから分離するためのフィルタリングメカニズムを開発しています。

学習後の最適化は、もう1つの重要なアプローチです。研究者は、情報セットの拡張に頼らずに、初期の調整フェーズ後にニューラルネットワークのパフォーマンスを向上させる方法を開発しています。

以前、報道によれば、OpenAIは12月までにコード名オリオンの次世代AIモデルをリリースする計画があると伝えられていました。しかし、同社のCEOであるサム・オルトマンはこの情報を否定しました。

他社のアプローチ

複数の科学者、研究者、投資家がロイターに語ったところによると、最近発表されたo1というAIモデルの基本的な動作方法は、人工知能分野における「軍拡競争を変える可能性がある」という。

OpenAIは9月に、複雑な論理を実行するために強化学習法で訓練された大規模な言語モデルであるo1を発表しました。このニューラルネットワークは考えることができます-会社は、質問の分析の過程で長い内部思考チェーンを作成する能力を持っています。

AIスタートアップSafe Superintelligence (SSI)とOpenAIの共同創設者であるイリヤ・サツケバーは、大量の未マークデータを使用したトレーニングの結果が「ピークに達した」と述べました。

「2010年代はスケーリングの時代であり、今は再び驚異と発見の時代に戻っています。誰もが新しいものを探しています。」と彼は指摘しています。

スツケヴェルは、彼の新しい会社SSIの詳細を共有することを拒否し、予備的な教育の拡大に対する代替アプローチの存在に言及しました。

Reutersの情報筋によると、大手AI研究所の研究者たちは、2年前にリリースされたOpenAIのGPT-4を凌駕する大規模な言語モデルを作ろうとする試みで遅れに直面し、満足のいく結果を得られていないと指摘しています。

彼らは、所謂の「出力」フェーズ中にニューラルネットワークの進化技術を適用しようと努力しています。たとえば、AIに1つの回答を提供する代わりに、最初にいくつかのバリエーションを生成し、最良のものを選択します。

10月に、OpenAIが独自のAIチップに取り組んでいると報じられました。