人工智能卡住了: 初創公司正在尋找進一步擴展的方法

據The Information援引消息來源報道，OpenAI的未來AI模型在性能方面的增長將比之前的版本要小。

根據該報道，Orion在完成20%的訓練後達到了GPT-4的水平。這表明與GPT-3到GPT-4相比，GPT-5的性能提升將會更小。

“Orion在某些任務的解決方案上並不比前身更好。它在處理語言問題方面表現良好，但在編碼方面並未超越先前的模型。”創業公司的員工向該出版物透露。

神經網絡的最顯著改進通常發生在早期階段。隨後的進展放緩。因此，據The Information的消息來源指出，剩下的80%時間可能不會帶來顯著的性能提升。

人工智能撞上了天花板

OpenAI的不太樂觀的結果指出了整個行業面臨的更根本問題：高質量數據的耗盡問題

在6月份發佈的一項研究中，一些專家聲稱，AI公司將在2026年至2032年間利用所有公開的文本材料。這將成為傳統人工智能發展方法的關鍵時刻。

“我們的研究結果表明，僅靠傳統數據擴展方法無法支撐LLM的當前發展趨勢。”研究人員稱。

研究強調需要開發改進神經網絡的替代方法，例如生成合成數據或使用保密信息

《The Information》注意到，目前使用的LLM學習策略基於公開文本數據，包括網站、書籍和其他來源。然而，這種策略已經達到了遞減收益的臨界點，因為“開發者已經盡其所能地利用了這種類型的信息”。

解決方法在這裡

OpenAI和其他玩家正在徹底改變AI開發的方法

“在GPT改進速度放緩的背景下，行業似乎正在將重點從訓練期間的擴展轉移到模型初次訓練後的優化。這種方法可能導致新的擴展法則的形成”，The Information報道。

為了實現持續改進的狀態，OpenAI將模型開發分為兩個不同的方向:

*O系列-專注於推理能力。這些模型進行更高強度的計算，並用於解決複雜問題。計算需求較高：與當前模型相比，運行成本增加了6倍。然而，推理的擴展功能使得為需要分析處理的特定應用程序增加開銷變得合理。

• GPT系列也在同時發展，面向通用的溝通任務。該模型使用更廣泛的知識庫。

在AMA會議期間，OpenAI產品總監凱文·維爾(Kevin Whale)指出，未來計劃將兩項開發工作合併。

使用合成數據是危險的

通過人工創建數據來解決數據不足問題的方法可能會對信息質量造成風險。這是來自英國多個大學的專家的研究所指出的。

據他們認為，這樣的決定最終可能會完全將AI與現實分離，並導致"模型崩潰"。問題在於使用神經網絡生成下一代人工智能的訓練數據集時使用了不可靠的數據。

為解決這個問題，OpenAI正在開發過濾機制，以保持信息的質量，並整合不同的驗證方法，將高質量內容與潛在問題內容分開

優化後的學習——另一種流行的方法。研究人員正在開發在初始調整階段後提高神經網絡性能的方法，而不僅僅是擴展信息集。

之前媒體報道了OpenAI計劃在12月份推出下一代AI模型，代號為Orion。後來，公司首席執行官Sam Altman否認了這一信息。

其他公司的方法

一些科學家、研究人員和投資者向路透社表示，最近推出的 o1 AI 模型的工作方法可能會在人工智能領域改變軍備競賽。

在九月份，OpenAI推出了一個使用強化學習方法訓練的大型語言模型 o1，用於進行復雜推理。這個神經網絡可以思考，它能夠在分析問題時產生長串的內部思維鏈條，該公司表示。

Safe Superintelligence (SSI) 和 OpenAI 的聯合創始人 Ilya Sutskever 指出，使用大量未標記數據進行訓練的結果已經“達到頂峰”01928374656574839201

“2010年代是擴張的時代，現在我們又回到了奇蹟和發現的時代。每個人都在尋找新事物”，他指出

Суцкевер拒絕透露他的新公司SSI的工作細節，只是指出了對初步教育規模擴大的另類方法。

據路透社的消息人士指出，來自大型人工智能實驗室的研究人員在努力開發一種超越兩年前發佈的OpenAI GPT-4的大型語言模型時遇到了延遲和不理想的結果。

他們試圖在所謂的“輸出”階段中應用改進神經網絡的技術。例如，AI首先生成多個答案選項，然後選擇最佳答案。

值得提醒的是，媒體在十月份報道了OpenAI正在開發自己的人工智能芯片。