人工智能卡住了: 初创公司正在寻找进一步扩展的方法

据The Information援引消息来源报道，OpenAI的未来AI模型在性能方面的增长将比之前的版本要小。

根据该报道，Orion在完成20%的训练后达到了GPT-4的水平。这表明与GPT-3到GPT-4相比，GPT-5的性能提升将会更小。

“Orion在某些任务的解决方案上并不比前身更好。它在处理语言问题方面表现良好，但在编码方面并未超越先前的模型。”创业公司的员工向该出版物透露。

神经网络的最显着改进通常发生在早期阶段。随后的进展放缓。因此，据The Information的消息来源指出，剩下的80%时间可能不会带来显著的性能提升。

人工智能撞上了天花板

OpenAI的不太乐观的结果指出了整个行业面临的更根本问题：高质量数据的耗尽问题

在6月份发布的一项研究中，一些专家声称，AI公司将在2026年至2032年间利用所有公开的文本材料。这将成为传统人工智能发展方法的关键时刻。

“我们的研究结果表明，仅靠传统数据扩展方法无法支撑LLM的当前发展趋势。”研究人员称。

研究强调需要开发改进神经网络的替代方法，例如生成合成数据或使用保密信息

《The Information》注意到，目前使用的LLM学习策略基于公开文本数据，包括网站、书籍和其他来源。然而，这种策略已经达到了递减收益的临界点，因为“开发者已经尽其所能地利用了这种类型的信息”。

解决方法在这里

OpenAI和其他玩家正在彻底改变AI开发的方法

“在GPT改进速度放缓的背景下，行业似乎正在将重点从训练期间的扩展转移到模型初次训练后的优化。这种方法可能导致新的扩展法则的形成”，The Information报道。

为了实现持续改进的状态，OpenAI将模型开发分为两个不同的方向:

*O系列-专注于推理能力。这些模型进行更高强度的计算，并用于解决复杂问题。计算需求较高：与当前模型相比，运行成本增加了6倍。然而，推理的扩展功能使得为需要分析处理的特定应用程序增加开销变得合理。

• GPT系列也在同时发展，面向通用的沟通任务。该模型使用更广泛的知识库。

在AMA会议期间，OpenAI产品总监凯文·维尔(Kevin Whale)指出，未来计划将两项开发工作合并。

使用合成数据是危险的

通过人工创建数据来解决数据不足问题的方法可能会对信息质量造成风险。这是来自英国多个大学的专家的研究所指出的。

据他们认为，这样的决定最终可能会完全将AI与现实分离，并导致"模型崩溃"。问题在于使用神经网络生成下一代人工智能的训练数据集时使用了不可靠的数据。

为解决这个问题，OpenAI正在开发过滤机制，以保持信息的质量，并整合不同的验证方法，将高质量内容与潜在问题内容分开

优化后的学习——另一种流行的方法。研究人员正在开发在初始调整阶段后提高神经网络性能的方法，而不仅仅是扩展信息集。

之前媒体报道了OpenAI计划在12月份推出下一代AI模型，代号为Orion。后来，公司首席执行官Sam Altman否认了这一信息。

其他公司的方法

一些科学家、研究人员和投资者向路透社表示，最近推出的 o1 AI 模型的工作方法可能会在人工智能领域改变军备竞赛。

在九月份，OpenAI推出了一个使用强化学习方法训练的大型语言模型 o1，用于进行复杂推理。这个神经网络可以思考，它能够在分析问题时产生长串的内部思维链条，该公司表示。

Safe Superintelligence (SSI) 和 OpenAI 的联合创始人 Ilya Sutskever 指出，使用大量未标记数据进行训练的结果已经“达到顶峰”01928374656574839201

“2010年代是扩张的时代，现在我们又回到了奇迹和发现的时代。每个人都在寻找新事物”，他指出

Суцкевер拒绝透露他的新公司SSI的工作细节，只是指出了对初步教育规模扩大的另类方法。

据路透社的消息人士指出，来自大型人工智能实验室的研究人员在努力开发一种超越两年前发布的OpenAI GPT-4的大型语言模型时遇到了延迟和不理想的结果。

他们试图在所谓的“输出”阶段中应用改进神经网络的技术。例如，AI首先生成多个答案选项，然后选择最佳答案。

值得提醒的是，媒体在十月份报道了OpenAI正在开发自己的人工智能芯片。