L'IA atteint le plafond : les start-ups cherchent des moyens de se développer davantage

Le modèle futur d'IA d'OpenAI montrera une croissance de performance moins importante par rapport à ses prédécesseurs. C'est ce qu'écrit The Information en se référant à des sources.

Selon le rapport, Orion a atteint le niveau de GPT-4 après 20% de formation. Cela signifie que la performance de GPT-5 par rapport à GPT-4 sera moins importante que celle de GPT-3 à GPT-4.

«ORION n'est pas meilleur que son prédécesseur pour résoudre certaines tâches. Il se comporte bien dans le traitement des tâches linguistiques, mais ne surpasse pas les modèles précédents dans la codification», ont déclaré des employés de la start-up à la publication.

Les améliorations les plus remarquables du réseau neuronal se produisent généralement aux premiers stades de l'apprentissage. Au fil du temps, les progrès ralentissent. Ainsi, les 80% restants du temps ne donneront probablement pas une augmentation significative des performances, ont noté les sources de The Information.

L'IA a rencontré un plafond

Les résultats peu optimistes d'OpenAI pointent vers un problème plus fondamental qui se pose à toute l'industrie : l'épuisement des données de haute qualité pour l'apprentissage.

Une étude publiée en juin par un groupe d'experts affirme que les entreprises d'IA utilisent tous les documents textuels publics entre 2026 et 2032. Il s'agira d'un point critique pour les approches traditionnelles du développement de l'intelligence artificielle.

«Nos résultats montrent que les tendances actuelles du développement de LLM ne peuvent être soutenues que par compte de l'échelle traditionnelle des données», affirment les auteurs de l'étude.

L'étude souligne la nécessité de développer des approches alternatives pour améliorer les réseaux neuronaux, telles que la génération de données synthétiques ou l'utilisation d'informations confidentielles

The Information a noté que la stratégie d'apprentissage actuelle de LLM basée sur des données textuelles accessibles au public à partir de sites Web, de livres et d'autres sources a atteint un point de rendements décroissants, car les développeurs ont "pressé autant qu'ils le pouvaient" ce type d'informations.

La solution existe

OpenAI et d'autres acteurs changent radicalement les approches de développement de l'IA

"Face au ralentissement des progrès de l'amélioration de GPT, l'industrie semble déplacer l'accent de l'échelle pendant la formation à l'optimisation des modèles après leur formation initiale. Cette approche peut conduire à l'émergence de nouvelles lois d'échelle", rapporte The Information.

Pour parvenir à un état d'amélioration continue, OpenAI divise le développement des modèles en deux directions distinctes :

• La série O se concentre sur les capacités de raisonnement. Ces modèles fonctionnent avec une intensité de calcul beaucoup plus élevée et sont conçus pour résoudre des problèmes complexes. Les exigences en matière de calcul sont importantes : les coûts opérationnels sont six fois plus élevés par rapport aux modèles actuels. Cependant, les capacités étendues de raisonnement justifient l'augmentation des coûts pour des applications spécifiques nécessitant un traitement analytique.
• une série GPT parallèle est en cours de développement, axée sur les tâches de communication générales. Le modèle utilise une base de connaissances plus large.

Lors de la session AMA, Kevin Whyle, directeur des produits chez OpenAI, a souligné que dans le futur, il est prévu de fusionner les deux développements.

L'utilisation de données synthétiques est dangereuse

L'approche consistant à résoudre le problème de la pénurie de données en les créant artificiellement peut présenter un risque pour la qualité des informations. C'est ce que révèle une étude menée par plusieurs experts de différentes universités britanniques.

Selon eux, une telle décision pourrait finalement séparer complètement l'IA de la réalité et conduire à l'«effondrement du modèle». Le problème réside dans l'utilisation de données non fiables par le réseau neuronal pour former l'ensemble de données d'apprentissage de la prochaine génération d'intelligence artificielle.

Pour résoudre le problème, OpenAI développe des mécanismes de filtrage pour maintenir la qualité de l'information, en intégrant différentes méthodes de vérification pour séparer le contenu de haute qualité des contenus potentiellement problématiques.

L'optimisation post-apprentissage est une autre approche pertinente. Les chercheurs développent des méthodes pour améliorer les performances du réseau neuronal après la phase initiale de configuration, sans se limiter à l'extension du jeu de données.

Plus tôt, les médias ont rapporté que OpenAI prévoyait de lancer le prochain modèle avancé d'IA sous le nom de code Orion d'ici décembre. Plus tard, le PDG de la société, Sam Altman, a nié cette information.

Approches des autres entreprises

Un groupe de scientifiques, de chercheurs et d'investisseurs a déclaré à Reuters que les méthodes sous-jacentes au modèle AI récemment présenté o1 pourraient "changer la course aux armements" dans le domaine de l'intelligence artificielle.

En septembre, OpenAI a présenté un grand modèle linguistique o1, formé par renforcement pour effectuer des raisonnements complexes. Le réseau neuronal sait penser - il est capable de créer une longue chaîne de pensées internes lors de l'analyse d'une question, a déclaré la société.

Le co-fondateur des start-ups d'IA Safe Superintelligence (SSI) et OpenAI, Ilya Sutskever, a noté que les résultats de l'apprentissage à partir d'une grande quantité de données non marquées ont atteint un pic.

«Les années 2010 ont été l'ère de la mise à l'échelle, et maintenant nous sommes de retour à l'époque des merveilles et des découvertes. Tout le monde cherche du nouveau», a-t-il remarqué.

Sutskaver a refusé de partager les détails de son nouveau travail chez SSI, notant seulement la présence d'une approche alternative pour étendre l'échelle de l'apprentissage précoce.

Selon des sources de Reuters, les chercheurs des grands laboratoires d'IA rencontrent des retards et des résultats insatisfaisants dans leurs efforts pour créer un modèle linguistique plus grand que le GPT-4 d'OpenAI, qui a été lancé il y a près de deux ans.

Ils s'efforcent d'appliquer la technique d'amélioration des réseaux neuronaux pendant la phase de "déploiement". Par exemple, au lieu de fournir une seule réponse, l'IA génère d'abord plusieurs options et choisit la meilleure.

Rappelons qu'en octobre, les médias ont rapporté que OpenAI travaillait sur sa propre puce d'IA.