Vers un rétropédalage des modèles d’IA générative

Les entreprises se tournent de plus en plus vers l’IA pour réduire leurs coûts et augmenter leurs profits. Cependant, les entreprises d’intelligence artificielle (IA) générative, qui ont misé sur des modèles toujours plus vastes pour accroître leurs performances, semblent montrer leurs limites. Le cas d’Orion annoncé pour décembre prochain par The Verge, le dernier modèle d’OpenAI, illustre bien cette situation. Bien que présenté comme une avancée majeure, ce modèle, selon le média américain The Information, pourrait ne pas dépasser ses prédécesseurs.
Depuis le lancement de ChatGPT il y a deux ans, les avancées de l’intelligence artificielle (IA) générative ont été fulgurantes. Les leaders du secteur, comme Sam Altman d’OpenAI, promettent l’émergence prochaine d’une « intelligence artificielle générale » (IAG), capable de rivaliser avec l’intelligence humaine dans de nombreux domaines. Pour y parvenir, l’industrie s’appuie sur des lois d’échelle : l’idée que fournir toujours plus de données et de puissance de calcul permet d’améliorer continuellement les modèles. Jusqu’ici, cette stratégie a porté ses fruits, donnant naissance à des outils impressionnants capables de générer textes, images, vidéos, et même de tenir des conversations complexes. Des investissements colossaux, à l’image des 6,6 milliards de dollars levés par OpenAI début octobre, témoignent de cette course à l’innovation. Pourtant, des voix critiques émergent, remettant en question la viabilité de cette approche.

Les signes de plafonnement

Selon plusieurs rapports récents, les nouveaux modèles en développement, notamment chez OpenAI, Google et Anthropic, semblent atteindre des limites. Malgré l’augmentation de la puissance de calcul, les gains en performance sont décevants.

Orion, annoncé pour décembre mais démenti par Sam Altman, patron d’OpenAI, est présenté comme un tout nouveau modèle, distinct de GPT-4 et de ses améliorations comme GPT-4o. Cependant, malgré les espoirs placés en lui, Orion pourrait décevoir. Les chercheurs de l’entreprise estiment que ses performances dans des domaines clés, tels que la génération de code, n’éclipseront pas celles de GPT-4.

« Les lois d’échelle semblent avoir atteint leurs limites », déclare Scott Stevenson, PDG de Spellbook, une société spécialisée dans l’IA juridique. Les « lois d’échelle », principe selon lequel augmenter les données d’entraînement et la puissance de calcul entraîne inévitablement une amélioration des modèles. Des figures de l’industrie, comme Tadao Nagasaki d’OpenAI Japon, ont longtemps soutenu cette idée, mais la réalité semble indiquer des résultats décroissants.

En outre, les entreprises commencent à manquer de données nouvelles et de qualité pour continuer à entraîner leurs modèles. Mais le défi ne se limite pas à l’accumulation de connaissances : il s’agit surtout de permettre aux machines de véritablement « comprendre » les contenus qu’elles produisent, un aspect encore hors de leur portée.

Une évolution nécessaire

Face à ces défis, certains acteurs adoptent de nouvelles stratégies. OpenAI a investi dans des solutions comme les sparse autoencoders, qui identifient les caractéristiques clés dans les réseaux neuronaux pour produire des résultats plus précis avec moins de ressources. OpenAI a aussi introduit un modèle nommé o1, conçu pour résoudre des problèmes complexes en misant sur des capacités de raisonnement renforcées plutôt que sur la simple accumulation de données.

« L’évolution est comparable à la découverte du feu : il ne suffit plus d’ajouter du carburant, il faut apprendre à mieux utiliser la flamme »,

explique Stevenson. Des agents IA capables d’exécuter des tâches en ligne de manière autonome pourraient marquer une avancée significative dans le domaine.

Des techniques visant à optimiser les performances pendant la phase d’inférence, comme celles développées par Google et l’université de Berkeley, se multiplient également.

Les dirigeants du secteur, comme Sam Altman, restent optimistes. Certains, comme Dario Amodei d’Anthropic, prédisent l’arrivée de l’IAG d’ici 2026 ou 2027. Mais pour de nombreux experts, l’industrie doit désormais repenser ses ambitions et ses méthodes. Toutes ces approches demandent une recherche approfondie et une révision des stratégies traditionnelles. Cette réorientation pourrait ralentir la cadence des innovations mais garantir une meilleure efficacité à long terme.

 

Source :  https://lecourrierdesstrateges.fr/2024/11/19/vers-un-retropedalage-des-modeles-ia-generative/