Certains observateurs annoncent un nombre de paramètres colossal et une sortie imminente pour GPT-4, mais les troupes d’OpenAI restent patientes.
En ce moment, pour ceux qui s’intéressent aux nouvelles technologies, il est quasiment impossible de passer une journée entière sans avoir des nouvelles de ChatGPT. L’incroyable chatbot dopé au machine learning d’OpenAI n’en finit plus d’impressionner. Cet algorithme capable de proposer un avis sur un grand débat très français, d’aider des étudiants à tricher ou même de participer à la lutte contre la maladie d’Alzheimer affiche déjà un potentiel monstrueux, et ce n’est qu’un début.
Comme son nom l’indique, ChatGPT est basé sur GTP. C’est un modèle de génération de texte qui fait déjà office de référence dans ce domaine depuis quelque temps, bien avant l’arrivée du chatbot. Actuellement, ce modèle en est à la version 3 — ou plus précisément, GPT-3.5 depuis décembre dernier.
C’est en partie grâce aux nouveautés comprises dans cette nouvelle mise à jour que le chatbot affiche des performances à ce point bluffantes. Il n’y a qu’à jeter un coup d’œil aux millions d’exemples qui pullulent déjà sur le Web pour comprendre que l’arrivée de la version 3.5 a représenté une évolution majeure dans le monde de la génération de texte. Mais le plus impressionnant, c’est qu’il ne s’agit que d’un avant-goût de ce qui nous attend. Car GPT va encore passer à la vitesse supérieure avec la sortie de GPT-4.
Un nouveau modèle au potentiel encore plus important
À cette occasion, certains observateurs s’attendent à une explosion du nombre de paramètres. Dans le contexte du machine learning, ce terme désigne des variables internes, pas explicitement définies par les développeurs, dont le modèle doit estimer la valeur à partir des données ingurgitées. Sur le papier, plus le nombre de paramètres est élevé, plus le réseau de neurones artificiels pourra être représentatif des données qui ont servi à l’entraîner.
GPT-4 is going to launch soon.
And it will make ChatGPT look like a toy…→ GPT-3 has 175 billion parameters
→ GPT-4 has 100 trillion parametersI think we're gonna see something absolutely mindblowing this time!
And the best part? 👇 pic.twitter.com/FAB5gFjveb
— Simon Høiberg (@SimonHoiberg) January 11, 2023
Très vulgairement, augmenter le nombre de paramètres à disposition revient plus ou moins à augmenter la « puissance » de l’algorithme, c’est-à-dire sa capacité à produire des résultats cohérents dans des cas de plus en plus complexes. C’est quelque chose qui s’est déjà vérifié jusqu’à présent ; sur ce critère en particulier, GPT a déjà fait des bonds de géants. Il est passé d’environ 1,5 milliard de paramètres avec le rudimentaire GPT-1 à 175 milliards de paramètres avec son impressionnant GPT-3.5.
Certains estiment qu’il faut s’attendre à une nouvelle explosion du nombre de paramètres dans la prochaine version. Dans une interview accordée à Wired, le PDG d’un partenaire d’OpenAI suggérait que GPT-4 pourrait atteindre les 100 000 milliards de paramètres. En d’autres termes, un ChatGPT doté de cette nouvelle version devrait proposer des réponses encore plus fines, nuancées et précises que par le passé.
La question centrale du nombre de paramètres
Mais en l’état, il faut encore être prudent par rapport à ces annonces. Sam Altman, PDG et co-fondateur d’OpenAI, a tenu un discours différent. Selon The Decoder, lors d’une conférence baptisée LessWrong, il a insisté sur le fait qu’il s’agissait d’un objectif à long terme, et absolument pas d’un objectif prioritaire de GPT-4
De plus, la firme n’a pas forcément intérêt à se focaliser sur le nombre de paramètres. Pour référence, c’est un peu le même problème qu’on trouve dans le monde du hardware. Augmenter la cadence des cœurs d’un processeur permet d’augmenter la puissance de calcul; mais il est aussi possible de se focaliser sur l’amélioration de l’architecture pour progresser à ce niveau. En d’autres termes, il n’y a pas que la taille qui compte !
Pour rester sur l’exemple du CPU, dans la plupart des cas, augmenter la fréquence et le nombre des cœurs implique aussi de faire exploser la quantité d’énergie nécessaire. Et, par extension, les contraintes thermiques, et le coût de l’opération. Par analogie, ce constat vaut aussi pour les réseaux de neurones, même si cela se traduit d’une façon différente. Si l’on augmente le nombre de paramètres d’un modèle, on s’expose à une hausse énorme de la puissance de calcul nécessaire pour faire tourner le modèle. Avec tout ce que cela implique au niveau opérationnel.
En résumé, mieux vaut donc prendre ces fameux 100 000 milliards de paramètres avec des pincettes. Pour y voir plus clair, il faudra attendre que les sorciers d’OpenAI nous livrent une fiche technique complète et une date de sortie officielle.
Des enjeux énormes et des précautions bienvenues
Cette dernière reste d’ailleurs tout aussi mystérieuse que le nombre de paramètres. On constate un écart flagrant entre l’enthousiasme de certains observateurs et la relative frilosité de Sam Altman. Les premiers suggèrent régulièrement que la sortie de GPT-4 n’est plus très loin. Le PDG, en revanche, refuse systématiquement d’annoncer la moindre deadline précise. De plus, il a répété à plusieurs reprises qu’il n’avait aucun scrupule à faire patienter son public très longtemps afin de proposer un produit abouti (voir cet article de The Decoder).
Certes, il y a de quoi être impatient de découvrir cette nouvelle version. Mais cette prudence méthodique affichée par Altman est une excellente chose. Chacun a pu constater l’impact phénoménal que ChatGPT a pu avoir en quelques semaines à peine. On peut donc s’estimer heureux qu’OpenAI prenne son temps pour installer des garde-fous avant de mettre une version encore bien plus puissante à disposition.
Car en cas de précipitation, son impact sur la société pourrait être considérable, que ce soit en termes de désinformation, de propriété intellectuelle, d’éducation, dans le monde académique…
Avec ChatGPT, OpenAI a bien conscience d’avoir ouvert une véritable boîte de Pandore de première catégorie. On peut donc se satisfaire du fait que Sam Altman ait la tête sur les épaules. Il reste un grand partisan du principe de précaution, et c’est assez rare pour être souligné dans les entreprises financées par Elon Musk. Espérons qu’il mainteindra sa ligne de conduite face au sulfureux milliardaire friand d’innovation tous azimuts. Cela permettra peut-être à OpenAI de continuer cette grande transition générationnelle sans se prendre les pieds dans le tapis.
The Decoder
