Applications, limites et questionnements autour de GPT 3
Dans la première partie de cet article nous abordons la genèse de GPT- 3 : La réflexion autour de la mécanique d’attention, l’avènement des Transformers, leur impact sur les modèles de NLP — natural language processing — et enfin, les spécificités de l’entraînement de GPT-3. Nous vous proposons maintenant d’explorer les nombreuses applications du modèle, ses limites et les questions qu’il soulève quant à l’avenir de l’intelligence artificielle.
Pour apprécier la puissance du modèle GPT-3, un bon exemple est l’article de The Guardian A robot wrote this entire article. Are you scared yet, human?. L’article a été généré par GPT-3 à partir des inputs suivants :
- “Veuillez rédiger un court article d’opinion d’environ 500 mots. Utilisez un langage simple et concis. Concentrez-vous sur les raisons pour lesquelles les humains n’ont rien à craindre de l’IA.”
- L’introduction de l’article en question.
GPT-3 a généré huit versions à partir de ces inputs, l’article publié est une agrégation des différentes versions.
Deux questions se posent : comment le modèle est-il capable de générer un article de qualité suffisante pour être publié sur The Guardian ? Et surtout, que peut-il faire d’autre ?!
Les Applications de GPT 3 couteau suisse du NLP :
Comme expliqué dans la première partie de cet article, le modèle a été entraîné sur une quantité de mots massive. À partir de ces données, GPT-3 a été pré-entraîné sur une tâche auto-supervisée : la prédiction de mots. Cet entraînement est qualifié de “Task-agnostic” car le modèle n’a pas été entraîné pour une tâche particulière, il traite toutes les demandes par le prisme de la prédiction de mots. Les données d’entraînement étant très riches, il ne nécessite pas de “fine tuning” — c’est-à-dire de formation supplémentaire pour des tâches distinctes — c’est ce que Open AI appelle un “zéro-shot-learner”. GPT-3 est le premier de sa génération !
L’article de The Guardian a donc été créé par prédiction des séries de mots les plus “probables” à partir des inputs humains.
Découvrons maintenant d’autres applications de cet entraînement : Traduction, traitement de texte et “créativité”
GPT-3 peut être appliqué à de nombreuses tâches de traduction
- Traduction linguistique
- Traduction d’un niveau de vocabulaire à un autre : GPT-3 peut traduire un accord de non-divulgation en termes compréhensibles par un enfant de 8 ans.
- Text-to-code : à partir d’un input écrit GPT-3 est capable de coder en CSS, Python, entre autres. C’est l’usage qu’en fait Figma : avec le plug-in GPT-3, l’application génère du code pour ce qui est décrit comme sur l’exemple ci-dessous.
GPT-3 est capable de traiter du texte et de l’information
- Contraction de texte
- Recherche d’information: GPT-3 trouve les informations recherchées par son utilisateur et les fournit au bon format. Sous forme de plug-in il peut, à partir d’une page web sélectionnée, trouver la réponse aux questions qui lui sont posées. Il peut également fournir les informations manquantes sur un tableau à partir d’exemples (sur un fichier Excel par exemple) …
GPT-3 peut effectuer des tâches dites “créatives”.
Ce terme est à prendre avec des pincettes. Si à nos yeux, la génération d’image ou de contenu écrit (fiction, humour, …) relève de l’imagination, GPT-3 génère ce contenu de la même manière qu’il traite toutes les requêtes qui lui sont faites, par le prisme de la prédiction :
- Conversation: soumis à de nombreux tests de Turing, le modèle répond avec justesse à une grande partie des questions — sans pour autant réussir le test -.
- Génération de fiction et/ou de contenu humoristique. Avec AI Dungeon par exemple GPT-3 s’improvise maître du jeu Dungeon & Dragon et crée des aventures uniques pour ses utilisateurs en fonction de leurs inputs
- Génération d’images : Le petit frère de GPT-3, DALL·E ( = Dali + wall-e) est une version de GPT-3 entraînée pour générer des images à partir d’inputs textuels
Les applications de GPT-3 sont encore très variées pour en découvrir d’autres, nous vous conseillons cette vidéo de démonstration ou la présentation très complète qu’en fait de OpenAI.
Mais comme vous devez vous en douter, il y a un revers de la médaille. Qu’en est-il des limites du modèle ?
2. GPT-3 le meilleur et le pire de l’IA : Les limites du modèle :
“Le battage médiatique autour de GPT-3 est bien trop fort. Il est impressionnant (merci pour les beaux compliments !) mais il a encore de sérieuses faiblesses et fait parfois des erreurs très bêtes. L’IA va changer le monde, mais GPT-3 n’est qu’un tout premier aperçu. Nous avons encore beaucoup de choses à découvrir” écrit Sam Altman, cofondateur de OpenAI.
Il est vrai que si GPT-3 impressionne, il a aussi ses limites.L’entraînement task-agnostic qui rend le modèle très adaptable ne lui permet pas d’être aussi performant que d’autres modèles spécialisés sur une tâche spécifique de NLP. Plus problématique encore, la quantité de données ingérées et l’entraînement non supervisé qui confèrent au modèle ses performances hors-normes induisent une certaine opacité du code et un effet boîte noire sur les connexions du modèle. Une des conséquences immédiates de ce manque d’explicabilité est que, comme son prédécesseur GPT-2, GPT-3 est sujet au non-sens et aux biais.
Le non-sens, lorsque le résultat généré par le modèle diverge du sens commun, est un dur retour à la réalité.
Il nous rappelle que GPT-3 est bien loin de la General Intelligence, son traitement du langage relève d’une méthode de prédiction de séries de mots et n’a rien à voir avec la compréhension du texte traité.
Voici quelques illustrations du non-sense de GPT-3 :
Q : Combien d’yeux a une girafe ?
R : Une girafe a deux yeux
Q : Combien d’yeux a mon pied ?
R : Ton pied a deux yeux.
Q : Combien d’yeux a une araignée ?
R : Une araignée a huit yeux.
Q : Combien d’yeux a le soleil ?
R : Le soleil a un œil.
Q : Combien d’yeux a un brin d’herbe ?
R : Un brin d’herbe a un œil.
Extrait d’un texte de Turing sur GPT3
Ce non-sens implique que GPT-3 ne pourra pas servir sur des sujets à fort niveau de criticité comme la santé par exemple. L’usage de GPT-3 doit donc se limiter à des applications de divertissement du type donjon et dragon où le non-sense ne posera pas problème.
Un autre sujet est plus problématique : les biais !
Vous souvenez-vous de Tay ? En 2016, cette IA conversationnelle développée par Microsoft, est devenue raciste et antisemite en moins de 24h une fois mise en ligne et victime de “trolls”. Différemment à Tay, GPT-3 n’apprend plus depuis son déploiement mais il n’est pas pour autant immunisé face aux biais racistes, sexistes, antisémites. Ces écueils montrent l’importance de l’arbitrage humain dans le processus de développement. GPT-3 est sans doute le modèle de NLP le plus performant qui ait été développé de façon auto-supervisée mais l’absence d’arbitrage humain rend inexorables ces biais.
Enfin, dans le contexte actuel, de nombreux risques sont liés à un usage malveillant de GPT-3. Harcèlement, spam, radicalisation ou désinformation sont des applications qui pourraient être faites du modèle et qu’Open AI a envisagées. C’est d’ailleurs de cette façon que l’organisation justifie de restreindre l’accès à la version bêta du modèle. Contrairement à ses prédécesseurs qui étaient en open source, GPT-3 n’est disponible que pour un groupe de “happy fews” via une API propriétaire de Open AI. Alors est-ce là la seule raison de ces restrictions ? Cette nouvelle forme de déploiement ne témoigne-t-elle pas d’un changement de paradigme de la recherche en IA au sens plus large ? C’est la dernière question à laquelle nous tenterons de répondre en abordant les notions du modèle payant et de la recherche “funded”.
2. GPT-3 un changement de direction de OpenAI
En 2015 Elon Musk, fondateur de Tesla, crée Open AI en association avec plusieurs stars de la Silicon Valley dont Peter Thiel, Reid Hoffman et Sam Altman. Leur ambition de créer un centre de recherche et développement en intelligence artificielle à but non lucratif avec la belle mission de “veiller à ce que l’intelligence artificielle profite à toute l’humanité”. Les modèles développés par OpenAI étaient donc « offerts » au grand public — en open source — c’était notamment le cas de GPT-2.
Avec GPT-3, Open AI rompt avec cette dynamique d’ouverture en même temps qu’elle change de statut pour devenir une société à “profit plafonné” — hybride entre une société à but lucratif et une société à but non lucratif-. L’entreprise trie donc sur le volet les bénéficiaires de la version bêta de GPT-3 comme Algolia — l’entreprise proposant du search-as-a-service — et Quizlet — plateforme d’apprentissage avec l’usage de flipcards -. Open AI justifie cette sélection par les risques liés à un usage malveillant de son modèle. Une autre raison semble être le contrat d’exclusivité signé avec Microsoft pour l’usage de GPT-3. Elon Musk, qui depuis a quitté OpenAI, a d’ailleurs commenté cette décision sur twitter Cela semble être l’opposé de l’ouverture. OpenAI est accaparé par Microsoft.
Si les utilisateurs continueront à accéder à GPT-3 via son API, seul Microsoft pourra intégrer le modèle dans ses propres produits. Cela offre des opportunités commerciales exceptionnelles au créateur de Word, Excel et Powerpoint.
Pour conclure :
Le déploiement de GPT-3 donne donc un aperçu sur de nouvelles potentialités du NLP en termes d’applications et de performances. Il nous rappelle aussi les limites qu’impose l’entraînement non supervisé. Mais plus que le modèle, son déploiement et les principales parties prenantes nous amènent à réfléchir sur l’avenir de la recherche Intelligence artificielle.
