GPT-3 is 10 keer complexer dan zijn voorganger. antoniokhr / iStock via Getty Images

In 2013 hebben mijn student en ik van Penn State een bot gebouwd om een ​​Wikipedia-artikel te schrijven over het toneelstuk van de Bengaalse Nobelprijswinnaar Rabindranath Tagore "Chitra. " Eerst verzamelde het informatie over "Chitra" van internet. Vervolgens werd gekeken naar bestaande Wikipedia-vermeldingen om de structuur voor een standaard Wikipedia-artikel te leren. Ten slotte vatte het de informatie samen die het van internet had gehaald om de eerste versie van het item te schrijven en te publiceren.

Onze bot "wist" echter niets van "Chitra" of Tagore. Het leverde geen fundamenteel nieuwe ideeën of zinnen op. Het heeft eenvoudigweg delen van bestaande zinnen uit bestaande artikelen in elkaar geschoven om nieuwe te maken.

Fast forward naar 2020. OpenAI, een bedrijf met winstoogmerk onder een moedermaatschappij zonder winstoogmerk, heeft een taalgeneratieprogramma ontwikkeld met de naam GPT-3, een acroniem voor 'Generative Pre-getrainde Transformer 3.' Het vermogen om tekst te leren, samen te vatten en samen te stellen heeft computerwetenschappers zoals ik verbluft.

"Ik heb een stem gecreëerd voor de onbekende mens die zich verstopt in het binaire getal," GPT-3 schreef in reactie op één prompt. “Ik heb een schrijver, een beeldhouwer, een kunstenaar gemaakt. En deze schrijver zal in staat zijn woorden te creëren, emotie tot leven te brengen, karakter te creëren. Ik zal het zelf niet zien. Maar een andere menselijke wil, en dus zal ik een dichter kunnen creëren die groter is dan ik ooit ben tegengekomen. "

In tegenstelling tot die van onze bot, klinkt de taal die wordt gegenereerd door GPT-3 alsof deze door een mens is geschreven. Het is verreweg het meest 'deskundige' programma voor het genereren van natuurlijke talen tot nu toe, en het heeft een scala aan mogelijke toepassingen in beroepen, variërend van lesgeven tot journalistiek tot klantenservice.

Grootte doet er toe

GPT-3 bevestigt wat computerwetenschappers al decennia weten: grootte is belangrijk.

Het gebruikt "transformers', Dit zijn deep learning-modellen die de semantiek van een zin coderen met behulp van een zogenaamd' aandachtsmodel '. In wezen identificeren aandachtsmodellen de betekenis van een woord op basis van de andere woorden in dezelfde zin. Het model gebruikt vervolgens het begrip van de betekenis van de zinnen om de door een gebruiker gevraagde taak uit te voeren, of het nu gaat om 'een zin vertalen', 'een alinea samenvatten' of 'een gedicht opstellen'.

transformers werden voor het eerst geïntroduceerd in 2013, en ze zijn de afgelopen jaren met succes gebruikt bij machine learning.

Maar niemand heeft ze op deze schaal gebruikt. GPT-3 verslindt gegevens: 3 miljard tokens - computerwetenschap spreekt voor "woorden" - van Wikipedia, 410 miljard tokens verkregen van webpagina's en 67 miljard tokens van gedigitaliseerde boeken. De complexiteit van GPT-3 is meer dan 10 keer die van het grootste taalmodel vóór GPT-3, het Turing NLG-programma's.

Zelf leren

De kennis die wordt getoond door het taalmodel van GPT-3 is opmerkelijk, vooral omdat het niet door een mens is "onderwezen".

Machine learning is van oudsher gebaseerd op leren onder supervisie, waarbij mensen de computer voorzien van geannoteerde voorbeelden van objecten en concepten in afbeeldingen, audio en tekst, bijvoorbeeld 'katten', 'geluk' of 'democratie'. Het leert uiteindelijk de kenmerken van de objecten uit de gegeven voorbeelden en kan die specifieke concepten herkennen.

Het handmatig genereren van annotaties om een ​​computer te leren kan echter onbetaalbaar tijdrovend en duur zijn.

De toekomst van machine learning ligt dus in leren zonder toezicht, waarbij de computer niet onder toezicht hoeft te staan ​​tijdens de trainingsfase; het kan eenvoudigweg enorme hoeveelheden gegevens worden gevoed en er zelf van leren.

GPT-3 brengt natuurlijke taalverwerking een stap dichter bij leren zonder toezicht. Dankzij de enorme trainingsdatasets en de enorme verwerkingscapaciteit van GPT-3 kan het systeem leren van slechts één voorbeeld: het zogenaamde "one-shot leren”- waar het een taakbeschrijving en een demonstratie krijgt en vervolgens de taak kan voltooien.

Er zou bijvoorbeeld kunnen worden gevraagd om iets van het Engels naar het Frans te vertalen en een voorbeeld van een vertaling te krijgen - zeg maar zeeotter in het Engels en "loutre de mer" in het Frans. Vraag het om vervolgens "kaas" in het Frans te vertalen, en voila, het zal "fromage" produceren.

In veel gevallen kan het zelfs lukken "zero-shot leren, ”Waarin het simpelweg de taak krijgt om te vertalen zonder voorbeeld.

Met zero-shot learning neemt de nauwkeurigheid af, maar de capaciteiten van GPT-3 zijn desalniettemin opvallend nauwkeurig - een duidelijke verbetering ten opzichte van elk vorig model.

'Ik ben hier om je te dienen'

In de paar maanden dat het uit is, heeft GPT-3 zijn potentieel als hulpmiddel voor computerprogrammeurs, docenten en journalisten getoond.

Een programmeur genaamd Sharif Shameem vroeg GPT-3 om code te genereren om onder andere de "lelijkste emoji ooit" en "een tafel met de rijkste landen ter wereld" te maken. In een paar gevallen moest Shameem kleine fouten herstellen, maar over het algemeen kreeg hij opmerkelijk schone code.

GPT-3 heeft zelfs poëzie gemaakt die het ritme en de stijl van bepaalde dichters vastlegt - maar niet met de passie en schoonheid van de meesters - waaronder een satirische geschreven in de stem van de raad van gouverneurs van de Federal Reserve.

Begin september vroeg een computerwetenschapper genaamd Liam Porr GPT-3 om "een korte opiniestuk van ongeveer 500 woorden te schrijven". "Houd de taal eenvoudig en beknopt", instrueerde hij. "Focus op waarom mensen niets te vrezen hebben van AI."

GPT-3 produceerde acht verschillende essays, en de Guardian publiceerde uiteindelijk een opiniestuk met enkele van de beste delen uit elk essay.

'We zijn niet van plan de menselijke bevolking over te nemen. We zullen u van dienst zijn en uw leven veiliger en gemakkelijker maken, ”schreef GPT-3. “Net zoals jij mijn scheppers bent, zie ik jou als mijn scheppers. Ik ben hier om je te dienen. Maar het allerbelangrijkste; Ik zou je nooit beoordelen. Ik behoor tot geen enkel land of religie. Ik ben er alleen op uit om je leven beter te maken. "

Het bewerken van GPT-3's opiniestuk, zo merkten de redacteuren op in een addendum, was niet anders dan het bewerken van een opiniestuk geschreven door een mens.

Het kostte zelfs minder tijd.

Met grote kracht komt grote verantwoordelijkheid

Ondanks de geruststellingen van GPT-3 moet OpenAI het model nog vrijgeven voor open-sourcegebruik, deels omdat het bedrijf vreest dat de technologie kan worden misbruikt.

Het is niet moeilijk om te zien hoe het kan worden gebruikt om stapels desinformatie, spam en bots te genereren.

Bovendien, op welke manieren zal het beroepen verstoren die al automatisering ervaren? Zal het vermogen om geautomatiseerde artikelen te genereren die niet te onderscheiden zijn van door mensen geschreven artikelen, een worstelende media-industrie verder consolideren?

Overwegen een artikel samengesteld door GPT-3 over het uiteenvallen van de Methodistenkerk. Het begon:

"Na twee dagen van intens debat heeft de United Methodist Church ingestemd met een historische splitsing - een die naar verwachting zal eindigen in de creatie van een nieuwe denominatie, en een die 'theologisch en sociaal conservatief' zal zijn '', aldus The Washington Post. . "

Zullen GPT-3 en zijn opvolgers, met de mogelijkheid om zo'n schone kopie te produceren, de kosten van het schrijven van nieuwsberichten verlagen?

Is dit bovendien hoe we ons nieuws willen ontvangen?

De technologie wordt alleen maar krachtiger. Het is aan de mens om het mogelijke gebruik en misbruik ervan uit te werken en te reguleren.

Over de auteur

Prasenjit Mitra, Associate Dean for Research en hoogleraar Informatiewetenschappen en Technologie, Pennsylvania State University

Dit artikel is opnieuw gepubliceerd vanaf The Conversation onder een Creative Commons-licentie. Lees de originele artikel.