Het nieuwe GPT-3 model van OpenAI heeft de afgelopen maanden veel belangstelling gekregen van onderzoekers en de ICT sector. Wat kan er met GPT-3 gedaan worden, waar komt dit interesse vandaan, is de aandacht terecht, en wat zijn de mogelijke toepassingen voor het MKB?

De “Generative Pretrained Transformer 3” (GPT-3) is een model waarmee door middel van kunstmatige intelligentie er tekst genomen kan worden om daarmee tekst of andere uitvoer te genereren. Simpele voorbeelden zijn om samenvattingen te maken of om teksten te vertalen. Zoals de naam al doet vermoeden is dit de derde versie van het model. Het model werd eind mei openbaar gemaakt via de pre-print paper Language Models are Few-Shot Learners.

Het model is ontworpen en gemaakt door OpenAI, een organisatie opgericht door een groep investeerders waaronder Elon Musk en Sam Altman. Oorspronkelijk was dit een non-profit met het doel om de mensheid te helpen met kunstmatige intelligentie. OpenAI heeft ook een commerciële tak gekregen met Microsoft als partner en investeerder en is daarmee een concurrent van Google’s DeepMind geworden.

Wat is zo bijzonder aan GPT-3?

Dat er plotseling zo veel interesse is in dit nieuwe model heeft een aantal verklaringen, met name de kracht en toegankelijkheid hebben hier een grote rol in gespeeld.

Het nieuwe model is veel krachtiger dan de voorgaande versies. Het aantal parameters is ten opzichte van GPT-2 gestegen van 1,5 naar 175 miljard, met een vergelijkbare toename in tijd om het model te trainen waarvoor er triljarden berekeningen nodig waren. Om dit in context te plaatsen zou een gemiddelde PC daar duizenden jaren voor nodig hebben. De complexiteit betekent dat het model veel algemener kan “redeneren” en daardoor breder ingezet kan worden.

De toegankelijkheid van dit model heeft ook een groot effect gehad. OpenAI heeft GPT-3 beschikbaar gesteld via een webpagina waarin experimenten uitgevoerd kunnen worden, samen met een API (een manier om het model via code aan te roepen). Hierdoor konden gebruikers zelf aan de slag gaan met het model. Veel van deze resultaten zijn gedeeld via blogs en sociale media, wat voor extra aandacht zorgde.

Voorbeelden

OpenAI heeft een aantal voorbeelden op de website onderverdeeld in zeven categorieën. Wij raden geïnteresseerden aan om via de “See it in action” links de video’s te bekijken. Zo zijn er voorbeelden om relevante inhoud de vinden op een pagina, een support/chat functie, een tekst samenvatten en begrijpelijk maken, het vertalen van tekst, en het automatisch aanvullen van data in Excel.

Voor elk van de voorbeelden geldt dat het model niet specifiek voor de getoonde taak getraind is. Het vertalen van tekst klinkt misschien niet bijzonder, tools als Google Translate bestaan al langer, maar dergelijke tools zijn specifiek voor die taak ontwikkeld. Hier is er één model dat alle bovengenoemde taken aankan.

Wie nog meer voorbeelden wil zien kan een kijkje nemen bij GPT-3 Creative Fiction, AI Dungeon of deze verzameling met links naar voorbeelden en experimenten.

Voor degenen die zelf aan de slag willen is het nog steeds mogelijk om in te schrijven op de wachtlijst voor toegang tot de API. Alternatief kan er gebruik gemaakt worden van openbare tools die het oudere GPT-2 model gebruiken, zoals Write With Transformer, waarmee een bestaande tekst aangevuld kan worden met nieuwe zinnen.

Toekomst

Het is de bedoeling van OpenAI om de GPT-3 API tot een betaalde dienst om te zetten, om zo een geldstroom op te bouwen voor de commerciële tak van de organisatie en verder onderzoek te financieren. Kunstmatige intelligentie als een dienst (AIaaS?) past goed in de trend waarin steeds meer technische infrastructuur en functionaliteiten worden uitbesteed en verplaatst naar de cloud. Dit geeft meer bedrijven toegang tot een oplossing die anders door kosten en complexiteit buiten bereik zouden zijn.

Een doorontwikkeling of nieuwe versies van dit model zullen wel nodig zijn. Wie dieper in de voorbeelden zoekt zal snel nonsens antwoorden en aanvullingen vinden. Wie een dergelijke oplossing richting klanten wil gebruiken zal hier goed over na moeten denken, want mensen hebben over het algemeen weinig geduld voor digitale systemen die niet goed werken. Ook zijn er veel taken waar het model nog niet goed mee overweg kan, zoals het vergelijken van betekenissen uit meerdere zinnen of het produceren van langere stukken tekst. Het model kan goed omgaan met een breed scala van taken en presteert duidelijk beter dan de voorgaande versies, maar de revolutie blijft nog iets voor de toekomst.

Desondanks zijn er genoeg oplossingen te bedenken om werk uit handen te nemen voor organisaties waar met grote hoeveelheden tekst werken. Door de kant-en-klare oplossing van OpenAI verwachten wij ook dat er binnenkort diensten op de markt zullen komen die hiervan gebruik maken.