Microsoft krijgt exclusieve licentie op GPT-3-taalmodel van OpenAI

Microsoft heeft een exclusieve licentie verkregen op GPT-3. Het taalmodel van OpenAI wordt in de toekomst geïntegreerd in software en diensten van Microsoft. De partijen werken al langer samen; vorig jaar investeerde Microsoft een miljard dollar in OpenAI.

OpenAI blijft zijn GPT-3-taalmodel en andere ai-modellen aanbieden via zijn api die beschikbaar is via Azure, maar Microsoft krijgt een exclusieve licentie om het taalmodel te gebruiken in zijn producten en diensten. Welke integraties er precies komen, is nog niet bekend. Microsoft zou het taalmodel kunnen integreren in software als Office en Windows, maar GPT-3 kan ook code schrijven, wat het een aanvulling zou kunnen maken voor bijvoorbeeld GitHub en Visual Studio Code.

Microsoft zegt GPT-3 beschikbaar te willen maken voor iedereen. Zowel wetenschappers, ondernemers, hobbyisten als bedrijven zouden er toegang toe moeten hebben. Het taalmodel wordt al getraind op Azure-servers van Microsoft. Dat gebeurt sinds vorig jaar, nadat Microsoft een miljard dollar investeerde in OpenAI.

GPT-3 is een taalmodel dat coherente teksten kan schrijven, door telkens het volgende woord te voorspellen. Er is enige input nodig, zoals een titel en korte intro, vervolgens kan het taalmodel zelf een volledig artikel schrijven, of een discussie tussen verschillende personen nabootsen. Het taalmodel is niet publiek beschikbaar, maar wetenschappers kunnen toegang krijgen. Een Amerikaanse student demonstreerde onlangs met een blog dat de door de AI geschreven teksten door veel mensen als authentiek ervaren worden.

Het taalmodel is de opvolger van GPT-2, dat vorig jaar verscheen. Bij die versie was OpenAI al huiverig voor misbruik en daarom werd het model niet vrijgegeven. GPT-2 maakte gebruik van 1,5 miljard parameters en bij GPT-3 zijn dat er 175 miljard. Het is volgens de makers het meest geavanceerde taalmodel dat bestaat.

In 2015 werd het onderzoeksinstituut OpenAI opgericht door verschillende topmensen uit de techindustrie, met als doel om fundamenteel onderzoek te doen naar kunstmatige intelligentie, zonder de noodzaak van een commercieel doel. Tesla-ceo Elon Musk was een van de oprichters, maar hij verliet de organisatie om zijn eigen bedrijven meer aandacht te geven. Aanvankelijk was OpenAI een non-profitorganisatie, maar vorig jaar is er een bedrijf opgericht, naar eigen zeggen om sneller te kunnen groeien. Daaruit volgde de samenwerking met Microsoft.

Microsoft investeert in OpenAI

Lees meer

IT-banen

Reacties (66)

BramVroy
23 september 2020 11:26

Dit was te verwachten en ik ben hier niet erg sip om: vergelijk het met iets als Google Translate - die API is ook openbaar, tegen betaling, maar de inner workings zijn exclusief voor en door Google.

Het is wat jammer dat er op dit nieuws negatieve reactie kwam, zaken zoals "more like ClosedAI". Het is helemaal niet closed; de API is open en ze doen extra moeite om het breder beschikbaar te maken voor onderzoek, zoals het Microsoft beaamt. Dat de commerciele gebruiksrechten exclusief naar Microsoft gaan is ook niet al te gek; het Google-voorbeeld hierboven geldt ook hier. Interne software, localization tools worden zelden vrijgegeven.

Het is niet zo "closed" als men er nu van maakt (zie mijn comment hieronder; de paper is vrijgegeven waarin alles piekfijn beschreven wordt dus gewoon prima vanuit onderzoeksstandpunt - ik ben zelf een onderzoeker die met dit soort modellen werkt en ze traint). Men roept graag vanalles zonder te begrijpen wat voor onderzoek hier nu eigenlijk gebeurt, enkel en alleen omdat er "Open" in de naam staat. Mensen houden van drama en zetten het zelf in gang. Dat is het foute om op te focussen hier. Focus liever op het onderzoek zelf en de meerwaarde (en gevaren!) die dit model op lange termijn met zich zal meebrengen.

[Reactie gewijzigd door BramVroy op 23 september 2020 13:31]

supersnathan94
@BramVroy • 23 september 2020 11:53

De API is echter het minst interessante onderdeel van dit geheel. Daarmee kun je de leuke toepassingen maken, maar de waarde van het geheel is nu juist de binnenkant van die API en die is nu achter slot en grendel terecht gekomen.

Dat de commerciele gebruiksrechten exclusief naar Microsoft gaan is ook niet al te gek;

Nee dat is logisch want zij betalen er voor. Aan de andere kant had het doel van OpenAI dus ook altijd OpenAI moeten zijn. Daarom wordt dit door de community nu ClosedAI genoemd. Er is namelijk niks meer " open" aan het AI deel.

BramVroy
@supersnathan94 • 23 september 2020 13:07

Niet geheel correct aangezien ze hun onderzoek nog steeds publiceren., wat veel bedrijven niet doen over hun interne systemen. Maar het is inderdaad niet volledig open-source (sowieso onmogelijk vermoed ik gezien de data die ze gebruikt hebben om te trainen), en dat is inderdaad jammer.

Het enige wat dus achter slot en grendel terechtkomt zijn de geleerde gewichten in het model. De architectuur is beschreven in de paper (sectie 2.1) en is zo goed als gelijk aan de architectuur van GPT-2 (maar groter), dus dat ontbreekt ook niet. De gewichten (parameters) van het model en de exacte implementatie wordt niet vrijgegeven. Vanuit onderzoeksstandpunt is dit dus zeker al mooi (je kan verder bouwen op de voorgestelde architectuur en trainingsmethoden beschreven in de paper).

[Reactie gewijzigd door BramVroy op 23 september 2020 13:27]

s2n6
@BramVroy • 23 september 2020 15:14

Vanuit onderzoeksstandpunt is dit dus zeker al mooi (je kan verder bouwen op de voorgestelde architectuur en trainingsmethoden beschreven in de paper).

Juist. Maar het is niet open.

BramVroy
@s2n6 • 23 september 2020 15:28

Er is heel erg veel onderzoek waarvan de data niet vrij beschikbaar is en je de modellen dus niet kan repliceren. Voor mijn eigen projecten is er veel data die ik niet kan vrijgeven vanwege gevoelige informatie of vanwege overeenkomsten die gesloten zijn met datapartners etc. In in een ideale wereld is alles open, maar zo gaat het nu eenmaal niet. Dat hier nu nu op gehamerd wordt enkel en alleen omdat er Open in hun naam staat, is jammer en tijdverlies. Er zijn wel wat grotere misdrijven door bedrijven (werknemersuitbuiting, belastingsontduiking etc.) die veel grotere gevolgen hebben dan deze kleine storm over niets.

s2n6
@BramVroy • 23 september 2020 15:36

Beste Bram, ik ben het vollédig met je eens. Maar het is niet open, dus noem het dan niet zo. Als onderzoeker zou je ook moeten weten dat misleiding (deception) een gevoelig punt is, niet getuigt van goede onderzoekpraktijken en ethisch in vraag kan worden gesteld. Inhoudelijk heb ik geen enkele mening over dit specifieke geval. Jij weet er duidelijk meer over dan ik.

Elefant
@BramVroy • 23 september 2020 18:04

Laten we leugen waarheid noemen, het is maar een woord.
Dat is de nieuwe normaal, of liever de nieuwe moraal waarin alles vals is.

Oorlogen zijn vredesmissies
Plutocratie is democratie
Regeldictatuur is vrijheid
Opzettelijke misleiding heet foutjes
Burgers doden heet bijschade (collateral damage)
Werknemers van hun inkomen beroven heet efficiency
Menselijk bejeging heet overservice
Gesloten heet voortaan open

Dat is ook mijn grote bezwaar tegen het blinde vooruitgangsgeloof. Wat voor managers geldt, geldt ook voor wetenschappers:

Wiens brood men eet, dienst woord men spreekt.
Geld wat dom is, maakt recht wat krom is.

Musk zag de bui al in februari hangen: zie: Elon Musk just criticized the artificial intelligence company he helped found — and said his confidence in the safety of its AI is 'not high'

Musk took to Twitter Monday to criticize OpenAI, arguing that the company "should be more open" and stating that his confidence that it will prioritize safety "is not high." He specifically called out Dario Amodei, a former Google engineer who now leads OpenAI's strategy.
...
His criticisms came in response to an investigation into OpenAI by MIT Technology Review's Karen Hao, which suggests the company is foregoing its vows to be transparent in order to outpace competitors.
...
OpenAI was founded in 2015 with the mission of building artificial intelligence that could rival human intelligence, raising billions from donors including Musk, Peter Thiel, and Microsoft. Early on, it set itself apart from other AI labs by pledging transparency, but Hao's report suggests that the organization gradually receded from this promise, opting instead to hide its research from competitors and the general public.

Ofwel corporaties gaan gestaag door alle macht te monopoliseren en bij zichzelf onder te brengen en staan niet langer toe dat er in het publieke domein onafhankelijke alternatieven worden ontwikkeld.

Eerst heeft Google de Open Source gemeenschap misbruikt, nu is Microsoft er ook heel handig in geworden.

[Reactie gewijzigd door Elefant op 23 september 2020 18:21]

GamingZeUs
@Elefant • 24 september 2020 03:28

Je bent Nederlands soldaat. Gaat op vredesmissie, beetje een random weg beschermen in de woestijn. Komt thuis, was oorlog. Lekker dan.

koelpasta

Kunstmatige intelligentie
Wetenschap

@BramVroy • 23 september 2020 14:35

Men roept graag vanalles zonder te begrijpen wat voor onderzoek hier nu eigenlijk gebeurt, enkel en alleen omdat er "Open" in de naam staat.

Je moet je afvragen waarom ze ervoor gekozen hebben om het woord 'open' in hun naam op te nemen.

Dat is het foute om op te focussen hier. Focus liever op het onderzoek zelf en de meerwaarde (en gevaren!) die dit model op lange termijn met zich zal meebrengen.

Ik focus me liever op de bussinesspraktijk van het exclusief licenseren van dit soort wereldveranderende technologie. Leg nog eens uit wat ze met 'open' bedoelen?

BramVroy
@koelpasta • 23 september 2020 14:36

Het bedrijf bestond aanvankelijk als non-profit maar dat is door de jaren heen veranderd. Zie de laatste zinnen in het artikel.

koelpasta

Kunstmatige intelligentie
Wetenschap

@BramVroy • 23 september 2020 14:46

Ik las het net idd.
Wel heel sneaky dat ze hun naam niet hebben aangepast toen ze commerciele activiteiten begonnen te ontplooien.

edeboeck
@koelpasta • 23 september 2020 15:32

Ik las het net idd.
Wel heel sneaky dat ze hun naam niet hebben aangepast toen ze commerciele activiteiten begonnen te ontplooien.

In mijn ogen is daar niet veel sneaky aan. Het is een feit dat je door commerciële activiteiten meer geld kan binnenhalen... waardoor je niet afhankelijk bent van donateurs. Stel dat ze enkel door Microsoft gesponsord zouden worden met 1 miljard... dan zou je allicht ook al snel zeggen dat ze niet "open" zijn?
Zoals al aangegeven door @BramVroy : hun onderzoek publiceren ze... dat is mijn inziens toch open?
Ik denk dat we, gezien de kracht van hun model, net héél blij moeten zijn dat ze niet zomaar alles open en bloot gooien... dan komen we immers in een situatie waarin je met nauwelijks inspanning een hele wereld van onwaarheden kan genereren... fake news zou er niets tegen zijn, dat wordt zelfs meer dan een fake tsunami.

klakkie.57th
@edeboeck • 23 september 2020 16:16

De vraag is natuurlijk hoe gevaarlijk is het om iets als “AI” onder te brengen bij een commerciële partij ?

Hoe controleer je of hun modellen wel de correct zijn en of de api die jij aanspreekt wel gebaseerd is op het gepubliceerde onderzoek

[Reactie gewijzigd door klakkie.57th op 23 september 2020 16:44]

edeboeck
@klakkie.57th • 23 september 2020 18:22

De vraag is natuurlijk hoe gevaarlijk is het om iets als “AI” onder te brengen bij een commerciële partij ?

Het wordt niet ondergebracht bij Microsoft, ze krijgen een exclusieve licentie.

Hoe controleer je of hun modellen wel de correct zijn en of de api die jij aanspreekt wel gebaseerd is op het gepubliceerde onderzoek

De modellen blijven nog steeds binnen OpenAI. De API werd al aangeboden door MS, daar verandert dus weinig. Verder niet vergeten dat vele van de mensen die bij MS op dit project werken, ook de wetenschappers zijn die ertoe bijdragen en erover publiceren. Samenwerkingen tussen onderzoeksinstellingen en privébedrijven zijn niet nieuw.

klakkie.57th
@edeboeck • 23 september 2020 19:46

Met een miljard dollar koop je invloed !! En als de onderzoekers ook nog eens betaald worden door Microsoft ... ‘t ja dan kun je hun onafhankflijkheid toch echt wel in twijfel trekken.

edeboeck
@klakkie.57th • 23 september 2020 21:12

Met een miljard dollar koop je invloed !! En als de onderzoekers ook nog eens betaald worden door Microsoft ... ‘t ja dan kun je hun onafhankflijkheid toch echt wel in twijfel trekken.

Natuurlijk kan je dat... maar dat miljard gaat wel niet naar alle wetenschappers wereldwijd die anderen hun papers lezen? Of naar de tijdschriften waarin die gepubliceerd worden? Of naar hun peer reviewers? Dat je de onafhankelijkheid van werknemers van MS in twijfel trekt, vind ik niet abnormaal (al hebben veel wetenschappers nog steeds een behoorlijk sterk ethisch gevoel als het aankomt op hun publicaties, noem het een eergevoel)... je gaat wel compleet voorbij dat de meesten géén werknemers zijn van Microsoft.
Ik heb het gevoel dat je hier per se een complot probeert te zien waar er geen is. Het enige dat er verandert t.o.v. het verleden is dat er nu geen andere commerciële partij het taalmodel mag integreren binnen zijn producten en diensten (maar mag wel gebruik maken van de API).

mbb
@edeboeck • 23 september 2020 17:48

Het is een feit dat je door commerciële activiteiten meer geld kan binnenhalen... waardoor je niet afhankelijk bent van donateurs

Maar hoe leggen ze de verandering uit aan de donateurs? Ik neem aan dat die er van uitgingen dat ook de code en/of de bron data gepubliceerd zouden worden. Anders waren ze namelijk aandeelhouder ipv donateur.
Als ze dit onder vase voorwendselen geld hebben opgehaald heet dat fraude.
Het is overigens perfect mogelijk om zowel een commercieel product alsook vrije code aan te beiden, vrijwel alle FOSS projecten doen dit. (Hoeveel mensen hebben een supercomputer om de code te draaien voor een megaproject als dit?)

@BramVroy : hun onderzoek publiceren ze... dat is mijn inziens toch open?

Niet in de definitie van open zoals het in de techwereld wordt gebruikt. "transparant' dekt de lading iets beter . Bovendien bepalen ze zelf wat ze wel of niet publiceren. Bij die definitie zijn patenten ook 'open'.
Tenzij hun onderzoek zelf ook door een AI gebeurd, heeft publicatie ervan niets met de naam te maken. Ook lijkt het me voor data verificatie en peer review lastig zonder toegang tot de bron data.

edeboeck
@mbb • 23 september 2020 18:37

[...]
Maar hoe leggen ze de verandering uit aan de donateurs? Ik neem aan dat die er van uitgingen dat ook de code en/of de bron data gepubliceerd zouden worden. Anders waren ze namelijk aandeelhouder ipv donateur.

Hier ben ik het niet mee eens. Hoeveel mensen zijn er niet die een open source project sponsoren? Verwacht iedereen daar iets voor terug? Helemaal niet.
In het concrete geval van OpenAI zijn ze daar trouwens in hun mission statement heel duidelijk over: het is niet de bedoeling dat de bron data gepubliceerd wordt, wel dat AI ten goede komt van de mensheid. (bron)
Meer specifiek staat er zelfs in hun charter:
We are committed to providing public goods that help society navigate the path to AGI. Today this includes publishing most of our AI research, but we expect that safety and security concerns will reduce our traditional publishing in the future, while increasing the importance of sharing safety, policy, and standards research.

Als ze dit onder vase voorwendselen geld hebben opgehaald heet dat fraude.
Het is overigens perfect mogelijk om zowel een commercieel product alsook vrije code aan te beiden, vrijwel alle FOSS projecten doen dit. (Hoeveel mensen hebben een supercomputer om de code te draaien voor een megaproject als dit?)

Het is geen fraude omdat ze het niet onder valse voorwendselen hebben opgehaald. Ja, er zijn FOSS projecten die hun vrije code aanbieden, hier geldt dat niet. Het argument van de supercomputer gaat natuurlijk niet op, namelijk omdat wel iedereen die supercomputingpower eenvoudig kan huren (en nog goedkoop ook) en dat we in dit geval zeker ook schrik moeten hebben van grote instanties (landen/belangroepen) die wél de middelen van een eigen supercomputer hebben.

Niet in de definitie van open zoals het in de techwereld wordt gebruikt. "transparant' dekt de lading iets beter . Bovendien bepalen ze zelf wat ze wel of niet publiceren. Bij die definitie zijn patenten ook 'open'.
Tenzij hun onderzoek zelf ook door een AI gebeurd, heeft publicatie ervan niets met de naam te maken. Ook lijkt het me voor data verificatie en peer review lastig zonder toegang tot de bron data.

Het is in eerste instantie een wetenschappelijk project. Ik denk dat je best hun charter eens leest, ik kan daar weinig aan toevoegen. Ik veronderstel (aanname, maar lijkt me redelijk) dat hetgeen zij publiceren wel degelijk onderworpen is aan de gebruiken van wetenschappelijk onderzoek.
Voor alle duidelijkheid: op dit punt is er géén verschil met voorheen door het contract met MS... dit was voordien ook al zo.

koelpasta

Kunstmatige intelligentie
Wetenschap

@edeboeck • 23 september 2020 17:14

Ik denk dat we, gezien de kracht van hun model, net héél blij moeten zijn dat ze niet zomaar alles open en bloot gooien... dan komen we immers in een situatie waarin je met nauwelijks inspanning een hele wereld van onwaarheden kan genereren

Maar moeten we dan blij zijn als microsoft, een bedrijf dat groot is geworden met FUD, daar wel gebruik van kan maken en die technologie vooralsnog exclusief mag exploiteren?

edeboeck
@koelpasta • 23 september 2020 18:24

[...]
Maar moeten we dan blij zijn als microsoft, een bedrijf dat groot is geworden met FUD, daar wel gebruik van kan maken en die technologie vooralsnog exclusief mag exploiteren?

Of je daar blij van moet worden, ga ik niet voor jou bepalen

Het is inderdaad zo dat MS indertijd een heel zware FUD-campagne heeft gevoerd... nu, laat ons eerlijk zijn: dat ligt al héél wat jaren achter ons, intussen ook al meerdere CEO's én MS zet zelf al jarenlang in op open source (net dat punt waarop hun FUD-campagne zich toespitste): begonnen met ASP.NET is nu een heleboel van hun sourcecode open source.

edeboeck
@koelpasta • 23 september 2020 18:38

[...]
Tja, daar zie je dan weer dat ze Tripple-E strategieen ontplooien. Embrace, Extend, Extinguish.

Ik zie de embrace en extend... de Extinguish zie ik hier niet (je weet uiteraard zelf ook wel dat je hier een FUD'je doet

)

Crazy Harry
@BramVroy • 23 september 2020 11:47

Op die manier kan je voor alles wel beredeneren dat het op een of andere manier open is.
Een exclusieve licentie is niet wat verstaan wordt onder open, ongeacht hoe de partij die de exclusieve licentie heeft daarmee omgaat.

Ik snap die goedpraterij echt niet.

Cergorach

OpenAI
Kunstmatige intelligentie

@BramVroy • 23 september 2020 15:34

Het is wat jammer dat er op dit nieuws negatieve reactie kwam, zaken zoals "more like ClosedAI". Het is helemaal niet closed; de API is open

Dan hadden ze het OpenAPI moeten noemen en niet OpenAI...

aldieaccounts
@BramVroy • 23 september 2020 15:44

OpenAI pretendeerde altijd een organisatie te zijn die open *research* van AI zou promoten.

Ze zullen hun kleine lettertjes vast voor elkaar hebben en het zal vast allemaal mogen, maar het is iets heel anders dan wat ze altijd hebben beweerd.

Een 'open' api die op elk moment dicht gezet kan worden is niet het toppunt van interessant.

Sandor_Clegane
@BramVroy • 23 september 2020 16:38

Beetje kortzichtig. Ik ben er wel sip om. Weer iets dat alleen maar voor de "haves" is.

GamingZeUs
@BramVroy • 24 september 2020 03:19

Blij dat jij als onderzoeker kunt meelezen over de hoeveelheden neuronen..

Toen ik het las concludeerde ik dat ze voornamelijk vergelijkingen publiceerde in de performance, niet hoe ze kwamen op hun eigen resultaten. "sparse" zegt gewoon net ff weinig. Als peer review: "could not reproduce", basta.

Je kunt niet wijzen naar een advertisement op arxiv en zeggen dat hun onderzoek open is.

BramVroy
@GamingZeUs • 24 september 2020 10:18

Ze verwijzen in hun paper rechtstreeks naar hun vorige werk aangezien GPT-3 praktisch een grote GPT-2 is, met hier en daar wat aanpassingen die ze ook documenteren. Je kan dus best de GPT-2 paper, en hun drie blog post erover, lezen om de architectuur te begrijpen. Het heeft geen zin dat ze hun vorige paper opnieuw uitleggen, daar zijn referenties voor. Daarnaast doen ze inderdaad erg veel zero-shot, few-shot vergelijkingen en dat is niet gek. Dat is ook waar het veld zich nogal op focust tegenwoordig: hoe kunnen we een gigantisch model bouwen dat met weinig of zelfs zonder finetuning goed is in verschillende taken.

Reproducibility is geen argument om een paper weigeren. Als dat zo was moest je 99.9% van de papers in de grote conferenties zoals die binnen ACL en ook NeurIPS, weigeren. Ik geef toe dat het vaak frustrerend is. Zelfs als universiteit kunnen wij puur qua computerkracht niet op tegen spelers als Google die even doodleuk 1024x V100's kunnen gebruiken om een model te trainen. In competitie zijn het dus vaak de bedrijven die met ensemble models winnen. Gelukkig zijn er nu ook workshops die focussen op zaken als "best presterende model in verhouding tot het aantal parameters in het model" etc.

GamingZeUs
@BramVroy • 25 september 2020 14:23

Een science paper verwacht toch de science ervan. Ik lees bij GPT-2 een stuk meer referenties naar methodiek, alleen, er worden zoveel aangehaald dat het me niet duidelijker word welke dan een "GPT-2" is.

Neural networks met 'normalized word vectors' voor 'feature extraction', 'language modelling' en dan komen er resultaten uit, wwz 'dan doen we die ene manier om (...)' en dit is echt een vervelende stijl van papers schrijven... En het gebruik van het https://en.wikipedia.org/...nd%20text%20summarization netwerk.

Kan zijn dat ik even het juiste paper mis inderdaad, maar ik verdenk dat ze hier vooral hun resultaten even wilde delen, niet zozeer de toegepaste technieken. Spijt me bijzonder dat ik gewoon code wil zien, misschien een structuurdiagram, een linear overzicht om het model/verwerking duidelijk te krijgen. Dan kan je ook weer verder onderzoeken waarom dit wel/niet werkt - wiskundige uitwerking van de layers' eigenschappen. Dat soort dingen zijn compleet onmogelijk nu. Sort of, race to the win ipv de stappen begrijpen vibe krijg ik er ook bij.

ACADEMIC SO STRANGE TODAY

BramVroy
@GamingZeUs • 25 september 2020 15:01

Maar de science en de volledige wiskundige forward/backward erachter is al lang geweten en vrijgegeven, het is namelijk GPT-2 maar groter, wat ook weer op GPT-1 is gebaseerd. Daarvan vind je de papers gewoon terug. Ook de code vind je terug, zowel de originele TF code als de PyTorch code (disclaimer: ik ben een core contributor van de HuggingFace transformers library).

Misschien ben je niet mee met het veld, en dan begrijp ik dat het verwarrend is. Maar als je hier de hele dag in zit, is dit volledig standaard.

GamingZeUs
@BramVroy • 25 september 2020 20:41

Jep. Die code had ik ook gevonden. Zat echt ff van 'huh, gewoon pytorch'?

Ik zou gewoon willen weten welke parameters enz (en waarom) ze gebruiken. De magic van het inregelen, waarom deze settings de juiste waren, dat is uiteindelijk wat GPT-3 GPT-3 maakt.

I mean, we translated stuff into vectors, basic modern NN stuff, loadda computing power and outdid anyone else that published at this level. vs "build a network like this, and it performs so". Maw: wat is het onderzoeksresultaat? *iets* doet het beter dan de rest. En dat kan je dan weer verkopen. Ik kan er niet mee aan de haal. Daarom, misschien is er een missing chapter, staat het er lees ik er over heen, of is het werkelijk zo logisch als "deze, ong zoveel, deze ong zoveel, draaien maar" -_-'.

( IK VERWACHT GEWOON WISKUNDE ERGENS OK )

janbaarda
23 september 2020 11:53

Uit de persverklaring bij de oprichting van OpenAI in 2015: Wetenschappers zullen waarschijnlijk onderzoeksvoorstellen kunnen schrijven voor een financiële bijdrage van OpenAI. Zij worden gestimuleerd om hun resultaten, bijvoorbeeld in de vorm van papers, code of databestanden, te delen met anderen. Patenten die afkomstig zijn van werk dat door OpenAI is gefinancierd zullen worden 'gedeeld met de wereld', aldus de oprichters.

Wetenschappers die hier met openbaar geld (+ een financiële bijdrage van openAI) aan hebben bijgedragen zullen zich nu wel bekocht voelen.

Dit stinkt naar oplichting:

met openbaar geld (van u en mij) onderzoek met de belofte van 'gedeeld met de wereld' (= open broncode)
bij succes de resultaten verkwanselen voor exclusief (gesloten) gebruik

[Reactie gewijzigd door janbaarda op 23 september 2020 13:06]

Keypunchie
@janbaarda • 23 september 2020 12:28

Patenten die afkomstig zijn van werk dat door OpenAI is gefinancierd zullen worden 'gedeeld met de wereld', aldus de oprichters

Me dunkt. Dat is de essentie van het patentsysteem. Je krijgt tijdelijke exclusiviteit op een ‘vinding’, omdat je hem publiceert!

@janbaarda Je mist de essentie, denk ik. Een patent-aanvraag *is* het delen van kennis.

[Reactie gewijzigd door Keypunchie op 23 september 2020 13:16]

janbaarda
@Keypunchie • 23 september 2020 13:10

Er wordt niks gezegd over publiceren. Er wordt gesproken over delen met met, wat duidelijk iets anders is.

Ikheetchris
@janbaarda • 23 september 2020 12:00

Kleine verbetering: OpenAI is opgericht in 2015, niet 1915, anders waren ze er wel héél vroeg bij in deze bedrijfstak

Yoshi
@janbaarda • 23 september 2020 16:26

ja zoals eigenlijk heel de farma industrie werkt? :-) en bij uitbreiding heel de industrie.

GrooV
23 september 2020 11:26

Meer uitleg over de exclusiviteit
https://twitter.com/blanc.../1308475389564592128?s=21

GPT-3 is nog steeds te gebruiken via OpenAI, Microsoft heeft een deal om deze diensten ook aan te mogen bieden via azure

Het exclusieve zit er dan in dat Google of Aws dit niet kunnen

[Reactie gewijzigd door GrooV op 23 september 2020 11:28]

Dooxed
@GrooV • 23 september 2020 11:38

Of kleine start-ups

raro007
@GrooV • 23 september 2020 12:36

Of elk ander concurrent van Microsoft..

Basekid
23 september 2020 11:24

Open en exclusief in 1 zin vind ik wat raar...

BramVroy
@Basekid • 23 september 2020 11:33

Het is niet zo raar. De API is nog steeds te gebruiken. de commerciële gebruiksrechten zijn exclusief. Als onderzoeker of gebruiker merk je dus geen verschil.

supersnathan94
@BramVroy • 23 september 2020 11:47

Ja maar dan is dit weer een hele rare zin:

Microsoft zegt GPT-3 beschikbaar te willen maken voor iedereen. Zowel wetenschappers, ondernemers, hobbyisten als bedrijven zouden er toegang toe moeten hebben.

Wat Hebben ze dan nu in exclusiviteit gekocht?

vickypollard
@supersnathan94 • 23 september 2020 12:01

Jouw quote zegt niks over wie moet betalen. Het idee is dus volgens mij dat Microsoft het recht heeft om betaling te eisen bij bepaalde partijen.

StefanJanssen
@supersnathan94 • 23 september 2020 12:03

Dat er alleen via hun gebruik gemaakt kan worden via het systeem. Dus dat alle data ook door MS opgepikt zou kunnen worden.

CAPSLOCK2000

Kunstmatige intelligentie

23 september 2020 12:47

Dat GPT3 model is akelig goed.
Ik snap helemaal dat er grote zorgen zijn over misbruik.
Als je deepfakes al eng vond dan ga je hier helemaal van griezelen.

Als techneut met een AI-achtergrond geniet ik van hoe krachtig het model is.
Zo heeft het model zichzelf leren rekenen door te teksten te lezen met voorbeeldberekeningen.
Als je het model een som als 1234+4567 vraagt dan kan dit model dat correct beantwoorden.
Op zich is het natuurlijk niet indrukwekkend dat een computer kan rekenen, maar dit is een taalmodel dat zelf heeft uitgevolgd wat de betekenis van het "+" symbool is en welke regels je dan moet toepassen om die twee getallen te combineren. Het grappige is overigens dat het niet perfect is. Dit model maakt rekenfoutjes die heel menselijk overkomen, zoals vergeten de '1' te onthouden. Dat laat wel zien dat het model het echt zelf heeft leren rekenen en niet op het in de processor ingebouwde rekenapparaat vertrouwt.

mbb
@CAPSLOCK2000 • 23 september 2020 17:58

In het artikel hebben ze het over

discussie tussen verschillende personen nabootsen.

Wat bedoelen ze daar precies mee? De 'stemmen'(taalgebruik) nabootsen, of de argumenten verzinnen in grammaticaal correcte taal?

Kun je bijvoorbeeld een TV script inladen en dan een onderwerp en situatie opgeven waarover de personages moeten praten? Krijgen ze dan elk hun eigen manier van spreken? Of zelfs passende grapjes en ervaringen uit het script?

Sprekende over deepfakes; er bestaat ook een AI voor TTS stem-nabootsing. Als je deze 3 technieken combineert, kun je dan dialoog-videos op de computer componeren? Misschien zelfs filmscenes met bijv Blender animaties?

[Reactie gewijzigd door mbb op 23 september 2020 18:01]

Reynouts
@mbb • 23 september 2020 21:44

Dit is een voorbeeld van zo een dergelijk dialoog. Wat mij betreft indrukwekkend. Niet alles klopt precies, maar toch vermakelijk stuk.

Op deze manier zie ik veel mogelijkheden voor cocreatie met AI.

mbb
@Reynouts • 24 september 2020 02:30

Mee eens, zeer indrukwekkend.
Niet slechter dan de gemiddelde fanfic, en waarschijnlijk beter dan wat ik zou produceren.
Ik kwam tijdens het snel doorlezen maar één grammaticale fout en één fout in betekenis tegen.

Als dit in Word komt, is dat een grote innovatie.

[Reactie gewijzigd door mbb op 24 september 2020 02:32]

mbb
@Reynouts • 2 oktober 2020 14:18

PS;
eigenlijk dus een soort van AI ghost writer, weer een beroep dat weg geautomatiseerd wordt, maar daardoor wel door de massa gebruikt kan gaan worden.

Avalaxy
23 september 2020 11:23

Exclusieve licentie? Wat houdt dat dan precies in? Klinkt als "anderen mogen het niet gebruiken", maar volgens het artikel is dat niet hun plan.

darthdrinker
@Avalaxy • 23 september 2020 11:31

Microsoft krijgt exclusief toegang tot de broncode, de API blijft open en voor iedereen toegankelijk. Alles draaide al op Azure en Microsoft betaalde dat hiervoor ook al. In de praktijk zal dit betekenen dat Microsoft deze functionaliteit/features bijvoorbeeld native in office kan integreren, waarbij bijvoorbeeld GSuite datzelfde via API calls zou moeten doen.

souplost
@darthdrinker • 23 september 2020 15:43

Dan zou MS die licentie niet ook nodig hebben, gewoon ook API gebruiken.

Relief2009
23 september 2020 12:29

Wellicht handig om te vermelden dat Microsoft toegang krijgt tot de broncode van het GPT taalmodel. Hierdoor kunnen zij de AI veel dieper integreren in hun eigen producten en dit commercieel uitbaten.

De impact voor andere partijen is nauwelijks zichtbaar. Iedereen kan doorgaan met de API gebruiken.

souplost
23 september 2020 15:15

Jammer van die miljarden. Heeft geen toekomst. Exclusieve licenties zijn niet meer van deze tijd. Komt namelijk niet ten goede aan de vooruitgang.

cariolive23
@souplost • 24 september 2020 09:41

Jammer van die miljarden. Heeft geen toekomst. Exclusieve licenties zijn niet meer van deze tijd. Komt namelijk niet ten goede aan de vooruitgang.

Kun je hier ook inhoudelijk op ingaan? Nu is het maar een mening, en dat is niks bijzonders want iedereen heeft wel ergens een mening over.

souplost
@cariolive23 • 24 september 2020 17:32

De vooruitgang is er niet bij gebaad als we zaken exclusief voor ons zelf houden. Zoals Newton zei:
"if I have seen a little further, it is by standing on the shoulders of giants"
Is dus een andere manier van zaken doen. Geen kapitalistische uitbuiting met ingebouwde beperkingen.

edeboeck
23 september 2020 18:41

Omdat ik hier in de reacties toch wel heel veel argwaan lees t.o.v. Microsoft (waarbij ik uitdrukkelijk in het midden wil laten of dat al dan niet terecht is), en daaruit voortvloeiend foutieve conclusies, wil ik toch even benadrukken dat het niet vrijgeven van gedeelten van het onderzoek niets te maken heeft met dat contract met Microsoft.

quote: https://openai.com/charter/
[...]
We are committed to providing public goods that help society navigate the path to AGI. Today this includes publishing most of our AI research, but we expect that safety and security concerns will reduce our traditional publishing in the future, while increasing the importance of sharing safety, policy, and standards research.

GeertJohan
23 september 2020 11:22

So far for "Open" AI?

Mathragh
@GeertJohan • 23 september 2020 11:25

Zie ook de laatste alinea van het artikel:
"Aanvankelijk was OpenAI een non-profitorganisatie, maar vorig jaar is er een bedrijf opgericht, naar eigen zeggen om sneller te kunnen groeien. Daaruit volgde de samenwerking met Microsoft."

"OpenAI" is dus al eventjes geen non-profit meer, en "OpenAI" is dus vanaf toen gereduceerd tot slechts en naam, geen credo.

Edit: zie comment onder deze voor nuance.

[Reactie gewijzigd door Mathragh op 23 september 2020 11:30]

Blokker_1999

Wetenschap

@Mathragh • 23 september 2020 11:29

Open en for profit hoeven geen tegengestelde te zijn. Maar open in je naam hebben staan en dan iets exclusief in licentie gaan geven ... neen. Dat is wat vloekt.

zenlord
@Blokker_1999 • 23 september 2020 11:43

Gedeeltelijk akkoord: de API blijft openlijk toegankelijk.
Hoewel ik het liever anders zou zien, is het gewoon een realiteit dat zulke ambitieuze projecten geld nodig hebben, en dat is gemakkelijker te realiseren als je commerciële belangen toelaat.

supersnathan94
@zenlord • 23 september 2020 11:54

Het "open" deel slaat dan ook vooral op het AI stuk. Die API is niet zo interessant. Dat is een wrapper om de AI applicatie. Laat dat laatste nu dus niet meer Open zijn.

edeboeck
@supersnathan94 • 23 september 2020 15:39

Het "open" deel slaat dan ook vooral op het AI stuk. Die API is niet zo interessant. Dat is een wrapper om de AI applicatie. Laat dat laatste nu dus niet meer Open zijn.

Dat laatste is nooit open geweest... en zoals intussen al enkele keren aangehaald: heel terecht (beetje gemakkelijke vergelijking misschien, maar je geeft niet zomaar iedereen de mogelijkheid om een kernbom te gebruiken).

mbb
@edeboeck • 23 september 2020 18:04

Dat laatste is nooit open geweest...

Waarom is het dan nieuws? Dat zou zijn alsof MS een exclusieve licentie van Apple op Siri zou krijgen; leuk voor de aandeelhouders, maar niet echt technisch voorpagina nieuws.
Terwijl dit meer leeft als Oracle die Sun over nam.
Staat mijns inziens niet duidelijk in het artikel, en de naam OpenAI is dan duidelijk misleidend.

[Reactie gewijzigd door mbb op 23 september 2020 18:06]

1 2 Volgende

Op dit item kan niet meer gereageerd worden.

Microsoft krijgt exclusieve licentie op GPT-3-taalmodel van OpenAI

Lees meer

IT-banen

Reacties (66)

Sorteer op:

Weergave:

Tweakers maakt gebruik van cookies

Toestemming beheren

Functioneel en analytisch

Relevantere advertenties

Ingesloten content van derden