211service.com
OpenAIs nye sproggenerator GPT-3 er chokerende god - og fuldstændig åndssvag
Getty
At spille med GPT-3 føles som at se fremtiden, Arram Sabeti, en San Francisco-baseret udvikler og kunstner, tweetede i sidste uge . Det opsummerer stort set responsen på sociale medier i de sidste par dage på OpenAIs seneste sproggenererende AI.
OpenAI først beskrevet GPT-3 i en forskningsartikel offentliggjort i maj. Men i sidste uge begyndte den at dryppe softwaren til udvalgte personer, der anmodede om det adgang til en privat beta . For nu vil OpenAI have eksterne udviklere til at hjælpe det med at udforske, hvad GPT-3 kan gøre, men det planlægger at gøre værktøjet til et kommercielt produkt senere på året, der tilbyder virksomheder et betalt abonnement på AI via skyen.
Arbejder mod fremtiden, hvor hele internettet er et simulacrum af tidligere versioner af internettet https://t.co/2dIjrlKNVG
— Julian Togelius (@togelius) 19. juli 2020
GPT-3 er den mest kraftfulde sprogmodel nogensinde. Dens forgænger, GPT-2, udgivet sidste år , var allerede i stand til at spytte overbevisende strømme af tekst ud i en række forskellige stilarter, når de blev bedt om med en indledende sætning. Men GPT-3 er et stort spring fremad. Modellen har 175 milliarder parametre (de værdier, som et neuralt netværk forsøger at optimere under træning), sammenlignet med GPT-2's allerede enorme 1,5 milliarder. Og med sprogmodeller, størrelse betyder virkelig noget .
Sabeti knyttet til en blogindlæg hvor han viste noveller, sange, pressemeddelelser, tekniske manualer og mere, som han havde brugt AI til at generere. GPT-3 kan også producere pasticher af bestemte forfattere. Mario Klingemann, en kunstner, der arbejder med maskinlæring, delte en novelle kaldet Vigtigheden af at være på Twitter, skrevet i stil med Jerome K. Jerome, som starter: Det er et mærkeligt faktum, at den sidste tilbageværende form for socialt liv i som Londons befolkning stadig er interesseret i, er Twitter. Jeg blev ramt af denne mærkelige kendsgerning, da jeg tog på en af mine periodiske ferier til havet, og fandt hele stedet kvidrende som et stærebur. Klingemann siger, at alt, hvad han gav AI'en, var titlen, forfatterens navn og initialen It. Der er endda en rimelig informativ artikel om GPT-3 skrevet udelukkende af GPT-3 .
Endnu et forsøg på et længere stykke. En imaginær Jerome K. Jerome skriver om Twitter. Alt jeg seedede var titlen, forfatterens navn og det første 'It', resten er gjort af #gpt3
Her er versionen i fuld længde som PDF: https://t.co/d2gpmlZ1T5 pic.twitter.com/1N0lNoC1eZ
— Mario Klingemann (@quasimondo) 18. juli 2020
Andre har fundet ud af, at GPT-3 kan generere enhver form for tekst, inklusive guitartabs eller computerkode. For eksempel, ved at justere GPT-3, så den producerede HTML frem for naturligt sprog, viste webudvikler Sharif Shameem, at han kunne lave det oprette websidelayouts ved at give den prompter som en knap, der ligner en vandmelon eller stor tekst i rødt, der siger VELKOMMEN TIL MIT NYHEDSBREV og en blå knap, der siger Abonner. Selv den legendariske koder John Carmack, der var banebrydende for 3D computergrafik i tidlige videospil som Doom og nu konsulterer CTO hos Oculus VR, var nervøs : Den nylige, næsten tilfældige opdagelse af, at GPT-3 på en måde kan skrive kode, genererer en lille gys.
Det her er åndssvagt.
— Sharif Shameem (@sharifshameem) 13. juli 2020
Med GPT-3 byggede jeg en layout-generator, hvor du bare beskriver ethvert layout, du ønsker, og den genererer JSX-koden for dig.
HVAD pic.twitter.com/w8JkrZO4lk
Alligevel er GPT-3 på trods af sine nye tricks stadig tilbøjelige til at udsende hadefuldt sexistisk og racistisk sprog. Finjustering af modellen hjalp med at begrænse denne form for output i GPT-2.
Jeg mener, måske er jeg bare træt, men jeg vil vente lidt og se, hvilken slags voldsom bias der kommer ud af GPT-3. Åh, skriver den digte? Pæn. Åh, det spyr også skadelig sexisme og racisme ud? Jeg øver mit chokerede ansigt. #gpt3
— Kate Devlin 🎠(@drkatedevlin) 18. juli 2020
Ingen burde blive overrasket over dette. Hvordan forhindrer vi, at dette sker ved et uheld? Har ikke alle svarene endnu, men finjustering af stærke og generaliserbare normative forudsætninger hjalp med GPT-2 https://t.co/V12NM8ZtAH https://t.co/1bn6G6eWjM
— Mark Riedl (False Dragon) (@mark_riedl) 18. juli 2020
Det er heller ikke overraskende, at mange har været hurtige til at begynde at tale om intelligens. Men GPT-3's menneskelignende output og slående alsidighed er resultatet af fremragende konstruktion, ikke ægte smarte. For det første laver AI'en stadig latterlige brølere, der afslører en total mangel på sund fornuft. Men selv dens succeser har en mangel på dybde, og læser mere som klippe-og-klistre job end originale kompositioner.
Dette indlæg er en af de bedste GPT-3-evalueringer, jeg har set. Det er en god blanding af imponerende resultater og pinlige fejlsager fra simple prompter. Det demonstrerer fint, at vi er tættere på at bygge store komprimerede vidensbaser end systemer med ræsonnement. https://t.co/a5Nq006dMD
— Denny Britz (@dennybritz) 17. juli 2020
Dette understøtter min mistanke om, at GPT-3 bruger mange af sine parametre til at huske tekststykker fra internettet, som ikke let generaliseres https://t.co/I7uS4iu2sn
— Mark Riedl (False Dragon) (@mark_riedl) 19. juli 2020
Præcis hvad der foregår inde i GPT-3 er ikke klart. Men det, den ser ud til at være god til, er at syntetisere tekst, den har fundet andre steder på internettet, hvilket gør den til en slags enorm, eklektisk scrapbog skabt af millioner og atter millioner af tekststykker, som den derefter limer sammen på underlige og vidunderlige måder efter behov.
GPT-3 optræder ofte som en klog studerende, der ikke har læst, og forsøger at svine sig igennem en eksamen. Nogle velkendte fakta, nogle halve sandheder og nogle direkte løgne, kædet sammen i det, der først ligner en glat fortælling.
— Julian Togelius (@togelius) 17. juli 2020
Det er ikke for at bagatellisere OpenAI's præstation. Og et værktøj som dette har mange nye anvendelser, både gode (fra at drive bedre chatbots til at hjælpe folk med kode) og dårlige (fra at drive bedre fejlinformationsbots til at hjælpe børn med at snyde deres lektier).
Men når en ny AI-milepæl kommer, bliver den alt for ofte begravet i hype. Selv Sam Altman, der grundlagde OpenAI sammen med Elon Musk, forsøgte at nedtone tingene : GPT-3-hypen er alt for meget. Den er imponerende (tak for de fine komplimenter!), men den har stadig alvorlige svagheder og laver nogle gange meget dumme fejl. AI kommer til at ændre verden, men GPT-3 er bare et meget tidligt glimt. Vi har stadig meget at finde ud af.
Vi har en lav bar, når det kommer til spotting-intelligens . Hvis noget ser smart ud, er det nemt at narre os selv med, at det er det. Det største trick, AI nogensinde har lavet, var at overbevise verden om, at den eksisterer. GPT-3 er et stort spring fremad – men det er stadig et værktøj lavet af mennesker, med alle de fejl og begrænsninger, det indebærer.
Ser så meget på Twitter om GPT-3. Husk...
— Mark Riedl (False Dragon) (@mark_riedl) 18. juli 2020
Turing-testen er ikke for AI at bestå, men for mennesker at fejle.