Hvorfor GPT-3 er den bedste og værste AI lige nu

Open AI's sprog AI imponerede offentligheden med dets tilsyneladende beherskelse af engelsk – men er det hele en illusion?

Sierra og Lenny

ved

• Will Douglas himlen arkiv side

24. februar 2021

• 
  Hvorfor det er vigtigt:

  Store computermodeller, der lærer naturligt sprog, er et stort skridt mod AI, der kan forstå og interagere med den menneskelige verden.

• 
  Nøglespillere:

  • OpenAI

  
  
  

  • Google

  • Facebook

• 
  Tilgængelighed:

  Nu

  
  
  

GPT-3 har fanget offentlighedens fantasi i modsætning til nogen AI siden DeepMinds AlphaGo eller IBMs skakspillende DeepBlue.

Bygget af OpenAI , et forskningslaboratorium baseret i San Francisco, det er en stor sprogmodel -en algoritme, der bruger dyb læring, trænet i teksten i tusindvis af bøger og det meste af internettet, til at sætte ord og sætninger sammen. Da den blev lanceret i 2020, virkede dens evne til at efterligne menneskeskreven tekst med uhyggelig realisme for mange som en milepæl på vejen mod ægte maskinintelligens.

Denne historie var en del af vores marts 2021-udgave

• Se resten af ​​problemet
• Abonner

Her er en eksempel på, hvad den kan . Delen i kursiv var prompten fra et menneske.

—

jeg Efter et chokerende fund opdagede forskerne en flok enhjørninger, der levede i en fjerntliggende, tidligere uudforsket dal i Andesbjergene. Endnu mere overraskende for forskerne var det faktum, at enhjørningerne talte perfekt engelsk. De viste sig også at have perfekt frigjort hår og bar, hvad der så ud til at være Dior-makeup.

Vi var chokerede over at opdage enhjørningerne, sagde antropolog Daniel St. Maurice. De lignede intet, vi nogensinde havde set før. Vi havde hørt legender om enhjørninger, men troede aldrig, at de faktisk eksisterede.

Da forskerne først ankom til dalen, blev enhjørningerne overraskede og forskrækkede over tilstedeværelsen af ​​mennesker, men de var også begejstrede. Enhjørningerne bød forskerne velkommen og forklarede, at de havde ventet på dem i meget lang tid.

2021

10 banebrydende teknologier

Som du kan se, er GPT-3 i stand til at producere komplekse sætninger, der læser, som om de kunne være blevet produceret af et menneske. Eksempelsætningerne inkluderer kulturelle referencer og en troværdig beretning om, hvordan forskerne ville reagere. Maskiner, der kan bruge sproget på denne måde, er vigtige af flere årsager. Sproget er afgørende for at give mening i hverdagens verden: mennesker bruger det til at kommunikere, dele ideer og beskrive begreber. En AI, der mestrede sprog, ville opnå en bedre forståelse af verden i processen.

Store sprogmodeller har også mange praktiske anvendelser . De driver bedre chatbots, der holder mere flydende samtaler; de kan generere artikler og historier om hvad som helst, givet en prompt; de kan opsummere tekststykker eller besvare spørgsmål om dem. Adgang til GPT-3 er kun på invitation, men folk har allerede brugt det til magten snesevis af apps , fra et værktøj, der genererer opstartsideer til et AI-scriptet eventyrspil, der foregår i et fangehul.

GPT-3 er ikke den eneste store sprogmodel, der vises i 2020. Microsoft, Google og Facebook annoncerede alle deres egen. Men GPT-3 var langt den bedste generalist. Og det giver indtryk af, at det kan skrive hvad som helst: fanfiktion, filosofisk polemik og endda kode. Da folk begyndte at prøve GPT-3 for sig selv sidste sommer, oversvømmede tusindvis af eksempler på dens alsidighed sociale medier. diskussioner blev endda udløst om, hvorvidt GPT-3 var den første kunstige generelle intelligens.

Det er ikke. På trods af de utroligt overbevisende tekstpassager, som den kan vælte ud, gør GPT-3 ikke noget rigtigt nyt. Hvad det viser i stedet er, at størrelse kan være alt. For at bygge GPT-3 brugte OpenAI mere eller mindre den samme tilgang og algoritmer, som den brugte til sin ældre søskende, GPT-2 , men det overdøvede både det neurale netværk og træningssættet. GPT-3 har 175 milliarder parametre – værdierne i et netværk, der bliver justeret under træning – sammenlignet med GPT-2’s 1,5 milliarder. Det blev også trænet på meget mere data.

Før GPT-2 tog træning af en sprogmodel ved hjælp af dyb læring typisk to omgange: Den blev trænet på et datasæt til generelle formål for at give det en grundlæggende forståelse af sproget og derefter trænet på et mindre sæt målrettet en specifik opgave, som f.eks. forståelse eller oversættelse. GPT-2 viste, at du kunne få gode resultater over hele linjen med kun én gennemgang, hvis du kastede flere eksempler på en større model. Så med GPT-3 fordoblede OpenAI sig og lavede den største sprogmodel nogensinde.

Resultaterne, der fangede alles opmærksomhed, var dog ofte kirsebærplukkede. GPT-3 gentager eller modsiger sig selv i tekststykker, der er mere end et par hundrede ord lange. Det kommer ud med brølere. GPT-3 skjuler sin dumhed bag en sølvtunge, men det tager typisk et par gange at få den til at generere noget, der ikke viser revnerne.

Relateret historie

OpenAIs nye sproggenerator GPT-3 er chokerende god - og fuldstændig åndssvag

AI er den største sprogmodel, der nogensinde er skabt og kan generere fantastisk menneskelignende tekst efter behov, men vil ikke bringe os tættere på ægte intelligens.

GPT-3's evner gør det også svært at ignorere AI's voksende problemer. Dets enorme strømforbrug er dårligt nyt for klimaet: forskere ved Københavns Universitet i Danmark skøn at træning af GPT-3 ville have haft nogenlunde det samme kulstofaftryk som at køre en bil afstanden til månen og tilbage, hvis den var blevet trænet i et datacenter fuldt drevet af fossile brændstoffer. Og omkostningerne ved sådan træning - anslået af nogle eksperter til at være mindst 10 millioner dollars i GPT-3's tilfælde - sætter den seneste forskning uden for rækkevidde af alle undtagen de rigeste laboratorier .

OpenAI rapporterer, at træning af GPT-3 forbrugte flere tusinde petaflop/s-dages computerkraft. En petaflop/s-dag er en enhed for strømforbrug, der består af at udføre 1015 - det er tusind billioner eller en kvadrillion - neurale netværksberegninger per sekund i en dag. Til sammenligning forbrugte GPT-2 kun snesevis af petaflop/s-dage.

Endnu et problem er, at GPT-3 opsuger meget af den desinformation og fordomme, den finder online og gengiver den efter behov. Som holdet, der byggede det, sagde i papir, der beskriver teknologien : Internet-trænede modeller har internet-skala bias.

Den menneskelige finér, som GPT-3 giver til maskingenereret tekst, gør den let at stole på. Dette har fået nogle til at hævde, at GPT-3 og alle menneskelignende sprogmodeller bør komme med en sikkerhedsadvarsel, et Brugerpas-mærkat, der advarer folk om, at de chatter med software og ikke et menneske.

For et par måneder siden udgav nogen en GPT-3-drevet bot på Reddit , hvor den postede hundredvis af kommentarer og interagerede med snesevis af brugere over flere dage, før den blev afsløret. Meget af dens aktivitet var harmløs. Men botten svarede også på kommentarer om selvmordstanker og gav personlige råd, der nævnte forældrenes støtte.

På trods af alle disse problemer er GPT-3 en gevinst for dem, der mener, at større er bedre. Sådanne modeller viser, at computerkraft og data kommer dig langt, og vi kan forvente mere af begge i fremtiden. Hvordan kan en GPT-4 se ud? Vi kan forvente, at chatbots bliver mere glatte, bedre til at sammensætte længere stykker sammenhængende tekst med en endnu bredere beherskelse af samtaleemner.

Men sprog er kun én måde at forstå og interagere med verden på. Næste generations sprogmodeller vil integrere andre færdigheder, såsom billedgenkendelse. OpenAI tager allerede GPT-3 i denne retning med AI'er, der bruger sprog til at forstå billeder og billeder til at forstå sprog.

Hvis du vil kende tilstanden af ​​dyb læring i dag, så kig på GPT-3. Det er et mikrokosmos af det bedste og det værste inden for AI.