211service.com
Den rodede, hemmelighedsfulde virkelighed bag OpenAIs forsøg på at redde verden
Greg Brockman, medstifter og CTO; Ilya Sutskever, medstifter og chefvidenskabsmand; og Dario Amodi, forskningsdirektør. Christie Der Klok
Hvert år stemmer OpenAIs medarbejdere om, hvornår de tror på, at kunstig generel intelligens, eller AGI, endelig vil ankomme. Det ses for det meste som en sjov måde at binde sig på, og deres vurderinger er meget forskellige. Men i et felt, der stadig diskuterer, om menneskelignende autonome systemer overhovedet er mulige, satser halvdelen af laboratoriet på, at det sandsynligvis vil ske inden for 15 år.
I løbet af de fire korte år, det har eksisteret, er OpenAI blevet et af de førende AI-forskningslaboratorier i verden. Det har skabt et navn for sig selv og producerer konsekvent overskriftsgribende forskning sammen med andre AI-sværvægtere som Alphabets DeepMind. Det er også en darling i Silicon Valley, der tæller Elon Musk og den legendariske investor Sam Altman blandt sine grundlæggere.
Frem for alt er det lioniseret for sin mission. Dens mål er at være den første til at skabe AGI - en maskine med indlærings- og ræsonnementet som et menneskeligt sind. Formålet er ikke verdensherredømme; laboratoriet ønsker snarere at sikre, at teknologien udvikles sikkert, og dens fordele fordeles jævnt til verden.
Implikationen er, at AGI nemt kan løbe amok, hvis teknologiens udvikling overlades til at følge den mindste modstands vej. Smal intelligens, den slags klodsede AI, der omgiver os i dag, har allerede tjent som et eksempel. Vi ved nu, at algoritmer er partiske og skrøbelige; de kan begå store overgreb og store bedrag; og omkostningerne ved at udvikle og drive dem har en tendens til at koncentrere deres magt i hænderne på nogle få. Ved ekstrapolering kunne AGI være katastrofal uden omhyggelig vejledning fra en velvillig hyrde.
OpenAI ønsker at være den hyrde, og den har omhyggeligt udformet sit image, så det passer til regningen. I et felt domineret af velhavende virksomheder blev det grundlagt som en nonprofit. Dens første meddelelse sagde, at denne sondring ville give den mulighed for at skabe værdi for alle frem for aktionærer. Dens charter -et dokument så helligt, at medarbejdernes løn er bundet til, hvor godt de overholder det - erklærer endvidere, at OpenAI's primære tillidspligt er over for menneskeheden. At opnå AGI sikkert er så vigtigt, fortsætter det, at hvis en anden organisation var tæt på at nå dertil først, ville OpenAI stoppe med at konkurrere med den og samarbejde i stedet. Denne lokkende fortælling spiller godt sammen med investorer og medier, og i juli tilførte Microsoft laboratoriet en frisk $1 mia.
OpenAIs logo hænger på kontoret. Christie Hemm Klok
Men tre dage på OpenAIs kontor – og næsten tre dusin interviews med tidligere og nuværende medarbejdere, samarbejdspartnere, venner og andre eksperter på området – tyder på et andet billede. Der er en uoverensstemmelse mellem, hvad virksomheden offentligt går ind for, og hvordan den opererer bag lukkede døre. Over tid har det tilladt en hård konkurrenceevne og et stigende pres for stadig mere finansiering for at udhule dets grundlæggende idealer om gennemsigtighed, åbenhed og samarbejde. Mange, der arbejder eller arbejdede for virksomheden, insisterede på anonymitet, fordi de ikke havde tilladelse til at tale eller frygtede gengældelse. Deres beretninger tyder på, at OpenAI, på trods af alle sine ædle ambitioner, er besat af at bevare hemmeligholdelse, beskytte sit image og bevare sine ansattes loyalitet.
Siden sin tidligste opfattelse har AI som et felt stræbt efter at forstå menneskelignende intelligens og derefter genskabe den. I 1950 begyndte Alan Turing, den berømte engelske matematiker og datamatiker, et papir med den nu berømte provokation Kan maskiner tænke? Seks år senere, fanget af den nagende idé, samledes en gruppe videnskabsmænd på Dartmouth College for at formalisere disciplinen.
Det er et af de mest fundamentale spørgsmål i al intellektuel historie, ikke? siger Oren Etzioni, administrerende direktør for Allen Institute for Artificial Intelligence (AI2), et Seattle-baseret nonprofit AI-forskningslaboratorium. Det er ligesom, forstår vi universets oprindelse? Forstår vi materien?
Problemet er, at AGI altid har været vag. Ingen kan rigtigt beskrive, hvordan det kan se ud eller minimum af, hvad det skal gøre. Det er for eksempel ikke indlysende, at der kun er én slags generel intelligens; menneskelig intelligens kunne bare være en delmængde. Der er også forskellige meninger om, hvilket formål AGI kan tjene. I den mere romantiske opfattelse kunne en maskinintelligens uhindret af behovet for søvn eller ineffektiviteten af menneskelig kommunikation hjælpe med at løse komplekse udfordringer som klimaændringer, fattigdom og sult.
Men den rungende konsensus inden for området er, at sådanne avancerede kapaciteter ville tage årtier, endda århundreder – hvis det overhovedet er muligt at udvikle dem. Mange frygter også, at en overivrig forfølgelse af dette mål kan give bagslag. I 1970'erne og igen i slutningen af 80'erne og begyndelsen af 90'erne overlovede og underleverede feltet. I løbet af natten tørrede finansieringen op og efterlod dybe ar hos en hel generation af forskere. Feltet føltes som et dødvande, siger Peter Eckersley, indtil for nylig forskningsdirektør i branchegruppen Partnership on AI, som OpenAI er medlem af.
Et mødelokale på første sal ved navn Infinite Jest. Christie Hemm Klok
På denne baggrund kom OpenAI ind i verden med et sprøjt den 11. december 2015. Det var ikke det første, der åbent erklærede, at det forfulgte AGI; DeepMind havde gjort det fem år tidligere og var blevet opkøbt af Google i 2014. Men OpenAI virkede anderledes. For én ting var mærkatprisen chokerende: satsningen ville starte med $1 milliard fra private investorer, herunder Musk, Altman og PayPal-medstifter Peter Thiel.
Den stjernespækkede investorliste vakte medievanvid, og det samme gjorde den imponerende liste over første ansatte: Greg Brockman, der havde drevet teknologi for betalingsfirmaet Stripe, ville være teknologichef; Ilya Sutskever, der havde studeret under AI-pioneren Geoffrey Hinton, ville være forskningsleder; og syv forskere, nyuddannede fra topuniversiteter eller hentet fra andre virksomheder, ville sammensætte det tekniske kernehold. (Sidste februar, Musk annonceret at han skilte sig af med virksomheden på grund af uenigheder om dens retning. En måned senere, Altman trådte tilbage som præsident for startup accelerator Y Combinator for at blive OpenAIs administrerende direktør.)
Men mere end noget andet fremsatte OpenAIs nonprofit-status en erklæring. Det vil være vigtigt at have en førende forskningsinstitution, som kan prioritere et godt resultat for hele sin egen interesse, meddelelse sagde . Forskere vil blive kraftigt opfordret til at offentliggøre deres arbejde, hvad enten det er som papirer, blogindlæg eller kode, og vores patenter (hvis nogen) vil blive delt med verden. Selvom det aldrig gjorde kritikken eksplicit, var implikationen klar: andre laboratorier, som DeepMind, kunne ikke tjene menneskeheden, fordi de var begrænset af kommercielle interesser. Mens de var lukket, ville OpenAI være det åben .
I et forskningslandskab, der var blevet mere og mere privatiseret og fokuseret på kortsigtede økonomiske gevinster, tilbød OpenAI en ny måde at finansiere fremskridt på de største problemer. Det var et fyrtårn af håb, siger Chip Huyen, en maskinlæringsekspert, som nøje har fulgt laboratoriets rejse.
I krydset mellem 18th og Folsom Streets i San Francisco ligner OpenAIs kontor et mystisk lager. Den historiske bygning har triste grå paneler og tonede vinduer, hvor de fleste skærme er trukket ned. Bogstaverne PIONEER BUILDING – resterne af dens svundne ejer, Pioneer Truck Factory – vikles rundt om hjørnet i falmet rød maling.
Indenfor er rummet lyst og luftigt. 1. salen har et par fællesrum og to konferencelokaler. Den ene, en sund størrelse til større møder, hedder A Space Odyssey; den anden, mere af en glorificeret telefonboks, hedder Infinite Jest. Dette er den plads, jeg er begrænset til under mit besøg. Jeg har forbud mod at besøge anden og tredje sal, som rummer alles skriveborde, flere robotter og stort set alt interessant. Når det er tid til deres interviews, kommer folk ned til mig. En medarbejder træner et vågent øje med mig mellem møderne.
Pionerbygningen. wikimedia commons / tfinc
På den smukke blå himmel dag, hvor jeg ankommer for at møde Brockman, ser han nervøs og bevogtet ud. Vi har aldrig givet nogen så meget adgang før, siger han med et forsigtigt smil. Han bærer afslappet tøj og har, som mange hos OpenAI, en uformelig frisure, der ser ud til at afspejle en effektiv mentalitet uden dikkedarer.
Brockman, 31, voksede op på en hobbygård i North Dakota og havde, hvad han beskriver som en fokuseret, stille barndom. Han malkede køer, samlede æg og forelskede sig i matematik, mens han studerede på egen hånd. I 2008 begyndte han på Harvard med det formål at tage dobbelt-major i matematik og datalogi, men han blev hurtigt rastløs over at komme ind i den virkelige verden. Han droppede ud et år senere, kom ind på MIT i stedet for, og droppede derefter ud igen inden for få måneder. Anden gang var hans beslutning endelig. Da han først flyttede til San Francisco, så han sig aldrig tilbage.
Brockman tager mig med til frokost for at fjerne mig fra kontoret under et møde for hele virksomheden. I caféen på den anden side af gaden taler han om OpenAI med intensitet, oprigtighed og undren, og trækker ofte paralleller mellem dets mission og skelsættende resultater i videnskabshistorien. Det er let at værdsætte hans karisma som leder. Han fortæller mindeværdige passager fra de bøger, han har læst, og sætter fokus på dalens yndlingsfortælling, Amerikas kapløb til månen. (En historie, jeg virkelig elsker, er historien om pedellen, siger han og refererer til en berømt, men sandsynligvis apokryfisk fortælling. Kennedy går hen til ham og spørger ham: 'Hvad laver du?' og han siger: 'Åh, jeg er hjælper med at sætte en mand på månen!') Der er også den transkontinentale jernbane (Det var faktisk det sidste megaprojekt, der blev udført helt i hånden … et projekt af enorm skala, der var totalt risikabelt) og Thomas Edisons glødepære (En komité af fremtrædende eksperter sagde ' Det kommer aldrig til at fungere,' og et år senere sendte han).
Greg Brockman, medstifter og CTO. Christie Hemm ur
Brockman er klar over den satsning, OpenAI har påtaget sig - og klar over, at den fremkalder kynisme og granskning. Men med hver reference er hans budskab klart: Folk kan være skeptiske, alt hvad de vil. Det er prisen for at turde meget.
De, der sluttede sig til OpenAI i de tidlige dage, husker energien, spændingen og følelsen af formål. Teamet var lille – dannet gennem et tæt net af forbindelser – og ledelsen forblev løs og uformel. Alle troede på en flad struktur, hvor ideer og debat ville være velkomne fra enhver.
Musk spillede ikke ringe rolle i opbygningen af en kollektiv mytologi. Den måde, han præsenterede det på for mig, var 'Se, jeg forstår det. AGI er måske langt væk, men hvad nu hvis det ikke er det?’ husker Pieter Abbeel, en professor ved UC Berkeley, som arbejdede der sammen med flere af sine studerende i de første to år. »Hvad hvis det endda bare er en 1% eller 0,1% chance for, at det sker inden for de næste fem til 10 år? Skal vi ikke tænke os meget grundigt om?’ Det gav genklang hos mig, siger han.
Men uformaliteten førte også til en vis vag retning. I maj 2016 modtog Altman og Brockman besøg af Dario Amodei, dengang en Google-forsker, som fortalte dem, at ingen forstod, hvad de lavede. På en konto offentliggjort i New Yorkeren , det var heller ikke klart, at holdet selv vidste det. Vores mål lige nu ... er at gøre det bedste, der er at gøre, sagde Brockman. Det er lidt vagt.
Ikke desto mindre sluttede Amodi sig til holdet et par måneder senere. Hans søster, Daniela Amodi, havde tidligere arbejdet med Brockman, og han kendte allerede mange af OpenAIs medlemmer. Efter to år, på Brockmans anmodning, kom Daniela også med. Forestil dig – vi startede med ingenting, siger Brockman. Vi havde netop dette ideal om, at vi ønskede, at AGI skulle gå godt.
Gennem hele vores frokost reciterer Brockman charteret som skriften, en forklaring på alle aspekter af virksomhedens eksistens.
I marts 2017, 15 måneder efter, indså ledelsen, at det var tid til mere fokus. Så Brockman og et par andre kernemedlemmer begyndte at udarbejde et internt dokument for at udstikke en vej til AGI. Men processen afslørede hurtigt en fatal fejl. Da holdet studerede tendenser inden for feltet, indså de, at det var økonomisk uholdbart at forblive en nonprofitorganisation. De beregningsressourcer, som andre i feltet brugte til at opnå banebrydende resultater, blev fordoblet hver 3,4 måned . Det blev klart, at for at forblive relevante, siger Brockman, ville de have brug for nok kapital til at matche eller overgå denne eksponentielle stigning. Det krævede en ny organisationsmodel, der hurtigt kunne samle penge – samtidig med at man på en eller anden måde forblev tro mod missionen.
Uvidende for offentligheden - og de fleste ansatte - var det med dette i tankerne, at OpenAI udgav dets charter i april 2018. Dokumentet genartikulerede laboratoriets kerneværdier, men skiftede subtilt sproget for at afspejle den nye virkelighed. Udover sin forpligtelse til at undgå at muliggøre brug af AI eller AGI, der skader menneskeheden eller unødigt koncentrerer magten, understregede den også behovet for ressourcer. Vi forventer, at vi skal samle betydelige ressourcer for at opfylde vores mission, sagde den, men vi vil altid omhyggeligt handle for at minimere interessekonflikter blandt vores medarbejdere og interessenter, som kan kompromittere brede fordele.
Vi brugte lang tid internt på at iterere med medarbejderne for at få hele virksomheden købt ind i et sæt principper, siger Brockman. Ting, der skulle forblive invariable, selvom vi ændrede vores struktur.
Fra venstre mod højre: Daniela Amodei, Jack Clark, Dario Amodei, Jeff Wu (teknisk medarbejder), Greg Brockman, Alec Radford (teknisk sprogteamleder), Christine Payne (teknisk medarbejder), Ilya Sutskever og Chris Berner (leder). af infrastruktur). Christie Hemm Klok
Denne strukturændring skete i marts 2019. OpenAI forkastede sin rene nonprofit-status ved at oprette en overskudsarm – en for-profit med en 100-dobbelt grænse for investorernes afkast, omend overvåget af en bestyrelse, der er en del af en nonprofit-enhed. Kort efter annoncerede den Microsofts milliardinvestering (selvom den ikke afslørede, at denne var delt mellem kontanter og kreditter til Azure, Microsofts cloud computing-platform).
Forudsigeligt udløste flytningen en bølge af beskyldninger om, at OpenAI gik tilbage på sin mission. I et indlæg på Hacker nyheder kort efter meddelelsen spurgte en bruger, hvordan en 100-dobbelt grænse overhovedet ville være begrænsende: Tidlige investorer i Google har modtaget et omkring 20x afkast af deres kapital, skrev de. Din indsats er, at du vil have en virksomhedsstruktur, der returnerer størrelsesordener mere end Google ... men du ønsker ikke at 'koncentrere magten unødigt'? Hvordan vil dette fungere? Hvad er magt egentlig, hvis ikke koncentrationen af ressourcer?
Flytningen raslede også mange ansatte, som udtrykte lignende bekymringer. For at dæmpe intern uro skrev ledelsen en FAQ som en del af en række meget beskyttede overgangsdokumenter. Kan jeg stole på OpenAI? et spørgsmål stillet. Ja, begyndte svaret, efterfulgt af et afsnit med forklaring.
Charteret er rygraden i OpenAI. Det fungerer som springbræt for alle laboratoriets strategier og handlinger. Gennem hele vores frokost reciterer Brockman det som hellig skrift, en forklaring på alle aspekter af virksomhedens eksistens. (Forresten, han præciserer halvvejs gennem en recitation, jeg tror, jeg kender alle disse linjer, fordi jeg brugte meget tid på at undersøge dem for at få dem helt rigtige. Det er ikke sådan, at jeg læste dette før mødet.)
Hvordan vil du sikre, at mennesker fortsætter med at leve meningsfulde liv, mens du udvikler mere avancerede evner? Som vi skrev, mener vi, at dens virkning bør være at give alle økonomisk frihed, at lade dem finde nye muligheder, som ikke er tænkelige i dag. Hvordan vil du strukturere dig selv for at fordele AGI jævnt? Jeg tror, at et hjælpeprogram er den bedste analogi til den vision, vi har. Men igen, det hele er underlagt charteret. Hvordan konkurrerer du om at nå AGI først uden at gå på kompromis med sikkerheden? Jeg tror, der er absolut denne vigtige balancegang, og vores bedste bud på det er, hvad der står i charteret.
9. APRIL 2018 5 MINUTES LÆSNING OpenAI
For Brockman er stiv overholdelse af dokumentet det, der får OpenAI's struktur til at fungere. Intern tilpasning behandles som altafgørende: alle fuldtidsansatte skal arbejde fra det samme kontor, med få undtagelser. For det politiske team, især Jack Clark, direktøren, betyder dette et liv delt mellem San Francisco og Washington, DC. Clark har ikke noget imod det - faktisk er han enig i mentaliteten. Det er de mellemliggende øjeblikke, som frokosttid med kolleger, siger han, der er med til at holde alle på samme side.
På mange måder virker denne tilgang klart: Virksomheden har en imponerende ensartet kultur. Medarbejderne arbejder mange timer og taler uophørligt om deres job gennem måltider og sociale timer; mange går til de samme fester og tilslutter sig den rationelle filosofi om effektiv altruisme . De laver jokes ved at bruge maskinlæringsterminologi til at beskrive deres liv: Hvad er dit liv en funktion af? Hvad optimerer du til? Alt er grundlæggende en minmax funktion. For at være retfærdig elsker andre AI-forskere også at gøre dette, men folk, der kender OpenAI, er enige: mere end andre på området behandler dets medarbejdere AI-forskning ikke som et job, men som en identitet. (I november, Brockman gift hans kæreste gennem et år, Anna, på kontoret på baggrund af blomster arrangeret i et OpenAI-logo. Sutskever fungerede som officiant; en robothånd var ringbæreren.)
Men på et tidspunkt i midten af sidste år blev charteret mere end blot frokostsamtalefoder. Kort efter skiftet til en begrænset profit, indførte ledelsen en ny lønstruktur, delvist baseret på hver enkelt medarbejders absorption af missionen. Ved siden af kolonner som ingeniørekspertise og forskningsretning i en regnearksfane med titlen Unified Technical Ladder, skitserer den sidste kolonne de kulturrelaterede forventninger for hvert niveau. Niveau 3: Du forstår og internaliserer OpenAI-charteret. Niveau 5: Du sikrer, at alle projekter, du og dine holdkammerater arbejder på, er i overensstemmelse med charteret. Niveau 7: Du er ansvarlig for at opretholde og forbedre charteret og holde andre i organisationen ansvarlige for at gøre det samme.
Første gang de fleste mennesker nogensinde hørte om OpenAI var den 14. februar 2019. Den dag var laboratoriet annonceret imponerende ny forskning: en model, der kunne generere overbevisende essays og artikler ved et tryk på en knap. Giv den en sætning fra Ringenes Herre eller starten på en (falsk) nyhed om Miley Cyrus butikstyveri, og den ville spytte afsnit efter afsnit af tekst ud i samme ånd.
Men der var også en hage: modellen, kaldet GPT-2, var for farlig til at frigives, sagde forskerne. Hvis en så kraftfuld teknologi faldt i de forkerte hænder, kunne den let blive våben til at producere desinformation i enormt omfang.
Tilbageslaget blandt videnskabsmænd var øjeblikkeligt. OpenAI lavede et reklamestunt, sagde nogle. GPT-2 var ikke nær avanceret nok til at være en trussel. Og hvis det var, hvorfor så annoncere dets eksistens og så udelukke offentlig kontrol? Det virkede som om OpenAI forsøgte at udnytte panikken omkring AI, siger Britt Paris, en assisterende professor ved Rutgers University, der studerer AI-genereret desinformation.
Jack Clark, politikdirektør. Christie Hemm ur
I maj havde OpenAI revideret sin holdning og annonceret planer om en etapevis udgivelse. I løbet af de følgende måneder driblede den successivt flere og mere kraftfulde versioner af GPT-2 ud. I mellemtiden har den også engageret sig med flere forskningsorganisationer for at undersøge algoritmens potentiale for misbrug og udvikle modforanstaltninger. Endelig udgav den den fulde kode i november, efter at have fundet, den sagde , ingen stærke beviser for misbrug indtil videre.
Midt i fortsatte beskyldninger om reklamesøgning insisterede OpenAI på, at GPT-2 ikke havde været et stunt. Det var snarere et nøje gennemtænkt eksperiment, der blev aftalt efter en række interne diskussioner og debatter. Konsensus var, at selv hvis det havde været en smule overdrevent denne gang, ville handlingen danne præcedens for håndtering af mere farlig forskning. Desuden havde charteret forudsagt, at sikkerheds- og sikkerhedshensyn gradvist ville tvinge laboratoriet til at reducere vores traditionelle udgivelse i fremtiden.
Dette var også det argument, som politikteamet omhyggeligt lagde ud i sin seks måneders opfølgende blogindlæg , som de diskuterede, da jeg sad til et møde. Jeg tror, at det bestemt er en del af succeshistoriens ramme, sagde Miles Brundage, en politikforsker, der fremhævede noget i et Google-dokument. Føringen af dette afsnit bør være: Vi gjorde en ambitiøs ting, nu kopierer nogle mennesker det, og her er nogle grunde til, hvorfor det var gavnligt.
Men OpenAI's mediekampagne med GPT-2 fulgte også et veletableret mønster, der har gjort det bredere AI-samfund skeptisk. Gennem årene er laboratoriets store, sprudlende forskningsmeddelelser gentagne gange blevet beskyldt for at sætte skub i AI-hype-cyklussen. Mere end én gang har kritikere også anklaget laboratoriet for at tale op om dets resultater til et punkt med fejlkarakterisering. Af disse grunde har mange i feltet haft en tendens til at holde OpenAI på en armslængde.
Forsidebilleder af OpenAIs forskningsudgivelser hænger på kontorets væg. Christie Hemm Klok
Dette har ikke forhindret laboratoriet i at fortsætte med at hælde ressourcer ind i dets offentlige image. Ud over forskningsartikler publicerer den sine resultater i højt producerede virksomhedsblog-indlæg, som den laver alt in-house for, fra skrivning til multimedieproduktion til design af forsidebilleder til hver udgivelse. På et tidspunkt begyndte det også at udvikle en dokumentar om et af dets projekter, der kunne konkurrere en 90-minutters film om DeepMinds AlphaGo . Det drejede til sidst indsatsen ud i en selvstændig produktion, som Brockman og hans kone, Anna, nu delvist finansierer. (Jeg indvilligede også i at optræde i dokumentaren for at give en teknisk forklaring og kontekst til OpenAI's præstation. Jeg blev ikke kompenseret for dette.)
Og efterhånden som tilbageslaget er steget, har interne diskussioner også gjort det. Medarbejderne er blevet frustrerede over den konstante udefrakommende kritik, og ledelsen bekymrer sig om, at det vil underminere laboratoriets indflydelse og evne til at ansætte de bedste talenter. Et internt dokument fremhæver dette problem og en opsøgende strategi til at tackle det: For at have politisk indflydelse på regeringsniveau skal vi betragtes som den mest betroede kilde til ML [machine learning] forskning og AGI, siger en linje under Politikken afsnit. Udbredt støtte og opbakning fra forskningsmiljøet er ikke kun nødvendigt for at opnå et sådant ry, men vil forstærke vores budskab. En anden, under Strategi, lyder: 'Behandl eksplicit ML-fællesskabet som en kommunikationsinteressenter. Skift vores tone og eksterne beskeder, så vi kun modvirker dem, når vi bevidst vælger det.'
Der var en anden grund til, at GPT-2 havde udløst et så akut modreaktion. Folk følte, at OpenAI igen gik tilbage til sine tidligere løfter om åbenhed og gennemsigtighed. Med nyheden om profit-overgangen en måned senere, gjorde den tilbageholdte forskning folk endnu mere mistænksomme. Kunne det være, at teknologien var blevet holdt hemmeligt som forberedelse til at licensere den i fremtiden?
Ilya Sutskever, medstifter og chefforsker. Christie Hemm Klok
Men lidt vidste folk, at dette ikke var den eneste gang, OpenAI havde valgt at skjule sin forskning. Faktisk havde den holdt en anden indsats helt hemmelig.
Der er to fremherskende tekniske teorier om, hvad det vil tage at nå AGI. I én findes alle de nødvendige teknikker allerede; det er bare et spørgsmål om at finde ud af, hvordan man skalerer og samler dem. I den anden skal der være et helt nyt paradigme; deep learning, den nuværende dominerende teknik inden for AI, vil ikke være nok.
De fleste forskere falder et sted mellem disse yderpunkter, men OpenAI har konsekvent siddet næsten udelukkende på skala-og-saml-enden af spektret. De fleste af dets gennembrud har været produktet af at synke dramatisk større beregningsressourcer ind i tekniske innovationer udviklet i andre laboratorier.
Brockman og Sutskever afviser, at dette er deres eneste strategi, men laboratoriets stramt bevogtede forskning tyder på noget andet. Et team kaldet Foresight kører eksperimenter for at teste, hvor langt de kan skubbe AI-kapaciteter frem ved at træne eksisterende algoritmer med stadig større mængder data og computerkraft. For ledelsen har resultaterne af disse eksperimenter bekræftet dets instinkter om, at laboratoriets alt-i, computerdrevne strategi er den bedste tilgang.
I omkring seks måneder var disse resultater skjult for offentligheden, fordi OpenAI ser denne viden som sin primære konkurrencefordel. Medarbejdere og praktikanter blev udtrykkeligt instrueret i ikke at afsløre dem, og de, der gik, underskrev fortrolighedsaftaler. Det var først i januar, at holdet uden den sædvanlige fanfare stille og roligt postede et papir på en af de primære open source-databaser til AI-forskning. Folk, der oplevede det intense hemmelighedskræmmeri omkring indsatsen, vidste ikke, hvad de skulle gøre af denne ændring. Især et andet papir med lignende resultater fra forskellige forskere var blevet offentliggjort et par måneder tidligere.
Christie Der Klok
I begyndelsen var dette niveau af hemmeligholdelse aldrig hensigten, men det er siden blevet vane. Med tiden har ledelsen bevæget sig væk fra sin oprindelige tro på, at åbenhed er den bedste måde at opbygge gavnlig AGI på. Nu er vigtigheden af at tie imponeret på dem, der arbejder med eller på laboratoriet. Dette inkluderer aldrig at tale med journalister uden udtrykkelig tilladelse fra kommunikationsteamet. Efter mine første besøg på kontoret, da jeg begyndte at kontakte forskellige medarbejdere, modtog jeg en e-mail fra kommunikationschefen, der mindede mig om, at alle interviewanmodninger skulle gå gennem hende. Da jeg afslog og sagde, at dette ville underminere gyldigheden af, hvad folk fortalte mig, instruerede hun medarbejderne om at holde hende orienteret om min opsøgende indsats. En Slack besked fra Clark, en tidligere journalist, roste senere folk for at holde et stramt låg, mens en reporter snusede rundt.
I en erklæring, der reagerede på denne øgede hemmelighedskræmmeri, henviste en talsmand for OpenAI tilbage til et afsnit af dets charter. Vi forventer, at sikkerheds- og sikkerhedshensyn vil reducere vores traditionelle udgivelse i fremtiden, hedder det i afsnittet, samtidig med at det øger vigtigheden af at dele sikkerhed, politik og standardforskning. Talsmanden tilføjede også: Derudover bliver hver af vores udgivelser kørt gennem en infohazard-proces for at evaluere disse afvejninger, og vi ønsker at frigive vores resultater langsomt for at forstå potentielle risici og påvirkninger, før vi går løs i naturen.
En af de største hemmeligheder er det næste projekt, som OpenAI arbejder på. Kilder beskrev det for mig som kulminationen på dets tidligere fire års forskning: et AI-system trænet på billeder, tekst og andre data ved hjælp af massive beregningsressourcer. Et lille team er blevet tildelt den indledende indsats med en forventning om, at andre teams sammen med deres arbejde i sidste ende vil folde sig ind. Den dag, det blev annonceret på et møde for alle virksomheder, fik praktikanter ikke lov til at deltage. Folk, der er bekendt med planen, giver en forklaring: Ledelsen mener, at dette er den mest lovende måde at nå AGI på.
Manden, der driver OpenAIs strategi, er Dario Amodei, den tidligere Googler, der nu fungerer som forskningsdirektør. Da jeg møder ham, forekommer han mig som en mere ængstelig version af Brockman. Han har en lignende oprigtighed og følsomhed, men en luft af urolig nervøs energi. Han ser fjern ud, når han taler, med rynkede øjenbryn, en hånd, der fraværende trækker i hans krøller.
Amodei opdeler laboratoriets strategi i to dele. Den første del, som dikterer, hvordan den planlægger at nå avancerede AI-kapaciteter, sammenligner han med en investors portefølje af indsatser. Forskellige hold hos OpenAI spiller forskellige væddemål. Sprogteamet har for eksempel sine penge på en teori, der postulerer, at AI kan udvikle en betydelig forståelse af verden gennem blot sprogindlæring. Robotteamet derimod fremmer en modsatrettede teori om, at intelligens kræver en fysisk legemliggørelse for at udvikle sig.
Som i en investors portefølje har ikke alle væddemål lige vægt. Men af hensyn til videnskabelig stringens bør alle testes, før de kasseres. Amodi peger på GPT-2 med dens bemærkelsesværdigt realistiske autogenererede tekster som et eksempel på, hvorfor det er vigtigt at holde et åbent sind. Rent sprog er en retning, som feltet og endda nogle af os var noget skeptiske over for, siger han. Men nu er det sådan: 'Wow, det her er virkelig lovende.'
Over tid, efterhånden som forskellige væddemål hæver sig over andre, vil de tiltrække mere intens indsats. Så vil de krydsbestøve og kombinere. Målet er at have færre og færre hold, der i sidste ende kollapser i en enkelt teknisk retning for AGI. Dette er den nøjagtige proces, som OpenAIs seneste tophemmelige projekt angiveligt allerede har påbegyndt.
Dario Amodi, forskningsleder. Christie Hemm ur
Den anden del af strategien, forklarer Amodei, fokuserer på, hvordan man gør sådanne stadigt fremadskridende AI-systemer sikre. Dette inkluderer at sikre, at de afspejler menneskelige værdier, kan forklare logikken bag deres beslutninger og kan lære uden at skade folk i processen. Teams dedikeret til hvert af disse sikkerhedsmål søger at udvikle metoder, der kan anvendes på tværs af projekter, efterhånden som de modnes. Teknikker udviklet af forklaringsteamet kan for eksempel bruges til at afsløre logikken bag GPT-2s sætningskonstruktioner eller en robots bevægelser.
Amodei indrømmer, at denne del af strategien er noget tilfældig, bygget mindre på etablerede teorier på området og mere på mavefornemmelse. På et tidspunkt skal vi bygge AGI, og på det tidspunkt vil jeg gerne have det godt med disse systemer, der fungerer i verden, siger han. Alt, hvor jeg i øjeblikket ikke har det godt, opretter og rekrutterer jeg et team til at fokusere på den ting.
På trods af al reklamejagten og hemmelighedskræmmeriet ser Amodei oprigtig ud, når han siger dette. Muligheden for fiasko ser ud til at forstyrre ham.
Vi er i den akavede situation: Vi ved ikke, hvordan AGI ser ud, siger han. Vi ved ikke, hvornår det kommer til at ske. Derefter tilføjer han med omhyggelig selvbevidsthed: Enhver given persons sind er begrænset. Det bedste, jeg har fundet, er at ansætte andre sikkerhedsforskere, som ofte har visioner, der er anderledes end den naturlige ting, jeg måske har tænkt på. Jeg vil have den slags variation og mangfoldighed, fordi det er den eneste måde, du fanger alt på.
Sagen er, at OpenAI faktisk har lidt variation og mangfoldighed - en kendsgerning, der blev slået fast på min tredje dag på kontoret. Under den ene frokost, jeg fik bevilget til at omgås medarbejderne, satte jeg mig med stor margin ved det mest synligt mangfoldige bord. Mindre end et minut senere indså jeg, at de mennesker, der spiste der, faktisk ikke var OpenAI-ansatte. Neuralink, Musks startup, der arbejder på computer-hjerne-grænseflader, deler samme bygning og spisestue.
Daniela Amodi, leder af People Operations. Christie Hemm Klok
Ifølge en talsmand for laboratoriet er 25% af de over 120 ansatte kvinder eller ikke-binære. Der er også to kvinder i direktionen, og ledergruppen er 30 % kvinder, sagde hun, selvom hun ikke specificerede, hvem der blev talt med blandt disse hold. (Alle fire C-suite-ledere, inklusive Brockman og Altman, er hvide mænd. Ud af over 112 medarbejdere, jeg identificerede på LinkedIn og andre kilder, var det overvældende antal hvide eller asiatiske.)
Retfærdigvis er denne mangel på mangfoldighed typisk i AI. Sidste år a rapport fra det New York-baserede forskningsinstitut AI Now fandt ud af, at kvinder kun udgjorde 18 % af forfatterne ved førende AI-konferencer, 20 % af AI-professorater og henholdsvis 15 % og 10 % af forskningspersonalet på Facebook og Google. Der er bestemt stadig meget arbejde at gøre på tværs af den akademiske verden og industrien, sagde OpenAIs talsmand. Mangfoldighed og inklusion er noget, vi tager alvorligt og løbende arbejder på at forbedre ved at arbejde med initiativer som WiML, Girl Geek og vores Scholars-program.
Faktisk har OpenAI forsøgt at udvide sin talentmasse. Det startede sit remote Scholars-program for underrepræsenterede minoriteter i 2018. Men kun to af de første otte forskere blev fuldtidsansatte, selvom de rapporterede positive oplevelser. Den mest almindelige årsag til at nægte at blive: kravet om at bo i San Francisco. For Nadja Rhodes, en tidligere lærd, som nu er den førende maskinlæringsingeniør i en New York-baseret virksomhed, havde byen bare for lidt mangfoldighed.
Men hvis mangfoldighed er et problem for AI-industrien generelt, er det noget mere eksistentielt for en virksomhed, hvis mission er at sprede teknologien jævnt til alle. Faktum er, at det mangler repræsentation fra de grupper, der har størst risiko for at blive udeladt.
Det er heller ikke helt klart bare hvordan OpenAI planlægger at distribuere fordelene ved AGI til hele menneskeheden, som Brockman ofte siger i sin mission. Ledelsen taler om dette i vage vendinger og har ikke gjort meget for at uddybe detaljerne. (I januar, Future of Humanity Institute ved Oxford University udgivet en rapport i samarbejde med laboratoriet, der foreslår at fordele fordele ved at fordele en procentdel af overskuddet. Men forfatterne citerede betydelige uløste spørgsmål vedrørende … måden, hvorpå det ville blive implementeret.) Dette er mit største problem med OpenAI, siger en tidligere medarbejder, der talte på betingelse af anonymitet.
Christie Der Klok
De bruger sofistikeret teknisk praksis til at forsøge at besvare sociale problemer med AI, gentager Britt Paris fra Rutgers. Det ser ud til, at de ikke rigtig har evnerne til rent faktisk at forstå det sociale. De forstår bare, at det er et slags lukrativt sted at positionere sig selv lige nu.
Brockman er enig i, at både teknisk og social ekspertise i sidste ende vil være nødvendig for, at OpenAI kan nå sin mission. Men han er uenig i, at de sociale problemer skal løses helt fra begyndelsen. Hvordan bager man præcis etik ind, eller disse andre perspektiver ind? Og hvornår bringer man dem ind, og hvordan? En strategi, man kunne gå efter, er helt fra begyndelsen at forsøge at bage i alt, hvad man kunne få brug for, siger han. Det gør jeg ikke tænke at den strategi sandsynligvis vil lykkes.
Den første ting at finde ud af, siger han, er, hvordan AGI overhovedet vil se ud. Først da vil det være tid til at sikre, at vi forstår konsekvenserne.
Sidste sommer, i ugerne efter skiftet til en model med begrænset overskud og indsprøjtningen på 1 milliard dollar fra Microsoft, forsikrede ledelsen medarbejderne om, at disse opdateringer ikke funktionelt ville ændre OpenAIs tilgang til forskning. Microsoft var godt på linje med laboratoriets værdier, og enhver kommercialiseringsindsats ville være langt væk; forfølgelsen af grundlæggende spørgsmål ville stadig være kernen i arbejdet.
I et stykke tid så disse forsikringer ud til at holde stik, og projekterne fortsatte, som de var. Mange medarbejdere vidste ikke engang, hvilke løfter, om nogen, der var blevet givet til Microsoft.
Men i de seneste måneder er presset fra kommercialiseringen tiltaget, og behovet for at producere pengeskabende forskning føles ikke længere som noget i en fjern fremtid. Ved at dele sin vision for laboratoriet for 2020 privat med medarbejdere, er Altmans budskab klart: OpenAI skal tjene penge for at kunne forske – ikke omvendt.
Dette er en hård, men nødvendig afvejning, har ledelsen sagt - en den var nødt til at foretage på grund af mangel på velhavende filantropiske donorer. I modsætning hertil modtager Seattle-baserede AI2, en nonprofitorganisation, der ambitiøst fremmer grundlæggende AI-forskning, sine midler fra en selvbærende (i hvert fald i en overskuelig fremtid) pulje af penge efterladt af afdøde Paul Allen, en milliardær, der er bedst kendt for at være medstifter. Microsoft.
Men sandheden er, at OpenAI står over for denne afvejning, ikke kun fordi den ikke er rig, men også fordi den tog det strategiske valg at forsøge at nå AGI før nogen anden. Det pres tvinger den til at træffe beslutninger, der synes at lande længere og længere væk fra dens oprindelige hensigt. Den læner sig ind i hype i sit jag efter at tiltrække midler og talent, vogter over sin forskning i håb om at holde overtaget og jagter en beregningsmæssigt tung strategi - ikke fordi det ses som den eneste vej til AGI, men fordi det virker som den hurtigste .
Alligevel er OpenAI stadig en bastion af talent og banebrydende forskning, fyldt med mennesker, der oprigtigt stræber efter at arbejde til gavn for menneskeheden. Med andre ord har den stadig de vigtigste elementer, og der er stadig tid til at ændre sig.
Nær slutningen af mit interview med Rhodes, den tidligere fjernforsker, spørger jeg hende om en ting om OpenAI, som jeg ikke bør udelade fra denne profil. Jeg tror efter min mening, at der er problemer, begynder hun tøvende. Nogle af dem kommer måske fra det miljø, det står over for; nogle af dem kommer fra den type mennesker, som den har tendens til at tiltrække og andre mennesker, som den udelader.
Men for mig føles det, som om de gør noget lidt rigtigt, siger hun. Jeg har en fornemmelse af, at folkene der virkelig prøver.
Opdatering: Vi lavede nogle ændringer i denne historie, efter at OpenAI bad os om at præcisere, at da Greg Brockman sagde, at han ikke troede, det var muligt at bage etik ind... lige fra begyndelsen, da han udviklede AI, havde han til hensigt, at det skulle betyde, at etiske spørgsmål ikke kunne løses fra begyndelsen, ikke at de ikke kunne løses fra begyndelsen. Også, at han efter at have droppet ud af Harvard flyttede direkte til MIT i stedet for at vente et år. Også at han ikke er opvokset på en gård, men 'på en hobbygård.' Brockman anser denne sondring for vigtig.
Derudover har vi præciseret, at selv om OpenAI faktisk 'afgav sin nonprofit-status', fører en bestyrelse, der er en del af en nonprofit-enhed, stadig tilsyn med det, og at OpenAI offentliggør sin forskning i form af virksomhedsblogposter såvel som, ikke i i stedet for forskningsartikler. Vi har også rettet datoen for offentliggørelsen af et papir fra eksterne forskere og tilknytningen til Peter Eckersley (tidligere, ikke nuværende, forskningsdirektør for Partnership on AI, som han for nylig forlod).