Jeg begyndte at græde: Inde i Timnit Gebrus sidste dage på Google – og hvad sker der så

.

Nhung Le

ved

• Karen Hao arkiv side

16. december 2020

Nu har vi alle hørt en eller anden version af historien. Den 2. december, efter en langvarig uenighed om udgivelsen af ​​et forskningspapir, Google tvunget ud af sin etiske AI-medleder, Timnit Gebru . Avisen var på risici ved store sprogmodeller , AI-modeller trænet på svimlende mængder tekstdata, som er en forskningslinje i Googles forretning. Gebru, en førende stemme inden for AI-etik, var en af ​​de eneste sorte kvinder på Google Research.

Flytningen har siden udløst en debat om voksende virksomheders indflydelse over AI, den langvarige mangel på mangfoldighed inden for teknologi, og hvad det vil sige at lave meningsfuld AI-etisk forskning. Pr. 15. december havde over 2.600 Google-ansatte og 4.300 andre i den akademiske verden, industrien og civilsamfundet underskrev et andragende fordømmer afskedigelsen af ​​Gebru og kalder det hidtil uset forskningscensur og en gengældelseshandling.

Relateret historie

Vi læste avisen, der tvang Timnit Gebru ud af Google. Her er hvad der står.

Virksomhedens etiske stjerneforsker fremhævede risiciene ved store sprogmodeller, som er nøglen til Googles forretning.

Gebru er kendt for grundarbejde i afslører AI-diskrimination , udvikler sig metoder til at dokumentere og revision af AI-modeller , og fortaler for større mangfoldighed i forskningen. I 2016 var hun medstifter nonprofitorganisationen Black in AI , som er blevet en central ressource for borgerrettighedsaktivister, arbejdsorganisatorer og førende AI-etikforskere, der dyrker og fremhæver sort AI-forskningstalent.

At miste sit job bremsede ikke Gebru. Ugen efter deltog hun i flere workshops på NeurIPS, den største årlige AI-forskningskonference, som over 20.000 mennesker deltog i i år. Det var terapeutisk, siger hun, at se, hvordan det fællesskab, hun havde været med til at opbygge, viste sig og støttede hinanden. Nu, endnu en uge senere, slapper hun bare af og trækker vejret – og prøver at få mening ud af det hele.

Mandag den 14. december fik jeg fat i Gebru via Zoom. Hun fortalte, hvad der skete i hendes tid hos Google, reflekterede over, hvad det betød for feltet og forskningen i AI-etik, og gav afskedsord til dem, der ønsker at blive ved med at holde tech-virksomheder ansvarlige. Du kan også lytte til et særligt afsnit af vores podcast, In Machines We Trust, for højdepunkter fra interviewet. (Google afviste en anmodning om kommentarer til indholdet af dette interview.)

Det følgende er blevet redigeret og komprimeret.

Jeg ville først tjekke ind med, hvordan du har det.

Jeg føler, at jeg ikke rigtig har haft tid til at bearbejde alt det, der skete og dets følger følelsesmæssigt. Jeg går bare og går og går. Så jeg føler, at jeg nok skal falde fra hinanden på et tidspunkt, når der er lidt pause. Men lige nu er jeg bare meget bekymret over mit hold og de mennesker, der støtter mig, og de typer risici, de tager, og sørger for, at de ikke bliver gengældt.

Der har været så mange beretninger om, hvad der er sket. Jeg ville starte fra et meget tidligere punkt i denne historie. Hvad gjorde, at du oprindeligt valgte at arbejde hos Google, og hvordan var Google dengang?

jeg tror Samy [Bengio, direktør hos Google AI] og Jeff [Dean, SVP for Google Research] var på Black in AI workshop [hos NeurIPS i 2017]. De spurgte mig, hvad jeg lavede, og de sagde: Åh ja, du skulle komme og arbejde hos Google. Jeg havde ikke tænkt mig det. Jeg lavede min postdoc på det tidspunkt hos Microsoft Research [MSR]. Jeg havde ikke fundet ud af, hvad jeg så skulle. Men jeg vidste, at jeg ville tilbage til Bay Area, og de var ved at oprette et kontor i Accra, Ghana. Jeg tænkte, at det ville være godt for mig at hjælpe med det.

Jeg havde mange forbehold. Jeg var i New York City på MSR, og der var mange vokale kvinder der – Danah Boyd, Hannah Wallach, Jen [Wortman Vaughan], Kate Crawford, Mary Gray. Der var ikke rigtig farvede kvinder. De eneste sorte kvinder, jeg kender fra hele Microsoft Research, er Danielle Bellgrave i Storbritannien og Shawndra Hill i New York. Men alligevel var selv mændene meget støttende. Jeg var meget tøvende med at gå til et miljø, hvor jeg vidste, at Google Research ikke var kendt for sin fortalervirksomhed for kvinder. Der var en række problemer, som jeg havde hørt gennem mine hviskenetværk. Faktisk, da jeg sagde, at jeg ville gå til Google Research, satte en række mennesker mig faktisk ned. Så jeg frygtede det bare, som Åh, mand, okay, hvad skal jeg ind til?

Jeg var absolut den første sorte kvinde, der var forsker hos Google. Efter mig har vi to sorte kvinder mere. Det er, ligesom, ud af så mange forskere. Hundreder og hundreder. Tre ud af Gud ved hvor mange.

De skuffede ikke. Det var bare konstant kamp. Jeg prøvede at nærme mig det som at tale med folk, prøve at uddanne dem, prøve at få dem til at se et bestemt synspunkt. Jeg blev ved med at tro, at de kunne gøre det bedre, ved du? Med Samy er han blevet sådan en stor fortaler. Folk klagede over, at denne organisation [Google Research] kun ansatte 14 % kvinder. Samy, min leder, ansatte 39 % kvinder. Det var ikke sådan, at han havde noget incitament til at gøre det overhovedet. Han var den eneste grund til, at jeg føler, at dette ikke er sket for mig før. Det er nok fordi han beskyttede os. Og ved at beskytte os ville han selv komme i problemer. Hvis andre ledere toner over dig, og du er for højrøstet, du er som en ballademager - vi ved alle, det er det, der sker med folk som mig - så hvis nogen forsvarer dig, vil de naturligvis også være et problem for de andre ledere.

Så det var mine to år hos Google. Jeg troede faktisk, at vi måske gjorde fremskridt indtil sidste hændelse, fordi vores hold voksede. Det gik fra næsten at gå i opløsning – to måneder inde i min tid hos Google ville min medleder, Meg Mitchell, stoppe. Men så udvidede vi vores team, og vi er nu 12 personer. Så jeg troede, at vi var på vej frem.

Der blev talt så meget om mangfoldighed og inklusion, men så meget hykleri. Jeg er en af ​​1,6 % sorte kvinder hos Google. I [Google] Research er den ikke 1,6 % – den er meget lavere. Jeg var absolut den første sorte kvinde, der var forsker hos Google. Efter mig har vi to sorte kvinder mere. Det er, ligesom, ud af så mange forskere. Hundreder og hundreder. Tre ud af Gud ved hvor mange.

Så på et tidspunkt var jeg ligesom, ved du hvad? Jeg vil ikke engang tale om mangfoldighed. Det er bare udmattende. De vil gerne have møder med dig, de lytter ikke til dig, og så vil de gerne have møder med dig igen. Jeg har skrevet en million dokumenter om en million mangfoldighedsrelaterede ting – om racefærdigheder og maskinlæring [ML], ML fairness-initiativer, om fastholdelse af kvinder og problemerne. Så mange dokumenter og så mange e-mails.

Så det har bare været den ene ting efter den anden. Der har ikke været en eneste ferie, jeg tog på Google, hvor jeg ikke var midt i et eller andet problem. Det har bare aldrig været ro i sindet. Forestil dig, at nogen skyder på dig med en pistol, og du skriger. Og i stedet for at forsøge at stoppe den person, der skyder på dig med en pistol, forsøger de at forhindre dig i at skrige. Sådan føltes det. Det var bare så smertefuldt at være i den position igen og igen og igen.

Du har med succes bygget et af de mest forskelligartede teams i AI-industrien. Hvad skulle der egentlig til for at gøre det?

Vi skulle kæmpe med alle mulige ting. Jeg skulle være manager, og så ville folk ikke have mig til at være manager. Jeg tænkte: Okay, jeg har startet en meget velkendt nonprofitorganisation. Hvorfor har du 'bekymringer' om, at jeg er leder? Samy sagde ikke dette til mig, men han var nødt til at levere denne besked: Ved hun, at hun kan blive fyret for ting? Ved hun, at hvis hun bliver manager, så bliver hun nødt til at være en repræsentant for Google? Så rejste folk bekymringer om, at jeg virkede utilfreds med Google. Det er ikke sådan, åh, der er en giftig kultur, der gør folk som hende ulykkelige. Så lad os rette op på den kultur. Nej, det var ikke samtalen. Samtalen var, at hun ser ud til at være utilfreds, så lad os ikke gøre hende til leder.

Jeg var sur på det tidspunkt. Jeg var så vred. Jeg spurgte hver anden person, der blev leder på mit niveau, hvad deres oplevelse var. Jeg er ligesom, denne person blev en manager, og ingen spurgte dem nogensinde, om de vidste, at de ville blive fyret for X, Y og Z. Denne anden person blev en manager. Ingen behøvede at tale med dem. Der var ingen diskussion overhovedet. For mig var det ikke sådan.

Forestil dig, at nogen skyder på dig med en pistol, og du skriger. Og i stedet for at forsøge at stoppe den person, der skyder på dig med en pistol, forsøger de at forhindre dig i at skrige.

En anden ting: Vi ville ansætte samfundsforskere. Mange gange ansætter forskere bare deres venner, og det ønskede vi ikke at gøre. Vi ringede. Vi fik 300 ansøgninger. Vi kiggede dem igennem i hånden, fordi vi ville sikre os, at rekrutterere ikke filtrerede bestemte grupper af mennesker fra. Vi havde et hurtigt opkald med 20-noget, vi havde en onsite-samtale med 10 personer, og så ansatte vi to af dem.

Hvorfor jeg troede, vi gjorde fremskridt, var, fordi vi var i stand til at få ressourcer til at ansætte disse mennesker. Så jeg tænkte, at Jeff måske begyndte at støtte vores hold og støtte den slags ting, vi lavede. Jeg havde aldrig forestillet mig - jeg ved slet ikke præcis, hvordan denne ting skete - men jeg forestillede mig bare ikke, at han ville skrive under på det [min fyring]. Jeg kan ikke forestille mig, at han tager initiativ til det, men selv han meldte sig ud på det var bare noget så overraskende for mig.

Var du i stand til at opbygge relationer med andre teams hos Google i løbet af den tid, du byggede teamet? Blev visse dele af organisationen mere modtagelige for AI-etiske spørgsmål?

De fleste mennesker på vores team bliver oversvømmet med anmodninger fra andre teams eller andre mennesker. Og en af ​​vores udfordringer var ikke altid at stå midt i en brand, fordi vi gerne ville have fremsyn. Vi ønskede at forme, hvad der sker i fremtiden og ikke bare reagere.

Det største misforhold, jeg ser, er, at der er så mange mennesker, der respekterer os, men så er der folk i toppen, som VP'er, der bare måske ikke kan fordrage os eller bare slet ikke respekterer vores autoritet eller ekspertise. Det har jeg set et antal gange. Men folk i Google Cloud, eller Cloud AI specifikt, nogle af de øverste ledere - de var meget støttende. Jeg følte, at de virkelig respekterede vores ledelse, så de ville prøve at trække os ind i mange ting. På den anden side var denne seneste fiasko ikke fra dem. Jeg har mine mistanker om, hvilke VP'er det kom fra, og de respekterede bestemt ikke vores ekspertise eller ledelse.

Kan du fortælle lidt mere om det?

Tja, selvom du bare ser e-mailen fra Jeff -Jeg går ud fra, at han ikke har skrevet denne e-mail; Jeg går ud fra, at nogen skrev det, og han sendte det – det taler om, hvordan vores forskning [opgave om store sprogmodeller] havde huller, det manglede noget litteratur. [E-mailen lyder ikke] som om de taler med folk, der er eksperter inden for deres område. Dette er ikke peer review. Dette er ikke anmelder #2, der fortæller dig, Hej, der mangler dette citat. Dette er en gruppe mennesker, som vi ikke kender, som er højt oppe, fordi de har været hos Google i lang tid, som af en eller anden ukendt årsag og proces, som jeg aldrig nogensinde har set, fik magten at lukke ned for denne forskning.

Vi havde 128 citater [på det papir], og vi sendte vores papir til mange af disse mennesker, som vi citerede. Vi var så grundige. Jeg sagde, okay, jeg vil gerne samle de mennesker, som vi vil bede om feedback fra, i fire spande. Den ene er de mennesker, der selv har udviklet store sprogmodeller, bare for at få deres perspektiv. Den ene er folk, der arbejder med at forstå og afbøde skævheden i disse modeller. Den ene er folk, der måske er uenige i vores synspunkt. Den ene er folk, der bruger disse store sprogmodeller til forskellige ting. Og vi har et helt dokument med al denne feedback, som vi skulle gennemgå for at tage fat på, og som jeg vil gøre endnu, før vi frigiver dette arbejde.

Men den måde, de [Google-ledelsen] talte til os på, var ikke sådan, at de talte med verdenskendte eksperter og lingvister. Ligesom Emily Bender [en professor ved University of Washington og en medforfatter af papiret] ikke er en tilfældig person, der bare har sat sit navn på et tilfældigt papir derude. Jeg følte, at det hele var så respektløst.

Forud for denne særlige artikel, var der tidligere tilfælde, hvor du nogensinde har følt, at Google begrænsede eller begrænsede dit teams mulighed for at udføre forskning?

Jeg følte, at der var tidligere tilfælde, hvor de udvandede forskningsresultaterne meget. Folk havde samtaler med PR og politik eller hvad som helst, og de ville tage fat i bestemte formuleringer eller tage fat i bestemte detaljer. Det var, hvad jeg tænkte, at de også kunne prøve at gøre med dette papir. Så jeg skrev et dokument, og jeg blev ved med at spørge dem: Hvad er jeres feedback præcist? Er din feedback til at tilføje et afsnit? At fjerne? Hvad betyder det? Hvad spørger du os om?

Dette var bogstaveligt talt min e-mail fredag ​​efter Thanksgiving [ 27. november, fem dage før Gebrus fyring ] fordi jeg på Thanksgiving day havde brugt min dag på at skrive dette dokument i stedet for at have det sjovt med min familie. Dagen efter, i fredags, hvor jeg skulle trække dette papir tilbage, skrev jeg: Okay, jeg har skrevet dette seks-siders dokument, hvor jeg på et højt niveau og lavt niveau adresserer den feedback, jeg kan indsamle. Og jeg håber, at der i det mindste er en åbenhed for videre samtale frem for blot yderligere ordrer. Jeg skrev den mail. Sådan. Hvordan reagerer Megan [Kacholia, VP of engineering hos Google Research] på denne e-mail? Mandag svarer hun på det og siger: Kan du venligst bekræfte, at du enten har trukket papiret tilbage eller taget navnene på forfatterne ud af dette papir. Tak skal du have. Og kan du venligst bekræfte, når du har gjort dette. Send mig en e-mail og bekræft. Som om jeg ikke har noget agentur.

Det er ikke, hvad de gør ved folk, der har begået grov forseelse. De giver dem 80 millioner dollars, og de giver dem en fin lille exit. De gør ikke, hvad de gjorde mod mig.

Så i det dokument skrev jeg, at dette har været ekstremt respektløst over for det etiske AI-team, og der skal være en samtale, ikke kun med Jeff og vores team, og Megan og vores team, men hele Research om respekt for forskere og hvordan man fører den slags diskussioner. Nix. Intet engagement med det overhovedet.

Jeg græd forresten. Da jeg havde det første møde, som var torsdag før Thanksgiving, en dag før jeg skulle på ferie – da Megan fortalte os, at du skal trække dette papir tilbage, begyndte jeg at græde. Jeg var så ked af det, fordi jeg sagde, jeg er så træt af konstant kamp her. Jeg tænkte, at hvis jeg bare ignorerede alt dette DEI [diversitet, lighed og inklusion] hykleri og andre ting, og jeg bare fokuserede på mit arbejde, så kunne jeg i det mindste få mit arbejde gjort. Og nu kommer du for mit arbejde. Så jeg begyndte bogstaveligt talt at græde.

Hvad tror du, det var ved netop dette blad, der berørte disse begivenheder? Tror du, at det rent faktisk handlede om dette papir, eller var der andre faktorer, der spillede ind?

Jeg ved ikke. Samy var forfærdet over det hele. Han mente, det er ikke sådan, vi behandler forskere. Jeg mener, det er ikke sådan man behandler folk generelt. Folk taler om, hvordan det, hvis det sker for nogen, der er opnået, får mig til at forestille mig, hvad de gør ved mennesker, især mennesker i sårbare grupper.

De troede nok, at jeg ville være super stille med det. Jeg ved ikke. Jeg tror ikke, at slutresultatet kun handlede om dette papir. Måske var de overraskede over, at jeg trak mig tilbage på nogen som helst måde. Jeg forsøger stadig at finde ud af, hvad der skete.

Havde du nogensinde mistænkt, baseret på de tidligere begivenheder og spændinger, at det ville ende på denne måde? Og havde du forventet samfundets reaktion?

Jeg tænkte, at de kunne gøre mig elendig nok til at tage afsted, eller sådan noget. Jeg troede, at de ville være klogere end at gøre det på præcis denne måde, fordi det er et sammenløb af så mange spørgsmål, som de beskæftiger sig med: forskningscensur, etisk kunstig intelligens, arbejdstagerrettigheder, DEI – alle de ting, de er kommet under. ild til før. Så jeg havde ikke forventet, at det skulle være på den måde - ligesom, afbrød min virksomhedskonto fuldstændigt. Det er så hensynsløst. Det er ikke, hvad de gør ved folk, der har begået grov forseelse. De give dem 80 millioner dollars , og de giver dem en fin lille exit, eller måske fremmer de dem passivt-aggressivt ikke, eller hvad det nu er. De gør ikke ved de mennesker, der rent faktisk skaber et fjendtligt arbejdsmiljø, hvad de gjorde mod mig.

Jeg fandt ud af mine direkte rapporter, ved du? Hvilket er så, så trist. De var bare så traumatiserede. Jeg tror, ​​at mit hold holdt op til klokken 4 eller 5 om morgenen sammen og prøvede at forstå, hvad der skete. Og at gå rundt om Samy - det hele var bare så forfærdeligt og hensynsløst.

Jeg tænkte, at hvis jeg bare ... fokuserede på mit arbejde, så kunne jeg i det mindste få mit arbejde gjort. Og nu kommer du for mit arbejde. Så jeg begyndte bogstaveligt talt at græde.

Jeg forventede en vis mængde støtte, men jeg havde bestemt ikke forventet den mængde udgydelse, der er. Det har været utroligt at se. Jeg har aldrig nogensinde oplevet noget lignende. Jeg mener, tilfældige slægtninge skriver til mig, jeg så dette i nyhederne. Det er bestemt ikke noget, jeg havde forventet. Men folk tager så mange risici lige nu. Og det bekymrer mig, for jeg vil virkelig gerne sikre mig, at de er i sikkerhed.

Du har nævnt, at dette ikke kun handler om dig; det handler ikke kun om Google. Det er et sammenløb af så mange forskellige problemer. Hvad siger denne særlige oplevelse om teknologivirksomheders indflydelse på AI generelt og deres evne til rent faktisk at udføre meningsfuldt arbejde inden for AI-etik?

Du ved, der var en del mennesker sammenligne Big Tech og Big Tobacco , og hvordan de censurerede forskning, selvom de kendte problemerne i et stykke tid. Jeg skubber tilbage på dikotomien mellem akademi og teknologi, fordi de begge har den samme slags meget racistiske og sexistiske paradigme. Det paradigme, du lærer og tager til Google eller hvor som helst, starter i den akademiske verden. Og folk flytter. De går til industrien og så går de tilbage til den akademiske verden eller omvendt. De er alle venner; de skal alle til de samme konferencer.

Jeg tror ikke, lektien er, at der ikke skal være AI-etisk forskning i teknologivirksomheder, men jeg tror, ​​lektionen er, at a) der skal være meget mere uafhængig forskning. Vi skal have flere valgmuligheder end blot DARPA [Forsvarets Avancerede Forskningsprojekter Agentur] kontra virksomheder. Og b) der skal naturligvis være tilsyn med teknologivirksomheder. På dette tidspunkt forstår jeg bare ikke, hvordan vi kan fortsætte med at tro, at de vil selvregulere på DEI eller etik eller hvad det nu er. De har ikke gjort det rigtige, og de vil ikke gøre det rigtige.

Jeg tror, ​​at akademiske institutioner og konferencer skal genoverveje deres forhold til store virksomheder og mængden af ​​penge, de tager fra dem. Nogle mennesker spekulerede endda på, for eksempel, om nogle af disse konferencer skulle have en adfærdskodeks uden censur eller noget i den retning. Så jeg tror, ​​at der er meget, som disse konferencer og akademiske institutioner kan. Der er for meget magtubalance lige nu.

Hvilken rolle tror du, at etikforskere kan spille, hvis de er i virksomheder? Specifikt, hvis dit tidligere team bliver hos Google, hvilken slags vej ser du så for dem med hensyn til deres evne til at producere effektfuldt og meningsfuldt arbejde?

Jeg tror, ​​der skal være en form for beskyttelse for sådan nogle mennesker, eller sådanne forskere. Lige nu er det tydeligvis meget svært at forestille sig, hvordan nogen kan lave reel forskning inden for disse virksomheder. Men hvis du havde arbejdskraftbeskyttelse, hvis du har whistleblowerbeskyttelse, hvis du har noget mere tilsyn, kan det være lettere for folk at blive beskyttet, mens de udfører denne form for arbejde. Det er meget farligt, hvis du får den slags forskere til at udføre det, som min medleder kaldte figenblad - tildækning - arbejde. Ligesom vi ikke ændrer noget, vi sætter bare et figenblad på kunsten. Hvis du er i et miljø, hvor de mennesker, der har magt, ikke er investeret i at ændre noget i virkeligheden, fordi de ikke har noget som helst incitament, vil det naturligvis ikke hjælpe overhovedet at have den slags forskere indlejret der. Men jeg tror, ​​at hvis vi kan skabe ansvarligheds- og tilsynsmekanismer, beskyttelsesmekanismer, håber jeg, at vi kan tillade, at forskere som denne fortsat eksisterer i virksomheder. Men meget skal ændres, for at det kan ske.

Ud over at få konferencer eller regulering til at ændre incitamentsstrukturerne, er der så andre mekanismer eller ting, som du kunne se være en del af denne eksterne tilsynsramme? Ser du nogen rolle, som offentligheden kan spille i at holde teknologivirksomheder ansvarlige?

Jeg er nødt til at tænke mere over dette. Jeg tror, ​​at offentligheden skal være mere uddannet i den rolle, som teknologivirksomheder, og også AI, spiller i vores daglige liv. Det har mange mennesker gjort et rigtig godt stykke arbejde med. Folk har skrevet bøger - Matematikødelæggelsesvåben var en meget god bog for mig at læse. Der er Kodet bias , dokumentaren. Jeg er også glad for, at jeg begynder at se universiteter, der tilbyder nogle af disse klasser i datalogi. Jeg synes, de burde være påkrævet. Nicki Washington har en klasse hos Duke som jeg ville ønske, jeg kunne have taget. Ruha [Benjamin] har en klasse [i Princeton] . Jeg tror, ​​at vores forståelse af, hvordan videnskab udvikles, og hvordan teknik udvikles - den skal bare ændres. Offentligheden skal forstå den politiske karakter af dette arbejde. De videregående uddannelsessystemer er efter min mening meget bagud på denne måde. De skal gøre en masse arbejde.

Med hensyn til offentligheden tror jeg, at hvis jeg skulle gå tilbage til for tre, fire år siden, var der meget mindre opmærksomhed. Nu er enheder som ACLU [American Civil Liberties Union] stærkt involveret; du har Algorithmic Justice League , Data for Black Lives , laver meget arbejde her. Så jeg tror, ​​at offentligheden kan lære mere. Men jeg tror, ​​det handler mere om politikerne, for vi har en mekanisme til at involvere offentligheden i forskellige ting. Men politikerne giver ikke offentligheden mulighed for at involvere sig. For eksempel [dataanalysevirksomhed] Palantir blev brugt i New Orleans for prædiktiv politiarbejde, og ingen vidste det. Der var ingen afstemning. Der var ingen regning. Der var ingen diskussion om det. Så vores regering er nødt til aktivt at give offentligheden en chance for at veje ind i den slags spørgsmål.

Hvad betyder det rent faktisk at udføre et meningsfuldt AI-etisk arbejde?

Jeg tror, ​​at det måske betyder, at du kan stille spørgsmålstegn ved de grundlæggende præmisser og grundlæggende spørgsmål ved AI. Du behøver ikke bare at dække over tingene, eller du skal ikke bare være reaktionær. Du kan have forudseenhed om fremtiden, og du kan komme tidligt ind, mens produkter bliver tænkt over og udviklet, og ikke bare gøre tingene bagefter. Det er den første ting, jeg tænker på. Og at de mennesker, der er mest påvirket af teknologien, burde have en meget stor indflydelse, helt fra begyndelsen.

Du har før nævnt, hvordan etik hos tech-virksomheder ofte kommer fra toppen og ned, fra mennesker, som ikke nødvendigvis er dem, der bliver påvirket af teknologien. Hvad er den ideelle balance i faktisk at have marginaliserede stemmer, der driver samtalen, samtidig med at topledelsens buy-in?

Hvis folk i marginerne ikke har magt, så er der ikke noget incitament for nogen til at lytte til dem eller få dem til at forme diskussionen. Så jeg tror, ​​at folk i toppen har brug for at skabe et miljø, hvor det er folk i marginerne, der former diskussionerne om disse ting, om AI-etik, om mangfoldighed og inklusion.

Vi bliver undervist, når vi objektivt lærer videnskab, hvad der kaldes udsigten fra ingenting, som om du ikke skal bringe dit synspunkt til det. Jeg synes, folk burde gøre det stik modsatte.

Det er ikke det, der sker lige nu. Du går til Google, og du ser alle folk på højt niveau, der laver AI-etik - de er absolut ikke engang folk fra underrepræsenterede grupper overhovedet. Det var den samtale, vi havde, da jeg var der, og mange af os var super frustrerede over det. Vi havde disse principper, der hed Intet om os uden os, og det allerførste, vi fandt på, var psykologisk sikkerhed. Kan du forestille dig? Det betyder, at du ikke skal straffe mig for at sige fra, hvilket er præcis, hvad de gjorde. Så du skal søge input, men så igen, lad være med at gøre det på en underlig måde. Før du overhovedet tænker på de produkter, du bygger, eller den forskning, du laver, skal du begynde at forestille dig: hvordan kan du arbejde med mennesker på kanten for at forme denne teknologi?

Ser du på en måde dig selv som en martyr?

Jeg prøvede ikke at være det, og jeg tror ikke, jeg er en martyr lige nu. Jeg håber, at jeg er mere en agent for forandring. Men ja, Google har på en måde gjort mig til en, mere end jeg ville have været, hvis de ikke gjorde det her mod mig.

Hvad er det næste for dig?

Åh mand. Det har jeg ikke haft tid til at tænke over. Lige nu prøver jeg bogstaveligt talt at sørge for, at mit team er sikkert, sørge for, at fortællingen omkring, hvad der foregår med mig, er præcis, og tage en lille pause, når jeg kan. Forhåbentlig drikke noget vin, få noget mad, spise noget chokolade, hænge ud med familien. Og måske finder jeg ud af det bagefter. Men min største prioritet er ikke at være i det miljø, jeg var i. Det er min største prioritet.

Hvilke råd har du til andre mennesker, der ønsker at bygge videre på det arbejde, du har udført?

Mit råd er at læse op på nogle af de værker, som jeg nævnte, især af Kjole [Benjamin] , Meredith [Broussard] , Safiya [Noble] , Simone Browne , og en række andre mennesker. Og bring din levede oplevelse ind i det. Forsøg ikke at tage dig selv ud af dette arbejde. Det har meget med dig at gøre. Så din vinkel og din styrke vil afhænge af, hvad din levede oplevelse er. Jeg holdt en tale kaldet Hierarki af viden og maskinlæring , og det handlede sådan set om det: Hvordan vi bliver undervist, når vi lærer naturvidenskab objektivt, det der kaldes udsigten fra ingenting, som om du ikke skulle bringe dit synspunkt til det. Jeg synes, folk burde gøre det stik modsatte.

Opdatering: Vi præciserede Samy Bengios jobtitel og rettede en henvisning til en forsker. Timnit henviste til Jen Wortman Vaughan, en senior hovedforsker ved MSR, ikke Jen Chayes, en tidligere direktør i samme virksomhed.