Inde i kampen for at genvinde AI fra Big Techs kontrol

På billedet i øverste række fra venstre: Raphael Gontijo Lopes, Deborah Raji, Rediet Abebe. Anden række: Joy Buolamwini. Tredje række fra venstre: William Agnew, Timnit Gebru. Ricardo Santos

Timnit Gebru troede aldrig en videnskabeligt papir ville volde hende så mange problemer.

I 2020 havde Gebru som medleder for Googles etiske AI-team nået ud til Emily Bender , en lingvistikprofessor ved University of Washington, og de to besluttede at samarbejde om forskning om den bekymrende retning af kunstig intelligens. Gebru ønskede at identificere risiciene ved store sprogmodeller , et af de mest fantastiske nylige gennembrud inden for AI-forskning. Modellerne er algoritmer trænet på svimlende mængder tekst. Under de rette forhold kan de komponere, hvad der ligner overbevisende prosastykker.

Denne historie var en del af vores juli 2021-udgave

• Se resten af ​​problemet
• Abonner

I et par år havde tech-virksomheder kapløbet om at bygge større versioner og integrere dem i forbrugerprodukter. Google, som opfandt teknikken, brugte allerede en til at forbedre søgeresultaternes relevans. OpenAI annoncerede den største, kaldet GPT-3 , i juni 2020 og licenserede den udelukkende til Microsoft et par måneder senere.

Gebru var bekymret for, hvor hurtigt teknologien blev implementeret. I avisen, hun endte med at skrive med Bender og fem andre, beskrev hun de mulige farer. Modellerne var enormt dyre at skabe – både miljømæssigt (de kræver enorme mængder regnekraft) og økonomisk; de blev ofte trænet i internettets giftige og krænkende sprog; og de var kommet til at dominere forskningen i sproglig AI, og de ville have lovende alternativer frem.

Ligesom andre eksisterende AI-teknikker forstår modellerne faktisk ikke sprog. Men fordi de kan manipulere det til at hente tekstbaseret information til brugere eller generere naturlig samtale, kan de pakkes ind i produkter og tjenester, der tjener teknologivirksomheder mange penge.

Den november afleverede Gebru papiret til en konference. Kort efter bad Googles ledere hende om at trække det tilbage, og da hun nægtede, fyrede de hende. To måneder senere gjorde de også fyrede sin medforfatter Margaret Mitchell , den anden leder af det etiske AI-team.

Demonteringen af ​​dette hold udløste en af ​​de største kontroverser inden for AI-verdenen i nyere tid. Googles forsvarere hævdede, at virksomheden har ret til at føre tilsyn med sine egne forskere. Men for mange andre styrkede det frygten for graden af ​​kontrol, som tech-giganter nu har over feltet. Big Tech er nu den primære arbejdsgiver og finansierer af AI-forskere, inklusive, lidt ironisk nok, mange af dem, der vurderer dets sociale konsekvenser.

Relateret historie

Vi læste avisen, der tvang Timnit Gebru ud af Google. Her er hvad der står.

Virksomhedens etiske stjerneforsker fremhævede risiciene ved store sprogmodeller, som er nøglen til Googles forretning.

Blandt verdens rigeste og mest magtfulde virksomheder har Google, Facebook, Amazon, Microsoft og Apple gjort AI til kernedele af deres forretning. Fremskridt i løbet af det sidste årti, især i en AI-teknik kaldet dyb læring , har givet dem mulighed for at overvåge brugernes adfærd; anbefale nyheder, information og produkter til dem; og mest af alt målrette dem med annoncer. Sidste år genererede Googles reklameapparat over 140 milliarder dollars i omsætning. Facebook har genereret 84 milliarder dollars.

Virksomhederne har investeret kraftigt i den teknologi, der har bragt dem så stor rigdom. Googles moderselskab, Alphabet, købte det London-baserede AI-laboratorium DeepMind for 600 millioner dollars i 2014 og bruger hundredvis af millioner om året på at støtte sin forskning. Microsoft underskrev en aftale på 1 milliard dollar med OpenAI i 2019 for kommercialiseringsrettigheder til dets algoritmer.

Samtidig er teknologigiganter blevet store investorer i universitetsbaseret AI-forskning, hvilket har haft stor indflydelse på dets videnskabelige prioriteter. I årenes løb er flere og flere ambitiøse videnskabsmænd gået over til at arbejde for tech-giganter på fuld tid eller vedtaget en dobbelt tilknytning. Fra 2018 til 2019 havde 58 % af de mest citerede artikler på de to bedste AI-konferencer mindst én forfatter tilknyttet en teknologigigant, sammenlignet med kun 11 % et årti tidligere, ifølge en undersøgelse foretaget af forskere i Radikal AI-netværk , en gruppe, der søger at udfordre magtdynamikken i kunstig intelligens.

Problemet er, at virksomhedens dagsorden for kunstig intelligens har fokuseret på teknikker med kommercielt potentiale og i vid udstrækning ignoreret forskning, der kunne hjælpe med at løse udfordringer som økonomisk ulighed og klimaændringer. Faktisk har det gjort disse udfordringer værre. Bestræbelserne på at automatisere opgaver har kostet arbejdspladser og ført til stigningen i kedeligt arbejde som datarensning og indholdsmoderering. Fremstødet for at skabe stadig større modeller har fået AI’s energiforbrug til at eksplodere. Deep learning har også skabt en kultur, hvor vores data konstant skrabes, ofte uden samtykke, for at træne produkter som ansigtsgenkendelsessystemer. Og anbefalingsalgoritmer har forværret politisk polarisering, mens store sprogmodeller har undladt at rydde op i misinformation.

Det er denne situation, som Gebru og en voksende bevægelse af ligesindede forskere ønsker at ændre. I løbet af de sidste fem år har de forsøgt at flytte feltets prioriteter væk fra blot at berige tech-virksomheder ved at udvide, hvem der får mulighed for at deltage i udviklingen af ​​teknologien. Deres mål er ikke kun at afbøde skaderne forårsaget af eksisterende systemer, men at skabe en ny, mere retfærdig og demokratisk AI.

Hej fra Timnit

I december 2015 satte Gebru sig ned for at skrive et åbent brev. Halvvejs i sin ph.d.-grad på Stanford havde hun deltaget i Neural Information Processing Systems-konferencen, den største årlige AI-forskningssamling. Af de mere end 3.700 forskere der talte Gebru kun en håndfuld, der var sorte.

Engang et lille møde om et nichefagligt emne, var NeurIPS (som det nu er kendt) hurtigt ved at blive den største årlige AI-jobbonanza. Verdens rigeste virksomheder kom for at vise demoer, holde ekstravagante fester og skrive store checks til de sjældneste mennesker i Silicon Valley: dygtige AI-forskere.

Det år ankom Elon Musk for at annoncere nonprofit-satsningen OpenAI . Han, Y Combinators daværende præsident Sam Altman, og PayPals medstifter Peter Thiel havde afsat 1 milliard dollars for at løse, hvad de mente var et eksistentielt problem: udsigten til, at en superintelligens en dag kunne overtage verden. Deres løsning: Byg en endnu bedre superintelligens. Af de 14 rådgivere eller tekniske teammedlemmer, han salvede, var 11 hvide mænd.

RICARDO SANTOS | UDFØRT FOTO

Mens Musk blev lioniseret, beskæftigede Gebru sig med ydmygelse og chikane. Ved en konferencefest kredsede en gruppe fulde fyre i Google Research T-shirts om hende og udsatte hende for uønskede kram, et kys på kinden og et billede.

Gebru skrev en sønderlemmende kritik af det, hun havde observeret: skuespillet, den kultagtige tilbedelse af AI-berømtheder og mest af alt den overvældende homogenitet. Denne drengs klubkultur, skrev hun, havde allerede skubbet talentfulde kvinder ud af banen. Det førte også hele samfundet mod en farlig snæver opfattelse af kunstig intelligens og dens indvirkning på verden.

Google havde allerede implementeret en computer-vision-algoritme, der klassificerede sorte mennesker som gorillaer, bemærkede hun. Og den stigende sofistikering af ubemandede droner satte det amerikanske militær på en vej mod dødelige autonome våben. Men der var ingen omtale af disse problemer i Musks store plan for at forhindre AI i at overtage verden i et teoretisk fremtidigt scenarie. Vi behøver ikke at projicere ind i fremtiden for at se AI's potentielle negative virkninger, skrev Gebru. Det sker allerede.

Gebru offentliggjorde aldrig sin refleksion. Men hun indså, at noget skulle ændres. Den 28. januar 2016 sendte hun en mail med emnelinjen Hej fra Timnit til fem andre Black AI-forskere. Jeg har altid været ked af manglen på farve i AI, skrev hun. Men nu har jeg set 5 af jer :) og tænkte at det ville være fedt hvis vi startede en sort i AI gruppe eller i det mindste kender til hinanden.

E-mailen gav anledning til en diskussion. Hvad var det ved at være sort, der informerede deres forskning? For Gebru var hendes arbejde i høj grad et produkt af hendes identitet; for andre var det ikke. Men efter mødet blev de enige: Hvis AI skulle spille en større rolle i samfundet, havde de brug for flere sorte forskere. Ellers ville feltet producere svagere videnskab - og dets negative konsekvenser kunne blive langt værre.

En profit-drevet dagsorden

Som Sort i AI var lige begyndt at smelte sammen, nåede AI sit kommercielle fremskridt. Det år, 2016, brugte teknologigiganter anslået $20 til $30 milliarder på at udvikle teknologien, ifølge McKinsey Global Institute.

Opvarmet af virksomhedernes investeringer blev feltet skævt. Flere tusinde forskere begyndte at studere kunstig intelligens, men de ønskede mest at arbejde på algoritmer til dyb indlæring, som dem bag store sprogmodeller. Som en ung ph.d.-studerende, der ønsker at få et job i en teknologivirksomhed, indser du, at teknologivirksomheder handler om dyb læring, siger Suresh Venkatasubramanian, en datalogiprofessor, som nu tjener ved Det Hvide Hus Office of Science and Technology Policy. Så du flytter al din forskning til dyb læring. Så kigger den næste ph.d.-studerende ind og siger: 'Alle laver deep learning. Jeg skulle nok også gøre det.’

Men dyb læring er ikke den eneste teknik på området. Før dets boom var der en anden AI-tilgang kendt som symbolsk ræsonnement. Mens deep learning bruger enorme mængder data til at lære algoritmer om meningsfulde relationer i information, fokuserer symbolsk ræsonnement på eksplicit at indkode viden og logik baseret på menneskelig ekspertise.

Nogle forskere mener nu, at disse teknikker bør kombineres. Den hybride tilgang ville gøre AI mere effektiv i sin brug af data og energi og give den viden og ræsonnementevner som en ekspert såvel som kapaciteten til at opdatere sig selv med ny information. Men virksomheder har ringe incitament til at udforske alternative tilgange, når den sikreste måde at maksimere deres fortjeneste på er at bygge stadig større modeller.

I deres papir hentydede Gebru og Bender til en grundlæggende omkostning ved denne tendens til at holde sig til dyb læring: de mere avancerede AI-systemer, vi har brug for, bliver ikke udviklet, og lignende problemer bliver ved med at dukke op. Facebook er for eksempel stærkt afhængig af store sprogmodeller til automatiseret indholdsmoderering. Men uden rigtig at forstå meningen bag tekst, fejler disse modeller ofte. De fjerner jævnligt harmløse indlæg, mens de giver hadefulde ytringer og misinformation et pass.

AI-baserede ansigtsgenkendelsessystemer lider af det samme problem. De er trænet i enorme mængder data, men ser kun pixelmønstre - de har ikke greb om visuelle begreber som øjne, mund og næse. Det kan udløse disse systemer, når de bruges på personer med en anden hudfarve end de mennesker, de blev vist under træningen. Ikke desto mindre har Amazon og andre virksomheder solgt disse systemer til retshåndhævelse. I USA har de forårsaget tre kendte sager om, at politiet har fængslet den forkerte person - alle sorte mænd - i det sidste år.

I årevis har mange i AI-samfundet stort set accepteret Big Techs rolle i at forme udviklingen og virkningen af ​​disse teknologier. Mens nogle udtrykte ubehag ved virksomhedsovertagelsen, hilste mange flere industriens dybe finansieringsbrønd velkommen.

Men efterhånden som manglerne ved nutidens kunstig intelligens er blevet mere tydelige – både dens manglende evne til at løse sociale problemer og de voksende eksempler på, at det kan forværre dem – er troen på Big Tech svækket. Googles udelukkelse af Gebru og Mitchell satte yderligere gang i diskussionen ved at afsløre, hvor meget virksomheder vil prioritere profit frem for selvpoliti.

Umiddelbart efter underskrev over 2.600 Google-ansatte og 4.300 andre en underskriftsindsamling, der fordømte Gebrus afskedigelse som hidtil uset forskningscensur. Et halvt år senere afviser forskergrupper stadig virksomhedens finansiering, forskere nægter at deltage i dets konferenceworkshops, og medarbejderne går i protest.

I modsætning til for fem år siden, da Gebru begyndte at rejse disse spørgsmål, er der nu en veletableret bevægelse, der sætter spørgsmålstegn ved, hvad AI skal være, og hvem det skal tjene. Dette er ikke en tilfældighed. Det er i høj grad et produkt af Gebrus eget initiativ, som begyndte med den simple handling at invitere flere sorte forskere ind i feltet.

Det kræver en konference

I december 2017 var den nye Black in AI-gruppe vært for sin første workshop på NeurIPS. Mens han organiserede workshoppen, henvendte Gebru sig til Joy Buolamwini, en MIT Media Lab-forsker, som studerede kommercielle ansigtsgenkendelsessystemer for mulig bias. Buolamwini var begyndt at teste disse systemer, efter at man ikke kunne opdage sit eget ansigt, medmindre hun havde en hvid maske på. Hun indsendte sine foreløbige resultater til workshoppen.

Deborah Raji, dengang en bachelor-forsker, var en anden tidlig deltager. Raji var rystet over den kultur, hun havde observeret på NeurIPS. Værkstedet blev hendes pusterum. At gå fra fire eller fem dage af det til en hel dag med mennesker, der ligner mig, der taler om at få succes på dette område - det var så vigtig opmuntring for mig, siger hun.

Buolamwini, Raji og Gebru ville fortsætte med at arbejde sammen om et par banebrydende undersøgelser om diskriminerende computersynssystemer. Buolamwini og Gebru var medforfattere Kønsnuancer , som viste, at de ansigtsgenkendelsessystemer, der sælges af Microsoft, IBM og den kinesiske teknologigigant Megvii, havde bemærkelsesværdigt høje fejlrater på sorte kvinder på trods af næsten perfekt ydeevne på hvide mænd. Raji og Buolamwini samarbejdede derefter om en opfølgning kaldet Handlingsbar revision , som fandt, at det samme var sandt for Amazons anerkendelse. I 2020 ville Amazon gå med til en et års moratorium for politiets salg af sit produkt, til dels på grund af det arbejde.

Relateret historie

Jeg begyndte at græde: Inde i Timnit Gebrus sidste dage på Google – og hvad sker der så .

På den allerførste Black in AI-workshop var disse succeser imidlertid fjerne muligheder. Der var ingen anden dagsorden end at opbygge fællesskab og producere forskning baseret på deres i den grad manglende perspektiver. Mange tilskuere forstod ikke, hvorfor sådan en gruppe skulle eksistere. Gebru husker afvisende kommentarer fra nogle i AI-miljøet. Men for andre pegede Black in AI en ny vej frem.

Dette gjaldt for William Agnew og Raphael Gontijo Lopes, begge queer mænd, der forsker i datalogi, som indså, at de kunne danne en Queer in AI-gruppe. (Andre grupper, der tog form, omfatter Latinx i AI, {Dis}Ability in AI og Muslim i ML.) Især for Agnew føltes det som et presserende behov at have sådan et fællesskab. Det var svært overhovedet at forestille mig, at jeg havde et lykkeligt liv, siger han og reflekterer over manglen på queer-forbilleder på området. Der er Turing, men han begik selvmord. Så det er deprimerende. Og den queer del af ham bliver bare ignoreret.

Ikke alle affinitetsgruppemedlemmer ser en sammenhæng mellem deres identitet og deres forskning. Alligevel har hver gruppe etableret særlig ekspertise. Black in AI er blevet det intellektuelle center for afsløring af algoritmisk diskrimination, kritik af overvågning og udvikling af dataeffektive AI-teknikker. Queer i AI er blevet et center for at bestride de måder, hvorpå algoritmer krænker folks privatliv og klassificere dem i afgrænsede kategorier som standard.

Venkatasubramanian og Gebru hjalp også med at skabe Fairness, Accountability, and Transparency (FAccT)-konferencen for at skabe et forum for forskning i de sociale og politiske implikationer af AI. Idéer og udkast til papirer, der diskuteres på NeurIPS affinitetsgruppeworkshops, bliver ofte grundlaget for papirer udgivet på FAccT, som derefter viser denne forskning til et bredere publikum.

Det var for eksempel efter Buolamwini præsenterede på den første Black in AI-workshop, at FAccT udgav Gender Shades. Sammen med Actionable Auditing satte det gang i adskillige større uddannelses- og fortalerkampagner for at begrænse regeringens brug af ansigtsgenkendelse. Da Amazon forsøgte at underminere legitimiteten af ​​Buolamwinis og Rajis forskning, slog snesevis af AI-forskere og civilsamfundsorganisationer sig sammen for at forsvare dem og varslede, hvad de senere ville gøre for Gebru. Disse bestræbelser bidrog til sidst til Amazons moratorium, som i maj annoncerede selskabet, at det ville forlænge på ubestemt tid.

Forskningen satte også gang i en kaskade af regulering. Mere end et dusin byer har forbudt politiets brug af ansigtsgenkendelse, og Massachusetts kræver nu, at politiet får en dommers tilladelse til at bruge det. Både USA og Europa-Kommissionen har foreslået yderligere regulering.

Først skulle vi bare være der, siger Gebru. Og på et tidspunkt begynder det, Black i AI siger, at blive vigtigt. Og hvad alle disse grupper tilsammen siger, bliver vigtigt. Du skal lytte til os nu.

Følg pengene

Efter Gebru og Mitchells fyring kæmper feltet på ny med et ældgammelt spørgsmål: Er det muligt at ændre status quo, mens man arbejder indefra? Gebru mener stadig, at samarbejde med teknologigiganter er den bedste måde at identificere problemerne på. Men hun mener også, at virksomhedsforskere har brug for stærkere juridiske beskyttelser. Hvis de ser risikabel praksis, bør de være i stand til at dele deres observationer offentligt uden at bringe deres karriere i fare.

Så er der spørgsmålet om finansiering. Mange forskere ønsker flere investeringer fra den amerikanske regering for at støtte arbejde, der er kritisk over for kommerciel AI-udvikling og fremmer den offentlige velfærd. Sidste år forpligtede det sølle $1 milliard til ikke-forsvarsrelateret AI-forskning. Biden-administrationen beder nu Kongressen om at investere yderligere $180 milliarder i nye teknologier, med kunstig intelligens som en topprioritet.

Sådan finansiering kunne hjælpe folk som Abebe vender tilbage , en assisterende professor i datalogi ved University of California, Berkeley. Abebe, der også var med til at stifte Black in AI, kom ind i AI med ideer om at bruge det til at fremme social lighed. Men da hun startede sin ph.d.-grad på Cornell, var ingen fokuseret på at lave sådan forskning.

I efteråret 2016 startede hun som ph.d.-studerende en lille Cornell-læsegruppe med en medstuderende for at studere emner som boligustabilitet, adgang til sundhedsvæsen og ulighed. Hun gik derefter i gang med et nyt projekt for at se, om hendes computerfærdigheder kunne understøtte indsatsen for at afhjælpe fattigdom.

Til sidst fandt hun Poverty Tracker-undersøgelsen, et detaljeret datasæt om de økonomiske chok - uventede udgifter som lægeregninger eller parkeringsbilletter - oplevet af mere end 2.000 New York-familier. I løbet af mange samtaler med undersøgelsens forfattere, socialarbejdere og nonprofitorganisationer, der betjener marginaliserede samfund, lærte hun om deres behov og fortalte dem, hvordan hun kunne hjælpe. Abebe udviklede derefter en model, der viste, hvordan hyppigheden og typen af ​​stød påvirkede en families økonomiske status.

Fem år senere er projektet stadig i gang. Hun samarbejder nu med nonprofitorganisationer for at forbedre sin model og arbejder med politiske beslutningstagere gennem California Policy Lab for at bruge den som et værktøj til at forebygge hjemløshed. Hendes læsegruppe er også siden vokset til et fællesskab på 2.000 personer og holder sin åbningskonference senere i år.

Abebe ser det som en måde at tilskynde flere forskere til at vende AI-normerne. Mens traditionelle datalogiske konferencer lægger vægt på at fremme beregningsteknikker for at gøre det, vil den nye udgive arbejde, der først søger at forstå et socialt problem dybt. Arbejdet er ikke mindre teknisk, men det bygger grundlaget for, at mere socialt meningsfuld AI kan opstå.

Disse ændringer, som vi kæmper for - det er ikke kun for marginaliserede grupper, siger hun. Det er faktisk for alle.

skjule