Vi er i en mangfoldighedskrise: medstifter af Black in AI om, hvad der forgifter algoritmer i vores liv

Timnit Gebru kigger rundt i AI-verdenen og ser næsten ingen, der ligner hende. Det er et problem for os alle. Ved

• Jackie Snow arkiv side

14. februar 2018

høflighed af timnit brug

Kunstig intelligens er en mere og mere problemfri del af vores hverdag, til stede i alt fra websøgninger til sociale medier til hjemmeassistenter som Alexa. Men hvad gør vi, hvis denne enormt vigtige teknologi er utilsigtet, men grundlæggende, forudindtaget? Og hvad gør vi, hvis dette enormt vigtige felt næsten ikke omfatter sorte forskere? Timnit Gebru tackler disse spørgsmål som en del af Microsofts Fairness, Accountability, Transparency, and Ethics in AI-gruppe, som hun sluttede sig til sidste sommer. Hun var også med til at stifte Black in AI-begivenheden ved Neural Information Processing Systems (NIPS)-konferencen i 2017 og var med i styregruppen for den første Fairness and Transparency-konference i februar. Hun talte med MIT Technology Review om, hvordan bias kommer ind i AI-systemer, og hvordan diversitet kan modvirke det.

Hvordan forvrænger manglen på mangfoldighed kunstig intelligens og specifikt computersyn?

Denne historie var en del af vores marts 2018-udgave

• Se resten af ​​problemet
• Abonner

Jeg kan tale om det her i et helt år. Der er en skævhed i forhold til, hvilke slags problemer vi synes er vigtige, hvilken slags forskning vi synes er vigtig, og hvor vi mener, at AI skal gå hen. Hvis vi ikke har mangfoldighed i vores sæt af forskere, vil vi ikke tage fat på problemer, som størstedelen af ​​mennesker i verden står over for. Når problemer ikke påvirker os, tror vi ikke, de er så vigtige, og vi ved måske ikke engang, hvad disse problemer er, fordi vi ikke interagerer med de mennesker, der oplever dem.

Da jeg startede Black in AI, startede jeg det sammen med et par af mine venner. Før det havde jeg en lille mailingliste, hvor jeg bogstaveligt talt ville tilføje enhver sort person, jeg så i dette felt, til mailinglisten og sige: 'Hej, jeg hedder Timnit. Jeg er sort person nummer to. Hej, sort person nummer et. Lad os være venner.'

Er der måder at modvirke bias i systemer?

Grunden til, at diversitet er virkelig vigtig i AI, ikke kun i datasæt, men også i forskere, er, at du har brug for folk, der bare har denne sociale fornemmelse af, hvordan tingene er. Vi er i en mangfoldighedskrise for AI. Udover at have tekniske samtaler, samtaler om jura, samtaler om etik, skal vi have samtaler om mangfoldighed i AI. Vi har brug for al slags mangfoldighed i AI. Og dette skal behandles som noget, der er ekstremt presserende.

Fra et teknisk synspunkt er der mange forskellige slags tilgange. Den ene er at diversificere dit datasæt og have mange forskellige annotationer af dit datasæt, som race og køn og alder. Når du først har trænet en model, kan du teste den og se, hvor godt den klarer sig af alle disse forskellige undergrupper. Men selv efter du har gjort dette, er du bundet til at have en slags skævhed i dit datasæt. Du kan ikke have et datasæt, der perfekt sampler hele verden.

Noget jeg virkelig brænder for, og jeg arbejder på lige nu, er at finde ud af, hvordan man kan opmuntre virksomheder til at give mere information til brugere eller endda forskere. De burde have anbefalet brugen, hvad faldgruberne er, hvor partisk datasættet er osv. Så når jeg er en nystartet virksomhed, og jeg bare tager dit hyldedatasæt eller hyldemodel og inkorporerer det i hvad end jeg laver, i det mindste har jeg en vis viden om, hvilke slags faldgruber der kan være. Lige nu er vi et sted næsten som det vilde vesten, hvor vi ikke rigtig har mange standarder [om], hvor vi udgiver datasæt.

Og så er der bare nogle ting, du nok ikke burde bruge machine learning til lige nu, og vi har ikke en klar guideline for, hvad de ting er. Vi bør sige, at hvis du skal bruge maskinlæring til denne særlige opgave, skal nøjagtigheden af ​​din model være mindst X, og den bør være fair i denne særlige henseende. Det har vi heller ikke nogen form for retningslinjer for. AI er lige nu begyndt at blive bagt ind i mainstream, til et produkt overalt, så vi er ved en afgrund, hvor vi virkelig har brug for en form for samtale omkring standardisering og brug.

TILLADELSE AF TIMENIT BRUGT

Hvad har været drivkraften bag dit arbejde med Google Street View og anden demografisk forskning?

På det tidspunkt, vi startede dette projekt, var der meget lidt arbejde, der blev gjort for at prøve at analysere kultur ved hjælp af billeder. Men vi ved, at online er de fleste af vores data i form af billeder. En af vores motiver var at vise, at man kunne lave sociale analyser ved hjælp af billeder.

Dette kan være meget nyttigt i tilfælde, hvor det er virkelig svært at få undersøgelsesbaserede data. Der er steder i verden, hvor infrastrukturen ikke er der, og ressourcerne ikke er der til at sende folk dør til dør og indsamle [folketælling] data, [men hvor] det ville have en forståelse af de forskellige typer befolkninger, der bor i dit land. være meget hjælpsom.

Men igen, det er netop det, der også gav mig lyst til at studere retfærdighed. For hvis jeg skal fortsætte med at udføre dette arbejde, skal jeg virkelig have en bedre forståelse af de potentielt negative konsekvenser. Hvad er konsekvenserne for overvågning? Også, hvad er konsekvenserne for en datasæt-bias? I enhver form for data-mining-projekt vil du have en bias. Så mit arbejde dér var virkelig det, der førte til, at jeg ville bruge lidt tid i fairness-fællesskabet for at forstå, hvor faldgruberne kunne være.

Hvilke spørgsmål håber du at tage fat på med denne første Fairness and Transparency-konference?

Dette er virkelig den første konference, der behandler spørgsmålene om retfærdighed, ansvarlighed, etik og gennemsigtighed i AI. Der har været workshops på andre konferencer, og for det meste har der været workshops på enten naturligt-sprog-behandlingsbaserede konferencer eller maskinlæringsbaserede konferencer. Det er rigtig vigtigt at have den selvstændige konference, fordi den skal arbejdes videre med folk fra mange discipliner, der taler sammen.

Maskinlærende mennesker kan ikke løse dette problem alene. Der er spørgsmål om gennemsigtighed; der er spørgsmål om, hvordan lovene skal opdateres. Hvis du skal tale om bias i sundhedsvæsenet, vil du gerne tale med [sundhedspersonale] om, hvor de potentielle bias kan være, og så kan du tænke over, hvordan du har en maskinlæringsbaseret løsning.

Hvad har din erfaring været med at arbejde med kunstig intelligens?

Det er ikke nemt. Jeg elsker mit job. Jeg elsker den forskning, jeg arbejder med. Jeg elsker feltet. Jeg kan ikke forestille mig, hvad jeg ellers ville gøre i den henseende. Når det er sagt, er det meget svært at være en sort kvinde på dette felt. Da jeg startede Black in AI, startede jeg det sammen med et par af mine venner. Før det havde jeg en lille mailingliste, hvor jeg bogstaveligt talt ville tilføje enhver sort person, jeg så i dette felt, til mailinglisten og sige, Hej, jeg hedder Timnit. Jeg er sort person nummer to. Hej, sort person nummer et. Lad os være venner.

Det, der virkelig fik det til at accelerere, var [i 2016], da jeg gik til NIPS, og nogen sagde, at der var anslået 8.500 mennesker. Jeg talte seks sorte mennesker. Jeg var bogstaveligt talt i panik. Det er den eneste måde, jeg kan beskrive, hvordan jeg havde det. Jeg så, at dette felt voksede eksponentielt og ramte mainstream; det påvirker alle dele af samfundet. Samtidig så jeg også en masse retorik om mangfoldighed, og hvordan mange virksomheder synes, det er vigtigt.

Og jeg så et misforhold mellem retorik og handling. Fordi seks sorte mennesker ud af 8.500 - det er et latterligt tal, ikke? Det er næsten nul procent. Jeg tænkte: Vi er nødt til at gøre noget nu. Jeg vil gerne give en opfordring til handling til folk, der mener, at forskellighed er vigtig. For det er en nødsituation, og det skal vi gøre noget ved nu.

skjule