Vi er nødt til at designe mistillid i AI-systemer for at gøre dem mere sikre

høflighed af ACM

Ayanna Howard har altid søgt at bruge robotter og kunstig intelligens til at hjælpe mennesker. I løbet af sin næsten 30-årige karriere har hun bygget utallige robotter: til at udforske Mars, til at rense farligt affald og til at hjælpe børn med særlige behov. I processen har hun udviklet en imponerende række af teknikker inden for robotmanipulation, autonom navigation og computersyn. Og hun har førende feltet i at studere en almindelig fejltagelse, som mennesker begår: Vi stoler for meget på automatiserede systemer.

Den 12. maj tildelte Association for Computing Machinery Howard dette års Athena Lecturer Award, som anerkender kvinder, der har ydet grundlæggende bidrag inden for datalogi. Organisationen hædrede ikke kun Howards imponerende liste over videnskabelige resultater, men også hendes passion og engagement i at give tilbage til sit samfund. Så længe hun har været en berømt teknolog, har hun også skabt og ledet mange programmer designet til at øge deltagelse og fastholdelse af unge kvinder og underrepræsenterede minoriteter på området.

I marts, efter 16 år som professor ved Georgia Institute of Technology, begyndte hun en ny stilling som dekan for ingeniørhøjskolen ved Ohio State University. Hun er den første kvinde, der besidder stillingen. Den dag, hun modtog ACM-prisen, talte jeg med Howard om hendes karriere og hendes seneste forskning.

Det følgende er blevet redigeret for længde og klarhed.

Jeg har lagt mærke til, at du bruger udtrykket humaniseret intelligens til at beskrive din forskning, i stedet for kunstig intelligens. Hvorfor det?

Ja, jeg begyndte at bruge det i et papir i 2004. Jeg tænkte på, hvorfor vi arbejder med intelligens til robotteknologi og AI-systemer. Det er ikke sådan, at vi ønsker at skabe disse intelligente funktioner uden for vores interaktion med mennesker. Vi motiveres af den menneskelige erfaring, de menneskelige data, de menneskelige input. Kunstig intelligens indebærer, at det er en anden type intelligens, hvorimod humaniseret intelligens siger, at den er intelligent, men motiveret af den menneskelige konstruktion. Og det betyder, at når vi skaber disse systemer, sikrer vi også, at de også har nogle af vores samfundsværdier.

Hvordan kom du ind i dette arbejde?

Det var primært motiveret af min ph.d.-forskning. På det tidspunkt arbejdede jeg på at træne en robotmanipulator til at fjerne farer på et hospital. Dette var tilbage i de dage, hvor man ikke havde de der gode sikre steder at sætte nåle på. Nåle blev lagt i den samme skraldespand som alt andet, og der var tilfælde, hvor hospitalsarbejdere blev syge. Så jeg tænkte på: Hvordan designer man robotter til at hjælpe i det miljø?

Så meget tidligt handlede det om at bygge robotter, der er nyttige for mennesker. Og det var en erkendelse af, at vi ikke vidste, hvordan man bygger robotter til at udføre nogle af disse opgaver særlig godt. Men folk gør dem hele tiden, så lad os efterligne, hvordan folk gør det. Sådan startede det.

Så arbejdede jeg med NASA og prøvede at tænke på fremtidens Mars rover-navigation. Og igen var det sådan: Forskere kan gøre det her rigtig, rigtig godt. Så jeg ville have videnskabsmænd til at teleoperere disse rovere og se på, hvad de så på kameraerne på disse rovere, og derefter prøve at korrelere, hvordan de kører baseret på det. Det var altid temaet: Hvorfor går jeg ikke bare til de menneskelige eksperter, koder, hvad de laver i en algoritme, og får så robotten til at forstå det?

Tænkte og talte andre mennesker om kunstig intelligens og robotteknologi på denne menneskecentrerede måde dengang? Eller var du en mærkelig afviger?

Åh, jeg var en totalt underlig afviger. Jeg så på tingene anderledes end alle andre. Og dengang var der ingen guide til, hvordan man lavede denne form for forskning. Faktisk, når jeg nu ser tilbage på, hvordan jeg lavede undersøgelsen, ville jeg gøre det helt anderledes. Der er al denne erfaring og viden, der siden er kommet ud på området.

På hvilket tidspunkt skiftede du fra at tænke på at bygge robotter, der hjælper mennesker, til at tænke mere på forholdet mellem robotter og mennesker?

Det var i høj grad motiveret af det her undersøgelse vi gjorde om nødevakuering og robottillid. Det, vi ønskede at se, var, når mennesker er i en højrisiko, tidskritisk situation, vil de stole på en robots vejledning? Så vi bragte folk ind i en forladt kontorbygning uden for campus, og de blev lukket ind af en rejselederrobot. Vi fandt på en historie om robotten, og hvordan de skulle tage en undersøgelse – den slags. Mens de var derinde, fyldte vi bygningen med røg og satte brandalarmen i gang.

Så vi ville se, mens de navigerede ud, ville de gå til hoveddøren, ville de gå til udgangsskiltet, eller ville de følge vejledningen fra robotten, der fører dem i en anden retning?

Vi troede, at folk ville gå hen til hoveddøren, fordi det var den måde, de kom ind på, og tidligere forskning har sagt, at når folk er i en nødsituation, har de en tendens til at gå, hvor de er bekendt. Eller vi troede, de ville følge udgangsskiltene, for det er en trænet adfærd. Men det gjorde deltagerne ikke gør dette. De følger faktisk robottens vejledning.

Så introducerede vi nogle fejl. Vi fik robotten til at bryde ned, vi fik den til at gå i cirkler, vi fik den til at tage dig i en retning, der krævede, at du flyttede møbler. Vi troede på et tidspunkt, at mennesket ville sige: Lad mig gå til hoveddøren, eller lad mig gå til udgangsskiltet lige der. Det tog os bogstaveligt talt helt til slutningen, før folk holdt op med at følge robottens vejledning.

Det var første gang, at vores hypoteser var fuldstændig forkerte. Det var som om, jeg kan ikke tro, at folk stoler på systemet på denne måde. Dette er interessant og fascinerende, og det er et problem.

Har du siden dette eksperiment set dette fænomen replikeret i den virkelige verden?

Hver gang jeg ser en Tesla-ulykke. Især de tidligere. Jeg tænkte: Ja, der er det. Folk stoler for meget på disse systemer. Og jeg husker efter den allerførste, hvad gjorde de? De var ligesom, nu er du forpligtet til at holde rattet i intervaller på fem sekunder. Hvis du ikke har hånden på rattet, deaktiveres systemet.

Men du ved, de kom aldrig og talte med mig eller min gruppe, for det kommer ikke til at fungere. Og hvorfor det ikke virker, er fordi det er meget nemt at spille systemet. Hvis du kigger på din mobiltelefon, og så hører du bippet, rækker du bare hånden op, ikke? Det er underbevidst. Du er stadig ikke opmærksom. Og det er, fordi du synes, systemet er okay, og at du stadig kan gøre, hvad end det var, du lavede – læse en bog, se tv eller se på din telefon. Så det virker ikke, fordi de ikke øgede niveauet af risiko eller usikkerhed, eller vantro eller mistillid. De øgede det ikke nok til, at nogen kunne engagere sig igen.

Relateret historie

Når algoritmer roder, får det nærmeste menneske skylden Et kig på historiske casestudier viser os, hvordan vi håndterer ansvar for automatiserede systemer.

Det er interessant, at du taler om, hvordan du i den slags scenarier aktivt skal designe mistillid i systemet for at gøre det mere sikkert.

Ja, det er hvad du skal gøre. Vi prøver faktisk et eksperiment lige nu omkring ideen om lammelsesangreb. Vi har ikke resultater endnu, og vi kæmper med nogle etiske bekymringer. For når vi først har talt om det og offentliggjort resultaterne, bliver vi nødt til at forklare, hvorfor du nogle gange måske heller ikke vil give AI muligheden for at nægte en tjeneste. Hvordan fjerner man service, hvis nogen virkelig har brug for det?

Men her er et eksempel med Teslas mistillid. Denial of service ville være: Jeg opretter en profil af din tillid, som jeg kan gøre baseret på, hvor mange gange du har deaktiveret eller frigjort fra at holde rattet. På baggrund af disse profiler af uengageret, kan jeg så modellere, på hvilket tidspunkt du er fuldt ud i denne tillidstilstand. Vi har gjort dette, ikke med Tesla-data, men vores egne data. Og på et vist tidspunkt, næste gang du kommer ind i bilen, vil du få et lammelsesangreb. Du har ikke adgang til systemet i X tidsperiode.

Det er næsten ligesom når man straffer en teenager ved at tage deres telefon fra sig. Du ved, at teenagere ikke vil gøre, hvad end du ikke vil have dem til at gøre, hvis du forbinder det med deres kommunikationsmodalitet.

Hvad er nogle andre mekanismer, som du har udforsket for at øge mistilliden til systemer?

Den anden metode, vi har undersøgt, kaldes groft forklarbar AI, hvor systemet giver en forklaring med hensyn til nogle af dets risici eller usikkerheder. Fordi alle disse systemer har usikkerhed - ingen af ​​dem er 100%. Og et system ved, hvornår det er usikkert. Så det kunne give det som information på en måde et menneske kan forstå, så folk vil ændre deres adfærd.

Som et eksempel kan du sige, at jeg er en selvkørende bil, og jeg har alle mine kortoplysninger, og jeg ved, at visse vejkryds er mere udsatte for ulykker end andre. Da vi kommer tæt på en af ​​dem, vil jeg sige: Vi nærmer os et vejkryds, hvor 10 mennesker døde sidste år. Du forklarer det på en måde, hvor det får nogen til at gå. Åh, vent, måske skulle jeg være mere opmærksom.

Vi har allerede talt om nogle af dine bekymringer omkring vores tendens til at overtro disse systemer. Hvad er andre? På bagsiden, er der også fordele?

Det negative er virkelig forbundet med bias. Derfor taler jeg altid om bias og tillid i flæng. For hvis jeg overtroer disse systemer, og disse systemer træffer beslutninger, der har forskellige udfald for forskellige grupper af individer – f.eks. et medicinsk diagnosesystem har forskelle mellem kvinder og mænd – skaber vi nu systemer, der øger de uligheder, vi har i øjeblikket . Det er et problem. Og når du forbinder det med ting, der er knyttet til sundhed eller transport, som begge kan føre til liv-eller-død-situationer, kan en dårlig beslutning faktisk føre til noget, du ikke kan komme dig fra. Så det skal vi virkelig ordne.

Det positive er, at automatiserede systemer er bedre end mennesker generelt. Det tror jeg, de kan være også selvom bedre, men jeg vil personligt hellere interagere med et AI-system i nogle situationer end visse mennesker i andre situationer. Jeg ved, at det har nogle problemer, men giv mig AI'en. Giv mig robotten. De har flere data; de er mere nøjagtige. Især hvis du har en nybegynder. Det er et bedre resultat. Det kan bare være, at resultatet ikke er ens.

Ud over din robotteknologi og AI-forskning har du været en stor fortaler for at øge diversiteten på området gennem din karriere. Du startede et program til at vejlede udsatte piger på ungdomstrinnet for 20 år siden, hvilket er et godt stykke tid før mange mennesker tænkte over dette spørgsmål. Hvorfor er det vigtigt for dig, og hvorfor er det også vigtigt for feltet?

Det er vigtigt for mig, fordi jeg kan identificere tidspunkter i mit liv, hvor nogen grundlæggende gav mig adgang til teknik og datalogi. Jeg vidste ikke engang, at det var en ting. Og det er virkelig derfor, jeg senere aldrig havde problemer med at vide, at jeg kunne gøre det. Og så har jeg altid følt, at det bare var mit ansvar at gøre det samme for dem, der har gjort det for mig. Da jeg også blev ældre, bemærkede jeg, at der var mange mennesker, der ikke lignede mig i rummet. Så jeg indså: Vent, der er helt sikkert et problem her, for folk har bare ikke rollemodellerne, de har ikke adgang, de ved ikke engang, at dette er en ting.

Og hvorfor det er vigtigt for feltet, er fordi alle har forskellig erfaring. Ligesom jeg havde tænkt på menneske-robot-interaktion, før det overhovedet var en ting. Det var ikke fordi jeg var genial. Det var fordi jeg så på problemet på en anden måde. Og når jeg taler med en, der har et andet synspunkt, er det som, Åh, lad os prøve at kombinere og finde ud af det bedste fra begge verdener.

Airbags dræber flere kvinder og børn. Hvorfor det? Nå, jeg vil sige, at det er, fordi der ikke var nogen i rummet for at sige, Hej, hvorfor tester vi det ikke på kvinder på forsædet? Der er en masse problemer, der har dræbt eller været farlige for visse grupper af mennesker. Og jeg vil påstå, at hvis du går tilbage, er det fordi, du ikke havde nok folk, der kunne sige Hej, har du tænkt over dette? fordi de taler ud fra deres egen erfaring og fra deres miljø og deres samfund.

Hvordan håber du, at forskning i kunstig intelligens og robotteknologi vil udvikle sig over tid? Hvad er din vision for området?

Hvis du tænker på kodning og programmering, kan stort set alle gøre det. Der er så mange organisationer nu som Code.org. Ressourcerne og værktøjerne er der. Jeg ville elske at have en samtale med en studerende en dag, hvor jeg spørger: Kender du til AI og machine learning? og de siger, Dr. H, det har jeg gjort siden tredje klasse! Jeg vil gerne være chokeret på den måde, for det ville være vidunderligt. Selvfølgelig skulle jeg så tænke over, hvad der er mit næste job, men det er en helt anden historie.

Men jeg tror, ​​når du har værktøjerne med kodning og AI og maskinlæring, kan du skabe dine egne job, du kan skabe din egen fremtid, du kan skabe din egen løsning. Det ville være min drøm.

skjule