Når algoritmer roder, får det nærmeste menneske skylden

Et billede, der viser følgerne af en selvkørende bilulykke med et uber-køretøj på siden Tempe politiafdeling

Bloomberg tidligere på måneden udgivet en artikel om en udfoldende retssag over investeringer tabt af en algoritme. En tycoon i Hongkong tabte mere end 20 millioner dollars efter at have overladt en del af sin formue til en automatiseret platform. Uden en juridisk ramme for at sagsøge teknologien, lagde han skylden på det nærmeste menneske: manden, der solgte den til ham.

Det er den første kendte sag om automatiserede investeringstab, men ikke den første, der involverer algoritmernes ansvar. I marts 2018, en selvkørende Uber slået og dræbt en fodgænger i Tempe, Arizona, der sender endnu en sag for retten. Et år senere var Uber frikendt af alt strafansvar, men sikkerhedschaufføren kan i stedet blive sigtet for manddrab i køretøjer.

Begge sager tackler et af de centrale spørgsmål, vi står over for, når automatiserede systemer sives ind i alle aspekter af samfundet: Hvem eller hvad fortjener skylden, når en algoritme forårsager skade? Hvem eller hvad der rent faktisk får skylden er et andet, men lige så vigtigt spørgsmål.

Madeleine Clare Elish, forsker ved Data & Samfund og uddannet kulturantropolog, har brugt de sidste par år på at studere sidstnævnte spørgsmål for at se, hvordan det kan hjælpe med at besvare førstnævnte. For at gøre det har hun set tilbage på historiske casestudier. Mens moderne AI-systemer ikke har eksisteret længe, ​​er spørgsmålene omkring deres ansvar ikke nye.

Det selvkørende Uber-ulykke er parallelt med flystyrtet i 2009 af Air France-fly 447, for eksempel, og et kig på, hvordan vi behandlede ansvar, giver derefter fingerpeg om, hvad vi kan gøre nu. I den tragiske ulykke styrtede flyet ned i Atlanterhavet på vej fra Brasilien til Frankrig og dræbte alle 228 mennesker om bord. Flyets automatiserede system var designet til at være fuldstændig idiotsikkert, i stand til at håndtere næsten alle scenarier undtagen de sjældne kanttilfælde, hvor det skulle bruge en menneskelig pilot til at tage over. I den forstand var piloterne meget som nutidens sikkerhedschauffører til selvkørende biler - beregnet til passivt at overvåge flyvningen det meste af tiden, men springe til handling under ekstreme scenarier.

Relateret historie

Relateret historie Kun få lovgivere ved virkelig, hvad de taler om, men det er en begyndelse.

Hvad der skete natten til styrtet, er på dette tidspunkt en velkendt historie. Cirka halvanden time inde i flyvningen holdt flyets lufthastighedssensorer op med at fungere på grund af isdannelse. Efter at autopilotsystemet overførte kontrollen tilbage til piloterne, førte forvirring og fejlkommunikation flyet til at gå i stå. Mens en af ​​piloterne forsøgte at vende stallingen ved at pege flyets næse nedad, løftede den anden, sandsynligvis i panik, næsen for at fortsætte med at klatre. Systemet var designet til, at en pilot til enhver tid var i kontrol, og det gav ingen signaler eller haptisk feedback til at indikere, hvilken en der faktisk havde kontrol, og hvad den anden gjorde. I sidste ende klatrede flyet til en vinkel så stejl, at systemet anså det for ugyldigt og holdt helt op med at give feedback. Piloterne, der fløj fuldstændig blindt, fortsatte med at fumle, indtil flyet styrtede i havet.

I en nyere papir , undersøgte Elish eftervirkningerne af tragedien og identificerede et vigtigt mønster i den måde, offentligheden kom til at forstå, hvad der skete. Mens en føderal undersøgelse af hændelsen konkluderede, at en blanding af dårligt systemdesign og utilstrækkelig pilotuddannelse havde forårsaget den katastrofale fiasko, greb offentligheden hurtigt fast i en fortælling, der placerede den eneste skyld på sidstnævnte. Især medieskildringer fastholdt troen på, at det sofistikerede autopilotsystem ikke havde nogen fejl i sagen på trods af betydelig forskning på menneskelige faktorer, der viser, at mennesker altid har været ret uduelige til at springe ind i nødsituationer i sidste øjeblik med et roligt hoved og klart sind .

Mennesker opfører sig som en 'ansvarssvamp'.

I andre casestudier fandt Elish, at det samme mønster gælder: selv i et stærkt automatiseret system, hvor mennesker har begrænset kontrol over dets adfærd, bærer de stadig det meste af skylden for dets fejl. Elish kalder dette fænomen for en moralsk krøllezone. Mens krøllezonen i en bil er beregnet til at beskytte den menneskelige chauffør, skriver hun i sit papir, beskytter den moralske krøllezone integriteten af ​​det teknologiske system på bekostning af den nærmeste menneskelige operatør. Mennesker opfører sig som en ansvarssvamp, siger hun, og absorberer alt juridisk og moralsk ansvar i algoritmiske ulykker, uanset hvor lidt eller utilsigtet de er involveret.

Dette mønster giver vigtig indsigt i den bekymrende måde, vi taler om moderne AI-systemers ansvar. Umiddelbart efter Uber-ulykken pegede overskrifterne på Uber, men mindre end et par dage senere var fortællingen forskudt at fokusere på førerens distraktion.

Vi skal begynde at spørge, hvem der bærer risikoen ved [tech-virksomheders] teknologiske eksperimenter, siger Elish. Sikkerhedschauffører og andre menneskelige operatører har ofte ringe magt eller indflydelse på designet af de teknologiplatforme, de interagerer med. Alligevel vil de i det nuværende lovgivningsmæssige vakuum fortsætte med at betale de største omkostninger.

Regulatorer bør også have mere nuancerede samtaler om, hvilken slags rammer der vil hjælpe med at fordele ansvar retfærdigt. De skal tænke grundigt over regulering af sociotekniske systemer og ikke kun algoritmiske sorte bokse, siger Elish. Med andre ord bør de overveje, om systemets design fungerer i den kontekst, det opererer i, og om det sætter menneskelige operatører op undervejs til fiasko eller succes. Selvkørende biler bør for eksempel reguleres på en måde, så det er rimeligt at tage stilling til, om den rolle, sikkerhedsbilister bliver bedt om at spille.

På spil i begrebet den moralske krøllezone er ikke kun, hvordan ansvarlighed kan fordeles i ethvert robot- eller autonomt system, skriver hun, men også hvordan værdien og potentialet af mennesker kan få lov til at udvikle sig i sammenhæng med menneske-maskine-teams. .

Denne historie dukkede oprindeligt op i vores Webby-nominerede AI-nyhedsbrev The Algorithm. For at få flere historier som denne leveret direkte til din indbakke, tilmeld dig her. Det er gratis.

skjule