Hvad er en algoritme? Det kommer an på, hvem du spørger

Getty

At beskrive et beslutningssystem som en algoritme er ofte en måde at aflede ansvarlighed for menneskelige beslutninger. For mange indebærer begrebet et sæt regler baseret objektivt på empiriske beviser eller data. Det antyder også et system, der er meget komplekst - måske så komplekst, at et menneske ville kæmpe for at forstå dets indre funktioner eller forudse dets adfærd, når det blev implementeret.

Men er denne karakteristik korrekt? Ikke altid.

For eksempel blev Stanford Medical Centers fejlallokering af covid-19-vacciner i slutningen af ​​december skylden på en distributionsalgoritme, der favoriserede højtstående administratorer frem for læger i frontlinjen. Hospitalet hævdede at have rådført sig med etikere for at designe sin meget komplekse algoritme, som en repræsentant sagde tydeligvis ikke fungerede korrekt, da MIT Technology Review rapporterede dengang. Mens mange mennesker fortolkede brugen af ​​udtrykket til at betyde, at AI eller maskinlæring var involveret, var systemet i virkeligheden en medicinsk algoritme, som er funktionelt anderledes. Det var mere beslægtet med en meget simpel formel eller beslutningstræ designet af en menneskelig komité.

Denne afbrydelse fremhæver et voksende problem. Efterhånden som prædiktive modeller vokser, bliver offentligheden mere på vagt over for deres brug til at træffe kritiske beslutninger. Men som politikere begynder at udvikle standarder for vurdering og revision algoritmer, skal de først definere klassen af ​​beslutningstagnings- eller beslutningsstøtteværktøjer, som deres politikker vil gælde for. At lade termalgoritmen stå åben for fortolkning kan placere nogle af modellerne med den største indvirkning uden for rækkevidde af politikker designet til at sikre, at sådanne systemer ikke skader mennesker.

Sådan identificerer du en algoritme

Så er Stanfords algoritme en algoritme? Det afhænger af, hvordan du definerer begrebet. Selvom der ikke er nogen universelt accepteret definition, kommer en almindelig en fra en lærebog fra 1971 skrevet af datalogen Harold Stone, som udtaler: En algoritme er et sæt regler, der præcist definerer en sekvens af operationer. Denne definition omfatter alt fra opskrifter til komplekse neurale netværk: en revisionspolitik baseret på den ville være latterligt bred.

I statistik og maskinlæring tænker vi normalt på algoritmen som det sæt instruktioner, en computer udfører for at lære af data. I disse felter kaldes den resulterende strukturerede information typisk en model. Den information, som computeren lærer af dataene via algoritmen, kan ligne vægte, som man kan gange hver inputfaktor med, eller den kan være meget mere kompliceret. Kompleksiteten af ​​selve algoritmen kan også variere. Og virkningerne af disse algoritmer afhænger i sidste ende af de data, som de anvendes på, og den kontekst, som den resulterende model er implementeret i. Den samme algoritme kan have en netto positiv effekt, når den anvendes i én sammenhæng og en meget anderledes effekt, når den anvendes i en anden.

Relateret historie

Dette er Stanford-vaccinealgoritmen, der udelukkede læger i frontlinjen Universitetshospitalet gav en meget kompleks algoritme skylden for dens ulige vaccinefordelingsplan. Her er hvad der gik galt.

På andre domæner kaldes det, der er beskrevet ovenfor som en model, i sig selv en algoritme. Selvom det er forvirrende, er det under den bredeste definition også nøjagtigt: modeller er regler (lært af computerens træningsalgoritme i stedet for angivet direkte af mennesker), der definerer en sekvens af operationer. For eksempel beskrev medierne sidste år i Storbritannien fejlen i en algoritme at tildele fair karakterer til studerende, der ikke kunne gå til deres eksamen på grund af covid-19. Det, som disse rapporter diskuterede, var helt sikkert modellen - det sæt instruktioner, der oversatte input (en elevs tidligere præstationer eller en lærers evaluering) til output (en score).

Hvad der ser ud til at være sket på Stanford er, at mennesker – inklusive etikere – satte sig ned og bestemte, hvilken række operationer systemet skulle bruge til at bestemme, på grundlag af input såsom en medarbejders alder og afdeling, om denne person skulle være blandt de første at få en vaccine. Fra hvad vi ved, var denne sekvens ikke baseret på en estimeringsprocedure, der var optimeret til et eller andet kvantitativt mål. Det var et sæt normative beslutninger om, hvordan vacciner skulle prioriteres, formaliseret i en algoritmes sprog. Denne tilgang kvalificeres som en algoritme i medicinsk terminologi og under den brede definition, selvom den eneste involverede intelligens var menneskers.

Fokuser på effekt, ikke input

Lovgivere overvejer også, hvad en algoritme er. Introduceret i den amerikanske kongres i 2019, HR2291 , eller Algorithmic Accountability Act, bruger udtrykket automatiseret beslutningstagningssystem og definerer det som en beregningsproces, herunder en afledt af maskinlæring, statistik eller andre databehandlings- eller kunstig intelligens-teknikker, der træffer en beslutning eller letter menneskelig beslutningstagning, som påvirker forbrugerne.

Relateret historie

Revisorer tester ansættelsesalgoritmer for bias, men der er ingen nem løsning

AI-revisioner kan overse visse typer bias, og de bekræfter ikke nødvendigvis, at et ansættelsesværktøj udvælger de bedste kandidater til et job.

Tilsvarende overvejer New York City I 1894 , en lov, der ville indføre obligatoriske revisioner af automatiserede ansættelsesbeslutningsværktøjer, defineret som ethvert system, hvis funktion er styret af statistisk teori, eller systemer, hvis parametre er defineret af sådanne systemer. Navnlig giver begge lovforslag mandat til revision, men giver kun retningslinjer på højt niveau om, hvad en revision er.

Da beslutningstagere i både regeringen og industrien opretter standarder for algoritmiske revisioner, er der sandsynlighed for uenighed om, hvad der tæller som en algoritme. I stedet for at forsøge at blive enige om en fælles definition af 'algoritme' eller en bestemt universel revisionsteknik, foreslår vi at evaluere automatiserede systemer primært baseret på deres virkning. Ved at fokusere på resultat frem for input undgår vi unødvendige debatter om teknisk kompleksitet. Det, der betyder noget, er potentialet for skade, uanset om vi diskuterer en algebraisk formel eller et dybt neuralt netværk.

Påvirkning er en kritisk vurderingsfaktor på andre områder. Det er indbygget i klassikeren RÆDSEL framework i cybersikkerhed, som først blev populært af Microsoft i begyndelsen af ​​2000'erne og stadig bruges i nogle virksomheder. A'et i DREAD beder trusselsbedømmere om at kvantificere berørte brugere ved at spørge, hvor mange mennesker der vil lide under påvirkningen af ​​en identificeret sårbarhed. Konsekvensanalyser er også almindelige i menneskerettigheds- og bæredygtighedsanalyser, og vi har set nogle tidlige udviklere af AI-konsekvensvurderinger lave lignende rubrikker. For eksempel Canadas Algoritmisk konsekvensanalyse giver en score baseret på kvalitative spørgsmål såsom Er kunder i denne branche særligt sårbare? (Ja eller nej).

Det, der betyder noget, er potentialet for skade, uanset om vi diskuterer en algebraisk formel eller et dybt neuralt netværk.

Der er helt sikkert vanskeligheder ved at indføre et løst defineret begreb såsom effekt i enhver vurdering. DREAD-rammen blev senere suppleret eller erstattet af STRIDE, delvist pga udfordringer med at forene forskellige overbevisninger om, hvad trusselsmodellering indebærer. Microsoft stoppede med at bruge DREAD i 2008.

På AI-området har konferencer og tidsskrifter allerede introduceret effekterklæringer med varierende grader af succes og kontroverser. Det er langt fra idiotsikkert: Konsekvensvurderinger, der er rent formelle, kan nemt spilles, mens en alt for vag definition kan føre til vilkårlige eller umuligt langvarige vurderinger.

Alligevel er det et vigtigt skridt fremad. Udtrykket algoritme, uanset hvordan det er defineret, bør ikke være et skjold for at fritage de mennesker, der har designet og implementeret ethvert system med ansvar for konsekvenserne af dets brug. Dette er grunden til, at offentligheden i stigende grad efterspørger algoritmisk ansvarlighed - og begrebet effekt tilbyder et nyttigt fælles grundlag for forskellige grupper, der arbejder for at imødekomme denne efterspørgsel.

Kristian Lum er assisterende forskningsprofessor i Computer and Information Science Department ved University of Pennsylvania.

Rumman Chowdhury er direktør for Machine Ethics, Transparency, and Accountability (META)-teamet hos Twitter. Hun var tidligere administrerende direktør og grundlægger af Parity, en algoritmisk revisionsplatform, og global leder for ansvarlig AI hos Accenture.

skjule