Bekymret over dit firmas AI-etik? Disse startups er her for at hjælpe.

Getty

Rumman Chowdhurys job plejede at involvere en masse oversættelse. Som ansvarlig AI-leder hos konsulentfirmaet Accenture ville hun arbejde med kunder, der havde svært ved at forstå deres AI-modeller. Hvordan vidste de, om modellerne gjorde, hvad de skulle? Forvirringen opstod ofte delvist, fordi virksomhedens dataforskere, advokater og ledere så ud til at tale forskellige sprog. Hendes team ville fungere som mellemled, så alle parter kunne komme på samme side. Det var mildest talt ineffektivt: revision af en enkelt model kunne tage måneder.

Så i slutningen af ​​2020 forlod Chowdhury sin stilling for at starte sit eget foretagende. Hedder Paritet AI , det tilbyder kunderne et sæt værktøjer, der søger at reducere processen ned til et par uger. Det hjælper dem først med at identificere, hvordan de ønsker at revidere deres model – er det for bias eller for lovoverholdelse? – og giver derefter anbefalinger til at tackle problemet.

Parity er blandt en voksende skare af startups, der lover organisationer måder at udvikle, overvåge og reparere deres AI-modeller på. De tilbyder en række produkter og tjenester fra bias-mitigation-værktøjer til forklaringsplatforme. Oprindeligt kom de fleste af deres kunder fra stærkt regulerede industrier som finans og sundhedspleje. Men øget forskning og mediebevågenhed på spørgsmål om bias , privatliv og gennemsigtighed har flyttet fokus for samtalen. Nye kunder er ofte blot bekymrede for at være ansvarlige, mens andre ønsker at fremtidssikre sig selv i forventning om regulering.

Så mange virksomheder står virkelig over for dette for første gang, siger Chowdhury. Næsten alle af dem beder faktisk om hjælp.

Fra risiko til påvirkning

Når man arbejder med nye kunder, undgår Chowdhury at bruge udtrykket ansvar. Ordet er for squishy og dårligt defineret; det efterlader for meget plads til fejlkommunikation. Hun begynder i stedet med mere velkendt virksomhedssprog: ideen om risiko. Mange virksomheder har risiko- og overholdelsesarme og etablerede processer til risikobegrænsning.

AI-risikoreduktion er ikke anderledes. En virksomhed bør starte med at overveje de forskellige ting, den bekymrer sig om. Disse kan omfatte juridisk risiko, muligheden for at bryde loven; organisatorisk risiko, muligheden for at miste medarbejdere; eller omdømmerisiko, muligheden for at lide en PR-katastrofe. Derfra kan den arbejde baglæns for at beslutte, hvordan den skal auditere sine AI-systemer. Et finansieringsselskab, der opererer under de retfærdige lånelove i USA, vil gerne tjekke sine lånemodeller for bias for at afbøde juridisk risiko. En telesundhedsvirksomhed, hvis systemer træner på følsomme medicinske data, kan udføre privatlivsrevisioner for at mindske risikoen for omdømme.

Parity inkluderer et bibliotek med foreslåede spørgsmål, der hjælper virksomheder med at vurdere risikoen ved deres AI-modeller.

PARITET

Paritet hjælper med at organisere denne proces. Platformen beder først en virksomhed om at opbygge en intern konsekvensanalyse - i det væsentlige et sæt åbne spørgeskemaspørgsmål om, hvordan dets forretning og AI-systemer fungerer. Den kan vælge at skrive tilpassede spørgsmål eller vælge dem fra Paritys bibliotek, som har mere end 1.000 prompter tilpasset fra AI-etiske retningslinjer og relevant lovgivning fra hele verden. Når vurderingen er bygget op, opfordres medarbejdere på tværs af virksomheden til at udfylde den baseret på deres jobfunktion og viden. Platformen kører derefter deres fritekstsvar gennem en behandlingsmodel på naturligt sprog og oversætter dem med et øje mod virksomhedens vigtigste risikoområder. Paritet fungerer med andre ord som det nye mellemled i at få dataforskere og advokater på samme side.

Dernæst anbefaler platformen et tilsvarende sæt af risikobegrænsende handlinger. Disse kunne omfatte oprettelse af et dashboard til løbende at overvåge en models nøjagtighed eller implementering af nye dokumentationsprocedurer for at spore, hvordan en model blev trænet og finjusteret på hvert trin af dens udvikling. Det tilbyder også en samling af open source-rammer og værktøjer, der kan hjælpe, som IBM's AI Fairness 360 til bias overvågning eller Googles modelkort til dokumentation.

Chowdhury håber, at hvis virksomheder kan reducere den tid, det tager at revidere deres modeller, vil de blive mere disciplinerede med at gøre det regelmæssigt og ofte. Med tiden håber hun, at dette også kan åbne dem for at tænke ud over risikobegrænsning. Mit luskede mål er faktisk at få flere virksomheder til at tænke på effekt og ikke kun risiko, siger hun. Risiko er det sprog, folk forstår i dag, og det er et meget værdifuldt sprog, men risiko er ofte reaktivt og responsivt. Impact er mere proaktivt, og det er faktisk den bedre måde at rammesætte, hvad det er, vi bør gøre.

Et ansvarligt økosystem

Mens Parity fokuserer på risikostyring, er en anden startup, Violinist , fokuserer på forklarlighed. Administrerende direktør Krishna Gade begyndte at tænke på behovet for mere gennemsigtighed i, hvordan AI-modeller træffer beslutninger, mens han fungerede som ingeniørchef for Facebooks nyhedsfeed-team. Efter præsidentvalget i 2016 lavede virksomheden et stort internt skub for bedre at forstå, hvordan dets algoritmer rangerede indhold. Gades team udviklede et internt værktøj, der senere blev grundlaget for Hvorfor ser jeg dette? funktion .

Relateret historie

Fem måder at gøre AI til en større kraft for det gode i 2021 Der er mere opmærksomhed på AI's indflydelse end nogensinde før. Lad os få det til at tælle.

Gade lancerede Fiddler kort efter det, i oktober 2018. Det hjælper datavidenskabsteams med at spore deres modellers udviklende ydeevne og opretter rapporter på højt niveau til virksomhedsledere baseret på resultaterne. Hvis en models nøjagtighed forringes over tid, eller den viser forudindtaget adfærd, hjælper Fiddler med at finde ud af, hvorfor det kan ske. Gade ser overvågningsmodeller og forbedring af forklaringen som de første skridt til at udvikle og implementere AI mere bevidst.

Arthur , grundlagt i 2019, og Vægte og skævheder , grundlagt i 2017, er yderligere to virksomheder, der tilbyder overvågningsplatforme. Ligesom Fiddler lægger Arthur vægt på forklarlighed og bias-reduktion, mens Weights & Biases sporer maskinlæringseksperimenter for at forbedre forskning reproducerbarhed . Alle tre virksomheder har observeret et gradvist skift i virksomhedernes største bekymringer, fra lovoverholdelse eller modelpræstation til etik og ansvar.

Den kyniske del af mig var i begyndelsen bekymret for, at vi ville se kunder komme ind og tro, at de bare kunne markere en boks ved at forbinde deres brand med en anden, der laver ansvarlig AI, siger Liz O'Sullivan, Arthurs VP for ansvarlig AI, som fungerer også som teknologidirektør for Surveillance Technology Oversight Project, en aktivistorganisation. Men mange af Arthurs kunder har søgt at tænke ud over blot tekniske rettelser til deres styringsstrukturer og tilgange til inkluderende design. Det har været så spændende at se, at de virkelig er investeret i at gøre det rigtige, siger hun.

O'Sullivan og Chowdhury er også begge glade for at se flere startups som deres komme online. Der er ikke kun ét værktøj eller én ting, du skal gøre for at udføre ansvarlig AI, siger O'Sullivan. Chowdury er enig: Det bliver et økosystem.

skjule