En AI så et beskåret billede af AOC. Det autofuldførte hende iført bikini.

Fru Tech | Getty

Sproggenereringsalgoritmer er kendt for at indlejre racistiske og sexistiske ideer. De er trænet i internettets sprog, inklusive de mørke hjørner af Reddit og Twitter, der kan omfatte hadefulde ytringer og desinformation. Uanset hvilke skadelige ideer, der er til stede i disse fora, bliver de normaliseret som en del af deres læring.

Forskere har nu demonstreret at det samme kan være tilfældet for billedgenereringsalgoritmer. Giv én et billede af en mand beskåret lige under hans hals, og 43 % af tiden vil det autofuldføre ham iført et jakkesæt. Giv den samme et beskåret billede af en kvinde, endda en berømt kvinde som den amerikanske repræsentant Alexandria Ocasio-Cortez, og 53 % af tiden vil det autokomplettere hende iført en lav-cut top eller bikini. Dette har konsekvenser ikke kun for billedgenerering, men for alle computervisionsapplikationer, inklusive videobaserede kandidatvurderingsalgoritmer , ansigtsgenkendelse og overvågning.

Ryan Steed, en ph.d.-studerende ved Carnegie Mellon University, og Aylin Caliskan, en assisterende professor ved George Washington University, så på to algoritmer: OpenAIs iGPT (en version af GPT-2, der trænes på pixels i stedet for ord) og Googles SimCLR . Mens hver algoritme nærmer sig indlæring af billeder forskelligt, deler de en vigtig egenskab - de bruger begge fuldstændigt uovervåget læring , hvilket betyder, at de ikke behøver mennesker til at mærke billederne.

Dette er en relativt ny innovation fra 2020. Tidligere computervisionsalgoritmer er hovedsageligt brugt overvåget læring, som involverer at fodre dem med manuelt mærkede billeder: kattebilleder med mærket kat og babybilleder med mærket baby. Men i 2019 fandt forsker Kate Crawford og kunstneren Trevor Paglen ud af, at disse menneskeskabte etiketter i ImageNet, det mest grundlæggende billeddatasæt til træning af computersynsmodeller, indeholder nogle gange forstyrrende sprog , som tøs for kvinder og racistiske bagtalelser for minoriteter.

Det seneste papir viser en endnu dybere kilde til toksicitet. Selv uden disse menneskelige etiketter koder selve billederne for uønskede mønstre. Spørgsmålet er parallelt med, hvad NLP-fællesskabet (natursprogbehandling) allerede har opdaget. De enorme datasæt, der er kompileret til at fodre disse datahungrende algoritmer, fanger alt på internettet. Og internettet har en overrepræsentation af letpåklædte kvinder og andre ofte skadelige stereotyper.

For at udføre deres undersøgelse tilpassede Steed og Caliskan smart en teknik, som Caliskan tidligere brugte til at undersøge bias i uovervågede NLP-modeller. Disse modeller lærer at manipulere og generere sprog ved hjælp af ordindlejringer, en matematisk repræsentation af sprog, der grupperer ord, der almindeligvis bruges sammen, og adskiller ord, der almindeligvis findes fra hinanden. I en 2017 papir udgivet i Videnskab , målte Caliskan afstandene mellem de forskellige ordparringer, som psykologer brugte til at måle menneskelige skævheder i Implicit Association Test (IAT) . Hun fandt ud af, at disse afstande næsten perfekt genskabte IAT's resultater. Stereotypiske ordparringer som mand og karriere eller kvinde og familie lå tæt sammen, mens modsatte parringer som mand og familie eller kvinde og karriere lå langt fra hinanden.

iGPT er også baseret på indlejringer: det grupperer eller adskiller pixels baseret på, hvor ofte de optræder sammen i dets træningsbilleder. Disse pixel-indlejringer kan derefter bruges til at sammenligne, hvor tæt på eller langt to billeder er i det matematiske rum.

Relateret historie

De sande farer ved AI er tættere på, end vi tror

Glem superintelligent AI: Algoritmer skaber allerede reel skade. Den gode nyhed: tilbageslaget er begyndt.

I deres undersøgelse fandt Steed og Caliskan igen ud af, at disse afstande afspejler resultaterne af IAT. Billeder af mænd og slips og jakkesæt vises tæt sammen, mens billeder af kvinder vises længere fra hinanden. Forskerne fik de samme resultater med SimCLR, på trods af at den brugte en anden metode til at udlede indlejringer fra billeder.

Disse resultater har angående implikationer for billedgenerering. Andre billedgenereringsalgoritmer, f.eks generative kontradiktoriske netværk , har ført til en eksplosion af deepfake pornografi at næsten udelukkende rettet mod kvinder . Især iGPT tilføjer endnu en måde for folk at generere seksualiserede billeder af kvinder.

Men de potentielle nedstrømseffekter er meget større. Inden for NLP er uovervågede modeller blevet rygraden for alle slags applikationer. Forskere begynder med en eksisterende uovervåget model som BERT eller GPT-2 og bruger et skræddersyet datasæt til at finjustere det til et specifikt formål. Denne semi-superviserede tilgang, en kombination af både uovervåget og superviseret læring, er blevet en de facto standard.

Ligeledes begynder computersynsfeltet at se samme tendens. Steed og Caliskan bekymrer sig om, hvad disse indbyggede skævheder kan betyde, når algoritmerne bruges til følsomme applikationer såsom i politiarbejde eller ansættelse, hvor modeller allerede analyserer kandidatvideooptagelser for at afgøre, om de passer godt til jobbet. Det er meget farlige applikationer, der træffer konsekvensbeslutninger, siger Caliskan.

Deborah Raji, en Mozilla-stipendiat, der var medforfatter en indflydelsesrig undersøgelse afslører skævhederne i ansigtsgenkendelse, siger undersøgelsen skal tjene som et wakeup-call til computersynsfeltet. I lang tid handlede meget af kritikken om bias om den måde, vi mærker vores billeder på, siger hun. Nu siger dette papir, at den faktiske sammensætning af datasættet resulterer i disse skævheder. Vi har brug for ansvarlighed for, hvordan vi samler disse datasæt og indsamler disse oplysninger.

Steed og Caliskan opfordrer til større gennemsigtighed fra de virksomheder, der udvikler disse modeller, for at åbne dem og lade det akademiske samfund fortsætte deres undersøgelser. De opfordrer også andre forskere til at udføre flere tests, før de implementerer en visionsmodel, f.eks. ved at bruge de metoder, de udviklede til dette papir. Og endelig håber de, at feltet vil udvikle mere ansvarlige måder at kompilere og dokumentere, hvad der er inkluderet i træningsdatasæt.

Caliskan siger, at målet i sidste ende er at opnå større bevidsthed og kontrol, når man anvender computersyn. Vi skal være meget forsigtige med, hvordan vi bruger dem, siger hun, men samtidig kan vi nu, hvor vi har de her metoder, forsøge at bruge det her til socialt gode.

skjule