En AI-app, der klædte kvinder af, viser, hvordan deepfakes skader de mest sårbare

Et billede af en kvinde med sin krop sløret Ms. Tech/ Originalt billede: Getty

Opmærksomheden omkring deepfakes og syntetiske medier er vokset i de seneste måneder. Men mens samtalen primært har fokuseret på dens potentielle indvirkning på politik, har adskillige eksperter i menneskerettigheder og teknologietik advaret om, at en anden potentiel skade er blevet overset: de muligvis ødelæggende konsekvenser for kvinder og andre sårbare befolkningsgrupper, som er målrettet med teknologien, men ikke kan beskytte sig selv.

Nu udspiller det seneste deepfake-eksperiment - en app kaldet DeepNude, der afklædte billeder af kvinder - de mareridt. Først rapporteret af Vice , brugte den generative modstridende netværk, eller GAN'er, til at bytte kvindernes tøj til yderst realistiske nøgne kroppe. Artiklen inspirerede hurtigt til et viralt modreaktion, og appens skaber lukkede den ned.

DeepNude-appen beviser vores værste frygt for den unikke måde, audiovisuelle værktøjer kan våben mod kvinder, siger Mutale Nkonde, en stipendiat ved Data & Society Research Institute, som rådgav et lovforslag fremsat i Kongressen af ​​repræsentant Yvette Clarke, der ville skabe mekanismer for ofre af sådanne ondsindede deepfakes for at søge retsmidler for skade på omdømmet.

Appen var specifikt rettet mod kvinder. Vice fandt ud af, at softwaren kun genererede billeder af kvindekroppen, selv når der blev givet et billede af en mand. Den anonyme skaber bekræftede, at han kun havde trænet GAN-algoritmen på nøgenbilleder af kvinder - i dette tilfælde mere end 10.000 af dem - fordi de var nemmere at finde online. Han havde dog også til hensigt at lave en mandlig version.

Selvom deepfakes ikke afbildede kvindernes faktiske kroppe - de er fuldstændig syntetiseret af algoritmen - havde de stadig potentialet til at forårsage betydelig følelsesmæssig og omdømmeskade. Billederne kan let forveksles med den ægte vare og bruges som hævnporno eller et kraftfuldt værktøj til at bringe kvinder til tavshed. Faktisk er dette sket før: a kvindelig journalist i Indien fik sit ansigt podet ind på en pornovideo, efter hun begyndte at afsløre regeringskorruption. Det gik øjeblikkeligt viralt og udsatte hende for intens chikane og voldtægtstrusler, og hun måtte gå offline i flere måneder.

Deepfakes er ikke en ny trussel; manipulerede medier har eksisteret siden længe før AI. Men teknologien har accelereret og udvidet eksisterende tendenser, siger Sam Gregory, programdirektør for human rights nonprofit Witness. Algoritmer har gjort det meget nemmere for langt flere mennesker at generere stadigt mere overbevisende falske medier. Alt, hvad folk brugte manipulerede medier til at gøre i fortiden, såsom at angribe journalister, antyde korruption eller sløre beviser, vil blive mere og mere almindeligt og farligt vanskeligt at opdage.

Appen er ikke anderledes, siger han. Det imagebaserede seksuelle misbrug af kvinder eksisterede allerede som et problem. Nu tilføjer deepfakes brændstof til flammerne.

Med samme logik bekymrer Nkonde, at kvinder ikke vil være de eneste sårbare mål for deepfakes. Minoriteter, LGBTQ-folk og andre grupper, der ofte er udsat for den mest alvorlige onlinechikane, vil sandsynligvis også blive ofre - dog måske på forskellige måder. Under den amerikanske præsidentkampagne i 2016, for eksempel, russiske agenter brugt falske afroamerikanske personas og relaterede billeder som en del af en Facebook-desinformationskampagne for at øge racespændingerne blandt amerikanere.

Dette var en ny måde for vælgerundertrykkelse, og det var gennem uretmæssig tilegnelse af folks identiteter online, siger Nkonde. Deepfake-teknologi ville være et andet naturligt værktøj for ondsindede aktører, der foregiver at være mennesker, de ikke er, for ikke at forstyrre fællesskaber og på anden måde forårsage skade.

Så hvor går vi hen herfra? Både Nkonde og Gregory har tidligere delt lignende anbefalinger med MIT Technology Review: Virksomheder og forskere, der producerer værktøjer til deepfakes, skal også investere i modforanstaltninger, og sociale medier og søgevirksomheder bør integrere disse modforanstaltninger direkte i deres platforme. Nkonde opfordrer også tilsynsmyndighederne til at handle hurtigt. Medmindre regeringen finder en måde at beskytte forbrugernes rettigheder på, vil apps som denne sprede sig, siger hun.

Teknologi er ikke neutral, siger Gregory. Denne [DeepNude] app er ikke dobbeltbrug. Det er engangsbrug til et ondsindet formål, og det bliver skabt amoralsk.

Vi skal virkelig fokusere på etikken i at skabe og dele generative medieværktøjer, tilføjer han. Vi bør gentagne gange kalde dette ud.

skjule