En deepfake bot bliver brugt til at klæde mindreårige piger af

Savka Jankovic / EyeEm

Opdatering 28/10: Siden offentliggørelsen af ​​denne artikel er den dybe falske bot på Telegram blevet blokeret på iOS for at overtræde App Store retningslinjer, ifølge forskerne . Den vigtigste Telegram-kanal, der var vært for botten, og en tilknyttet kanal til at dele dens kreationer, er også blevet fjernet.

I juni 2019, Vice afslørede eksistensen af en foruroligende app, der brugte AI til at klæde kvinder af. Kaldet DeepNude, det tillod brugere at uploade et billede af en påklædt kvinde for $50 og få et billede tilbage af hende tilsyneladende nøgen. I virkeligheden brugte softwaren generative modstridende netværk, algoritmen bag deepfakes, til at bytte kvindernes tøj ud med meget realistiske nøgne kroppe. Jo mere sparsomt klædt offeret, jo bedre. Det virkede ikke på mænd.

Inden for 24 timer havde Vice-artiklen inspireret til en sådan modreaktion, at skaberne af appen hurtigt tog den ned . DeepNude Twitter-kontoen annoncerede, at ingen andre versioner ville blive frigivet, og ingen andre ville få adgang til teknologien.

men a ny undersøgelse fra Sensity AI (tidligere Deeptrace Labs), et cybersikkerhedsfirma med fokus på at opdage misbrug af manipulerede medier, har nu fundet meget lignende teknologi, der bliver brugt af en offentligt tilgængelig bot på besked-appen Telegram. Denne gang har den en endnu enklere brugergrænseflade: alle kan sende botten et billede gennem Telegram-mobil- eller webappen og modtage en nøgen tilbage inden for få minutter. Tjenesten er også helt gratis, selvom brugere kan betale en base på 100 rubler (ca. $ 1,50) for frynsegoder, såsom at fjerne vandmærket på de strippede billeder eller springe behandlingskøen over.

Fra juli 2020 var botten allerede blevet brugt til at målrette og strippe mindst 100.000 kvinder, hvoraf størstedelen sandsynligvis ikke anede. Normalt er det unge piger, siger Giorgio Patrini, CEO og chefforsker for Sensity, som var medforfatter til rapporten. Desværre er det nogle gange også ret tydeligt, at nogle af disse mennesker er mindreårige.

Spillet af chikane

Den deepfake-bot, der blev lanceret den 11. juli 2019, er forbundet med syv Telegram-kanaler med tilsammen over 100.000 medlemmer. (Dette tal tager ikke højde for duplikatmedlemskab på tværs af kanaler, men hovedgruppen har mere end 45.000 unikke medlemmer alene.)

Den centrale kanal er dedikeret til at hoste selve botten, mens de andre bruges til funktioner som teknisk support og billeddeling. Billeddelingskanalerne inkluderer grænseflader, som folk kan bruge til at poste og bedømme deres nøgenkreationer. Jo mere et billede bliver like, jo mere belønnes dets skaber med tokens for at få adgang til botens premium-funktioner. Skaberen vil modtage et incitament, som om han spiller et spil, siger Patrini.

Fællesskabet, som let kan findes via søgning og sociale medier, er støt vokset i medlemstal i løbet af det sidste år. En meningsmåling blandt 7.200 brugere viste, at omkring 70 % af dem er fra Rusland eller andre russisktalende lande. Ofrene ser dog ud til at komme fra en bredere vifte af lande, herunder Argentina, Italien, Rusland og USA. Størstedelen af ​​dem er privatpersoner, som botens brugere siger, de kender i det virkelige liv, eller som de fandt på Instagram. Forskerne var kun i stand til at identificere en lille håndfuld af kvinderne og forsøgte at kontakte dem for at forstå deres oplevelser. Ingen af ​​kvinderne reagerede, siger Patrini.

Forskerne nåede også ud til Telegram og til relevante retshåndhævende myndigheder, herunder FBI. Telegram reagerede ikke på hverken deres notat eller MIT Technology Review's opfølgende anmodning om kommentar. Patrini siger, at de heller ikke har set nogen håndgribelig effekt på disse samfund, siden de kontaktede myndighederne.

Deepfake hævnporno

Misbrugere har brugt pornografiske billeder til at chikanere kvinder i nogen tid. I 2019, et studie fra American Psychological Association fandt, at en ud af 12 kvinder ender med at blive ofre for hævnporno på et tidspunkt i deres liv. Et studie fra den australske regering, der kiggede på Australien, Storbritannien og New Zealand, fandt, at forholdet var så højt som én ud af tre. Deepfake hævnporno tilføjer en helt ny dimension til chikanen, fordi ofrene ikke er klar over, at sådanne billeder eksisterer.

Der er også mange tilfælde, hvor deepfakes er blevet brugt til at målrette berømtheder og andre højtprofilerede personer. Teknologien blev først populær i de dybe fordybninger af internettet som en måde at udskifte berømtheder med ansigter til pornovideoer, og den er blevet brugt som en del af chikanekampagner for at gøre tavshed kvindelige journalister . Patrini siger, at han også har talt med influencers og YouTubere, som har fået dybt forfalskede pornografiske billeder af dem sendt direkte til deres sponsorer, hvilket har kostet dem en enorm følelsesmæssig og økonomisk belastning.

Patrini formoder, at disse målrettede angreb kan blive meget værre. Han og hans medforskere har allerede set teknologien udvikle sig og brede sig. For eksempel opdagede de endnu et økosystem på over 380 sider dedikeret til skabelsen og deling af eksplicitte deepfakes på den russiske sociale medieplatform VK. (Efter offentliggørelsen af ​​denne artikel sendte en talsmand fra VK MIT Technology Review en erklæring: 'VK tolererer ikke sådant indhold eller links på platformen og blokerer fællesskaber, der distribuerer dem. Vi vil køre en yderligere kontrol og blokere upassende indhold og samfund.') Forskerne fandt også ud af, at afklædningsalgoritmen begynder at blive anvendt på videoer, såsom optagelser af bikinimodeller, der går ned ad en landingsbane. Lige nu skal algoritmen anvendes ramme for ramme - den er meget rudimentær i øjeblikket, siger Patrini. Men jeg er sikker på, at folk vil perfektionere det og også oprette en licenstjeneste for det.

Desværre er der stadig få måder at stoppe denne form for aktivitet på - men bevidstheden om problemerne vokser. Virksomheder som Facebook og Google, og forskere, der producerer værktøjer til deepfake-skabelse, er begyndt at investere mere seriøst i modforanstaltninger som automatiseret deepfake-detektion. Sidste år indførte den amerikanske kongres også en ny regning der ville skabe en mekanisme for ofre til at søge retsmidler for skade på omdømmet.

I mellemtiden, siger Patrini, vil Sensity fortsætte med at spore og rapportere disse typer af ondsindede deepfakes og søge at forstå mere om motivationerne hos dem, der skaber dem, og indvirkningen på ofrenes liv. 'De data, vi deler i denne rapport, er faktisk kun toppen af ​​isbjerget,' siger han.

Opdatering: En officiel udtalelse fra den russiske sociale medieplatform VK er blevet tilføjet artiklen.

skjule