Velkommen til TikToks endeløse cyklus af censur og fejl

Fru Tech | Envato

Ziggi Tyler er en del af TikToks Creator Marketplace, en privat platform, hvor brands kan forbindes med appens topskabere. Og i sidste uge bemærkede han noget temmelig foruroligende ved, hvordan skaberens bios der blev automatisk modereret.

Da han forsøgte at indtaste visse sætninger i sin biografi, blev nogle af dem – sorte liv betyder noget, støtte sorte mennesker, støtte sorte stemmer og støtte sort succes – markeret som upassende indhold. Men hvide versioner af de samme sætninger var acceptable.

Hvis jeg går ind på Creator Marketplace og sætter 'supporting white supremacy' og trykker på accepter, er det okay, sagde han i en TikTok-video , stående foran det, han sagde, var en videooptagelse af ham, der gjorde netop det på sin egen telefon. For at blive opført på markedspladsen var han nødt til at slette det, han havde skrevet.

Relateret historie

TikTok ændrede formen på nogle menneskers ansigter uden at spørge

Brugere bemærkede, hvad der så ud til at være et skønhedsfilter, de ikke havde bedt om – og som de ikke kunne slukke.

I en opfølgende video , Tyler viste sætningerne jeg er en nynazist og jeg er en anti-semetiker ved at blive accepteret, mens jeg er en sort mand blev markeret. Historien blæste i luften, delvist drevet af et publikum, der allerede var frustreret over den måde, hvorpå sorte skabere bliver behandlet på TikTok. I en kommentar til Insider , undskyldte en talsmand for virksomheden for den væsentlige fejl og sagde, at det, Tyler så, var et resultat af et automatisk filter indstillet til at blokere ord forbundet med hadefulde ytringer. Systemet, sagde det, var fejlagtigt indstillet til at markere sætninger uden respekt for ordrækkefølge. Virksomheden fortalte recode, at denne særlige fejl kom fra inklusion af ordene Black og publikum, fordi dets opdagelse af hadefuld tale opfangede terningen i publikum og markerede parringen som upassende.

Bliver offentlig, går viralt

Det er langt fra den eneste sådanne hændelse, der finder sted på platformen. For et par uger siden, TikTok fejlagtigt anvendt hvad der så ud til at være et obligatorisk skønhedsfilter, der skabte en slankere kæbelinje for nogle Android-brugere.

I april bemærkede en TikTok-skaber i mellemtiden, at platformens nye automatiske billedtekstfunktion blokerede udtrykket asiatiske kvinder. Og i begyndelsen af ​​2021 fandt intersex-skabere ud af, at #intersex-hashtagget ikke længere kunne findes på appen.

Disse er alle eksempler på et mønster, der gentager sig på TikTok: Først bemærker en skabere et bizart og potentielt skadeligt problem med platformens moderering eller algoritme, som ofte påvirker marginaliserede grupper uforholdsmæssigt meget. Så laver de en video om, hvad der foregår, og den video får mange visninger. Til sidst bliver en journalist måske interesseret i, hvad der foregår, beder virksomheden om at forklare, og problemet er løst. TikTok udgiver derefter en erklæring, der siger, at problemet var resultatet af en fejl, og understreger det arbejde, de udfører for at støtte skaberne og de berørte årsager.

Det er ikke nødvendigvis en overraskelse, at disse videoer skaber nyheder. Folk laver deres videoer, fordi de virker. At få visninger har været en af ​​de mere effektive strategier til at skubbe en stor platform til at rette noget i årevis. Tiktok, Twitter og Facebook har gjort det nemmere for brugere at rapportere misbrug og regelbrud fra andre brugere. Men når disse virksomheder ser ud til at bryde deres egne politikker, opdager folk ofte, at den bedste vej frem simpelthen er at forsøge at skrive om det på selve platformen i håbet om at blive viralt og få opmærksomhed, der fører til en form for løsning. Tylers to videoer på Marketplace bios, for eksempel, har hver især mere end 1 million visninger.

'Indhold bliver markeret, fordi de er nogen fra en marginaliseret gruppe, der taler om deres oplevelser med racisme. Hadefulde ytringer og tale om hadefulde ytringer kan ligne en algoritme meget.

Casey Fiesler, University of Colorado, Boulder

Jeg bliver nok tagget i noget omkring en gang om ugen, siger Casey Fiesler, en assisterende professor ved University of Colorado, Boulder, som studerer teknologietik og online-fællesskaber. Hun er aktiv på TikTok med mere end 50.000 følgere, men selvom ikke alt, hvad hun ser, føles som en legitim bekymring, siger hun, at appens regelmæssige parade af problemer er reel. TikTok har haft flere sådanne fejl i løbet af de sidste par måneder, som alle har uforholdsmæssigt påvirket marginaliserede grupper på platformen.

MIT Technology Review har spurgt TikTok om hvert af disse seneste eksempler, og svarene ligner hinanden: efter at have undersøgt, finder TikTok, at problemet er oprettet ved en fejl, understreger, at det pågældende blokerede indhold ikke er i strid med deres politikker, og links til at støtte virksomheden giver sådanne grupper.

Spørgsmålet er, om den cyklus - en teknisk eller politisk fejl, et viralt svar og undskyldning - kan ændres.

Løsning af problemer, før de opstår

Der er to slags skader ved denne formentlig algoritmiske indholdsmoderering, som folk observerer, siger Fiesler. Det ene er falske negativer. Folk er ligesom, 'hvorfor er der så meget hadefulde ytringer på denne platform, og hvorfor bliver den ikke fjernet?'

Den anden er en falsk positiv. Deres indhold bliver markeret, fordi de er nogen fra en marginaliseret gruppe, der taler om deres oplevelser med racisme, siger hun. Hadefulde ytringer og tale om hadefulde ytringer kan ligne en algoritme meget.

Begge disse kategorier, bemærkede hun, skader de samme mennesker: dem, der er uforholdsmæssigt målrettet for misbrug, ender med at blive algoritmisk censureret for at udtale sig om det.

TikTok mystiske anbefalingsalgoritmer er en del af dens succes - men dets uklare og konstant skiftende grænser har allerede en afslappende effekt på nogle brugere. Fiesler bemærker, at mange TikTok-skabere selvcensurerer ord på platformen for at undgå at udløse en anmeldelse. Og selvom hun ikke er sikker på præcis, hvor meget denne taktik udretter, er Fielser også begyndt at gøre det selv, for en sikkerheds skyld. Kontoforbud, algoritmiske mysterier og bizarre modereringsbeslutninger er en konstant del af samtalen på appen.

Relateret historie

Hvordan Facebook blev afhængig af at sprede misinformation

Virksomhedens AI-algoritmer gav det en umættelig vane til løgne og hadefulde ytringer. Nu kan manden, der byggede dem, ikke løse problemet.

Endnu værre, mange af disse fejl, hævdede Fiesler, ville være nemme at forudsige, hvis virksomheder blot tænkte mere over, hvordan forskellige brugere faktisk ville interagere med deres app. Den hadefulde tale-fejl, som Tyler stødte på, ville være svær at gå glip af, hvis virksomheden testede den på det sprog, Black-skabere faktisk bruger til at beskrive sig selv, for eksempel.

At få mådehold rigtigt er komplekst, siger Feisler, men det undskylder ikke denne konstante gentagelse.

Jeg er ofte mere sympatisk over for udfordringerne ved disse ting, end de fleste mennesker er, siger hun. Men selv jeg er ligesom, 'virkelig?' På et tidspunkt er der mønstre, og du bør vide, hvad du skal kigge efter.

Jeg spurgte Fiesler om, hvorvidt noget kunne bremse denne cyklus, selvom det er umuligt at løse direkte på dette tidspunkt. En del af svaret er en af ​​de mest langvarige historier inden for teknologi: hyr og lyt til folk med forskellige baggrunde.

Men, siger hun, større gennemsigtighed skal også være en del af løsningen. Fiesler kan ikke præcist sige, hvorfor TikToks hadetale-detektor gik så galt i sidste uge, fordi appen ikke har frigivet særlig meget information om, hvordan den fungerer – ikke til forskere som hende og ikke til de brugere, hvis indhold er fjernet eller undertrykt af automatiseret processer, som historien viser, nemt kan gå galt. Når jeg som journalist har bedt TikTok (og andre gange andre platforme) om mere detaljerede forklaringer om, hvorfor noget, de kalder en fejl, skete, og hvad de gør for at forhindre, at det gentager sig i fremtiden, svaret er kort, utilfredsstillende, eller virksomheden afviser helt at kommentere optegnelsen.

Hvis skabere konstant får ting upassende markeret, så skal der være virkelig nemme appelprocesser, siger hun.

I mellemtiden: cyklussen fortsætter.

skjule