Hvordan Facebook bruger maskinlæring til at opdage falske konti

En falsk Facebook-konto Ms Tech

I 2019 faldt Facebook i gennemsnit tæt på 2 mia falske konti pr. kvartal. Svindlere bruger disse falske konti til at sprede spam, phishing-links eller malware. Det er en lukrativ forretning, der kan være ødelæggende for alle uskyldige brugere, som den fanger.

Facebook udgiver nu detaljer om det maskinlæringssystem, det bruger til at tackle denne udfordring. Teknikgiganten skelner mellem to typer falske konti. Først er der brugermisklassificerede konti, personlige profiler for virksomheder eller kæledyr, der er beregnet til at være sider. Disse er relativt ligetil at håndtere - de bliver bare konverteret til sider. At krænke konti er derimod mere alvorligt. Disse er personlige profiler, der involverer sig i svindel og spamming eller på anden måde overtræder platformens servicevilkår. Konti, der krænker konti, skal fjernes så hurtigt som muligt uden at kaste et for bredt net og også fange rigtige konti.

For at gøre dette bruger Facebook håndkodede regler og maskinlæring til at blokere en falsk konto, enten før den oprettes, eller før den bliver aktiv. Med andre ord, før det kan skade rigtige brugere. Den sidste fase er efter en falsk konto er gået live. Det er, når detektion bliver meget vanskeligere, og hvor det nye maskinlæringssystem, kendt som Deep Entity Classification (DEC), kommer ind.

Går dybt

DEC lærer at skelne mellem falske og rigtige brugere ved deres forbindelsesmønstre på tværs af netværket. Det kalder disse dybe funktioner, og de inkluderer ting som gennemsnitsalderen eller kønsfordelingen af ​​brugerens venner. Facebook bruger over 20.000 dybe funktioner til at karakterisere hver konto, hvilket giver et øjebliksbillede af, hvordan hver profil opfører sig for at gøre det vanskeligt for angribere at spille systemet ved at ændre taktik.

Systemet starter med at bruge et stort antal maskingenererede etiketter med lav præcision. Disse genereres gennem en blanding af regler og andre maskinlæringsmodeller, der vurderer, om brugerne er ægte eller falske. Når først disse data er brugt til at træne et neuralt netværk, finjusteres modellen med en lille batch håndmærkede data med høj præcision, genereret af mennesker rundt om i verden, som har en forståelse af lokale kulturelle normer.

Det endelige klassifikationssystem kan identificere en af ​​fire typer falske profiler: illegitime konti, der ikke er repræsentative for personen, kompromitterede konti fra rigtige brugere, der er blevet overtaget af angribere, spammere, der gentagne gange sender indtægtsskabende beskeder, og svindlere, der manipulerer brugere til videregivelse af personlige oplysninger. Siden implementeringen af ​​DEC, siger Facebook, har det holdt mængden af ​​falske konti på platformen på omkring 5% af månedlige aktive brugere.

Detaljerne om Facebooks oprydningsbestræbelser kommer på baggrund af bekymringer om manipulation i det kommende amerikanske præsidentvalg, især omkring deepfakes. I december, New York Times rapporteret en koordineret desinformationskampagne, der bruger deepfakes til at samle falske konti op med overbevisende profilbilleder.

Sikring af valget

Facebook-teamet sagde, at tidspunktet for udgivelsen kun var en tilfældighed. Det her handler om bare at spotte krænkelser generelt; det er ikke specifikt rettet mod nogen form for valgemner, siger Daniel Bernhardt, ingeniørchefen for Facebooks Community Integrity-team. Men DEC ville være et supplement til platformens andre bestræbelser på at slå ned på valgmanipulation. Fordi systemet er afhængigt af dybe funktioner til at kategorisere hver profil, vil det være modstandsdygtigt over for f.eks. at blive narre af deepfake profilbilleder.

Aviv Ovadya, der grundlagde nonprofitorganisationen Thoughtful Technology Project og studerer platformsdesign og -styring, siger, at Facebooks indsats for at være mere gennemsigtig med sine oprydningsprocedurer er prisværdig. Det kan være virkelig nyttigt og kraftfuldt at omhyggeligt tale om arkitektoniske beslutninger – og de måder, som sikkerhedssystemer fungerer på – som kan efterlignes af andre virksomheder, siger han. Fordi virksomheder som Facebook har betydeligt flere ressourcer at investere end mindre virksomheder, er det nyttigt at have denne videndeling.

Men der er også lang vej til oprydningsindsatsen. Med 2,5 milliarder månedlige aktive brugere er 5 % stadig 125 millioner falske konti. Maskinlæring vil også kun gå så vidt: Uanset hvor meget data en model er trænet på, vil den aldrig fange enhver dårlig konto med perfekt præcision. Platformen bliver sandsynligvis nødt til at vende sig til andre kombinationer af mennesker og maskiner for at forbedre.

Opdatering: En tidligere version af denne artikel refererede til forældede tal om virkningen af ​​Facebooks DEC-system. De er blevet opdateret for at afspejle de seneste oplysninger.

skjule