211service.com
Selv den bedste AI til at spotte falske nyheder er stadig forfærdelig
Illustration af forvirret robot, der holder en avis Ms. Tech
Da Facebooks administrerende direktør Mark Zuckerberg lovede Kongressen, at kunstig intelligens ville hjælpe med at løse problemet med falske nyheder, afslørede han meget lidt i vejen for hvordan . Ny forskning bringer os et skridt tættere på at finde ud af det.
I en omfattende undersøgelse, der vil blive præsenteret på en konference senere på måneden, testede forskere fra MIT, Qatar Computing Research Institute (QCRI) og Sofia University i Bulgarien over 900 mulige variabler til at forudsige et medies troværdighed - sandsynligvis det største sæt nogensinde foreslået .
Forskerne trænede derefter en maskinlæringsmodel på forskellige kombinationer af variablerne for at se, hvilke der ville give de mest nøjagtige resultater. Den bedste model mærkede præcist nyhedsmedier med lav, medium eller høj faktualitet kun 65 % af tiden.
Dette er langt fra en stor succes. Men eksperimenterne afslører vigtige ting om, hvad det ville tage at outsource vores faktatjek til en maskine. Preslav Nakov, seniorforsker ved QCRI og en af forskerne i undersøgelsen, siger, at han er optimistisk over, at kilder til falske nyheder automatisk kan ses på denne måde.
Men det betyder ikke, at det bliver nemt.
Metode til vanvid
I eksplosionen af forskning om opdagelse af falske nyheder siden den amerikanske præsidentkampagne i 2016 er fire hovedtilgange dukket op: faktatjek af individuelle påstande, opdagelse af falske artikler, jagt efter trolde og måling af nyhedskilders pålidelighed. Nakov og resten af holdet valgte at fokusere på den fjerde, fordi den kommer tættest på oprindelsen af misinformation. Det er også blevet undersøgt mindst.
Tidligere undersøgelser forsøgte at karakterisere pålideligheden af en nyhedskilde ved, hvor mange af dens påstande matchede eller var i konflikt med påstande, der allerede var blevet faktatjekket. Med andre ord ville en maskine sammenligne historien om faktuelle påstande fra et nyhedsmedie med konklusionerne fra websteder som Snopes eller PolitiFact. Mekanismen er imidlertid afhængig af menneskelig faktatjek og evaluerer forretningens historie, ikke den umiddelbare nutid. Da de seneste påstande er blevet manuelt faktatjekket, er det allerede for sent, siger Nakov.
For at få øje på en falsk nyhedskilde i tæt på realtid trænede Nakov og hans samarbejdspartnere deres system ved hjælp af variabler, der kunne tabuleres uafhængigt af menneskelige faktatjekkere. Disse omfattede analyser af indholdet, såsom sætningsstrukturen i overskrifter og orddiversiteten i artikler; overordnede webstedsindikatorer, såsom URL-strukturen og webstedstrafik; og målinger af forretningens indflydelse, såsom dets sociale medier engagement og Wikipedia-side, hvis nogen.
For at udvælge variablerne stolede forskerne både på tidligere forskning - tidligere undersøgelser har vist, at falske nyhedsartikler for eksempel har en tendens til at have gentagne ordvalg - og på nye hypoteser.
Ved at teste forskellige kombinationer af variabler var forskerne i stand til at identificere de bedste forudsigelser for en nyhedskildes pålidelighed. Hvorvidt en forretning havde en Wikipedia-side, for eksempel, havde en stor forudsigelseskraft; outlets trafik havde derimod ingen. Øvelsen hjalp forskerne med at bestemme yderligere variabler, de kunne udforske i fremtiden.
Data sultede
Men der er en anden hindring: mangel på træningsdata - hvad Nakov kalder grundsandheden.
Til de fleste maskinlæringsopgaver er det nemt nok at annotere træningsdataene. Hvis du vil bygge et system, der registrerer artikler om sport, kan du nemt mærke artikler som relaterede eller ikke-relaterede til det emne. Du føder derefter datasættet ind i en maskine, så den kan lære en sportsartikels egenskaber.
Men at mærke medier med høj eller lav faktualitet er meget mere følsomt. Det skal gøres af professionelle journalister, der følger stringente metoder, og det er en tidskrævende proces. Som følge heraf er det udfordrende at opbygge et solidt korpus af træningsdata, hvilket blandt andet er grunden til, at nøjagtigheden af undersøgelsens model er så lav. Den mest oplagte måde at øge nøjagtigheden på er at få flere træningsdata, siger Nakov
I øjeblikket har Media Bias Fact Check, den organisation, der er valgt til at levere grundsandheden til forskningen, evalueret 2.500 mediekilder - en mangel på maskinlæring. Men Nakov siger, at organisationens database vokser hurtigt. Udover at indhente flere træningsdata, søger forskerne også at forbedre deres models ydeevne med flere variabler, hvoraf nogle beskriver hjemmesidens struktur, om den har kontaktoplysninger og dens mønstre for publicering og sletning af indhold.
De er også i de tidlige stadier af opbygningen af en nyhedsaggregeringsplatform, der giver læserne vigtige signaler om troværdigheden af hver historie og kilde, der deles.
På trods af det arbejde, der mangler at blive gjort, mener Nakov, at sådan teknologi kan hjælpe med at løse fake-news-epidemien relativt hurtigt, hvis platforme som Facebook og Twitter seriøst gør en indsats. Det er som at bekæmpe spam, skrev han i en Skype-besked. Vi vil aldrig stoppe falske nyheder fuldstændigt, men vi kan sætte dem under kontrol.