211service.com
AI-programmer lærer at udelukke nogle afroamerikanske stemmer
Stemmegrænseflader, chatbots og andre systemer diskriminerer visse minoritetsdialekter. 16. august 2017
Alt for ofte træffer folk hurtige domme baseret på, hvordan du taler. Nogle AI-systemer lærer også at være fordomme over for nogle dialekter. Og efterhånden som sprogbaserede AI-systemer bliver stadig mere almindelige, kan nogle minoriteter automatisk blive diskrimineret af maskiner, advarer forskere, der studerer problemet.
Enhver med en stærk eller usædvanlig accent ved måske, hvordan det er at have problemer med at blive forstået af Siri eller Alexa. Dette skyldes, at stemmegenkendelsessystemer bruger naturligt sprogteknologi til at analysere indholdet af tale, og det er ofte afhængigt af algoritmer, der er blevet trænet med eksempeldata. Hvis der ikke er nok eksempler på en bestemt accent eller sprog, så kan disse systemer simpelthen ikke forstå dig (se AI's sprogproblem).
Problemet kan være mere udbredt og ødelæggende, end de fleste er klar over. Natursprogteknologi driver nu automatiske interaktioner med kunder gennem automatiserede telefonsystemer eller chatbots. Det bruges til at mine den offentlige mening på nettet og sociale netværk og til at finde nyttige oplysninger i skriftlige dokumenter. Det betyder, at tjenester og produkter, der er bygget oven på sprogsystemer, allerede kan være uretfærdigt diskriminerende mod visse grupper.
Brendan O'Connor , en assisterende professor ved University of Massachusetts, Amherst, og en af hans kandidatstuderende, Su Lin Blodgett , så på sprogbrugen på Twitter. Ved hjælp af demografisk filtrering indsamlede forskerne 59,2 millioner tweets med høj sandsynlighed for at indeholde afroamerikansk slang eller sprog. De testede derefter adskillige naturlige sprogbehandlingsværktøjer på dette datasæt for at se, hvordan de ville behandle disse udsagn. De fandt ud af, at et populært værktøj klassificerede disse stillinger som danske med en høj grad af selvtillid.
Hvis du analyserer Twitter for folks meninger om en politiker, og du ikke engang overvejer, hvad afroamerikanere siger, eller unge voksne siger, virker det problematisk, siger O'Connor.
Parret testede også flere populære maskinlæringsbaserede API'er, der analyserer tekst for mening og følelser, og de fandt ud af, at disse systemer også kæmpede. Hvis du køber en sentimentanalysator fra et eller andet firma, ved du ikke engang, hvilke skævheder den har i sig, siger O'Connor. Vi har ikke meget revision eller viden om disse ting.
Han siger, at problemet strækker sig til ethvert system, der bruger sprog, inklusive søgemaskiner.
Spørgsmålet om uretfærdighed, der opstår ved brugen af AI-algoritmer, får opmærksomhed i nogle kredse, da disse algoritmer bruges mere udbredt. Et kontroversielt eksempel på mulig bias er en proprietær algoritme kaldet Compass, som bruges til at afgøre, om fængselsfanger skal bevilges prøveløsladelse. Algoritmens funktion er ukendt, men forskning antyder, at det er forudindtaget mod sorte indsatte.
Nogle eksperter siger dog, at problemet kan være mere alvorligt, end mange mennesker ved, og det påvirker et stigende antal beslutninger inden for finans, sundhedspleje og uddannelse (se Biased Algorithms are Everywhere and No One Seems to Care).
UMass-forskerne præsenterede deres arbejde på en workshop dedikeret til at udforske spørgsmålet om bias i AI. Arrangementet, Fairness and Transparency in Machine Learning, var en del af en større datavidenskabskonference i år, men det bliver en selvstændig konference i 2018. Solon barokker , en assisterende professor ved Cornell og en medstifter af begivenheden, siger, at feltet vokser, med flere og flere forskere, der udforsker spørgsmålet om bias i AI-systemer.
Delt Goel , en assisterende professor ved Stanford University, der studerer algoritmisk retfærdighed og offentlig politik, siger, at problemet ikke altid er ligetil. Han bemærker, at det kan være overdrevent forenklet at kalde algoritmer for partiske, idet de kan fungere fuldstændig efter hensigten, lave forudsigelser, der er nøjagtige og blot afspejler bredere sociale skævheder. Det er bedre at beskrive, hvad en algoritme gør, grunden til, at den gør det, og så beslutte, om det er det, vi vil have, at den skal gøre, siger Goel.