211service.com
AI besejrer Hivemind
Amazons Mechancial Turk er det ultimative inden for næsten anonym outsourcing: enhver opgave, der kan udføres online, kan udføres af kombinationen af automatiseret markedsplads og menneskelig arbejdskraft. Dem, der tilmelder sig for at udføre opgaver - tyrkere - udbetales løn så lavt som øre per opgave for at gøre alt fra dataindtastning til folkekunst .
(DC) Jim Linwood
Mechanical Turk er designet til at udføre opgaver, der er nemme for mennesker og svære for maskiner, såsom at kategorisere eller identificere indholdet af billeder. Problemet for Amazon og alle dets efterlignere er dog, at maskiner bliver bedre til mange opgaver, mens menneskerne på Mechanical Turk, af årsager, jeg vil udforske i morgendagens indlæg, bliver dårligere.
For nylig udgav forskere, der arbejder på onlineanmeldelsessiden Yelp, for eksempel en papir (pdf) om deres erfaring med at matche tusindvis af Mechanical Turkers mod en overvåget læringsalgoritme .
Resultaterne var ikke smukke: For at finde en befolkning af tyrkere, hvis arbejde var acceptabelt, brugte forskerne først Mechanical Turk til at administrere en test til 4.660 ansøgere. Det var en multiple choice-test for at afgøre, om en tyrker kunne identificere den korrekte kategori for en virksomhed (Restaurant, Shopping osv.) og bekræfte, via sin officielle hjemmeside eller telefonisk, sit korrekte telefonnummer og adresse.
79 bestået. Dette var en ekstremt grundlæggende multiple choice test. Det får en til at spekulere på, hvordan de andre 4.581 var smarte nok til at betjene en webbrowser i første omgang.
Disse 79 højkvalitetsarbejdere blev derefter kastet over problemet med at verificere forretningsoplysninger tre ad gangen. Dette gjorde det muligt for forskerne kun at tage de resultater, som et simpelt flertal af tyrkere var enige om var korrekte, eller i nogle tilfælde at tage resultatet valgt af tyrkeren, der historisk havde været den mest nøjagtige.
Forskere kastede en naiv Bayes-klassifikator mod det samme sæt problemer. Dette er en slags overvåget læringsalgoritme; en der, ifølge en sammenligning fra 2006 af disse systemer , er ikke engang den bedste slags derude.
Bayes-klassificereren vandt praktisk.
I næsten alle tilfælde identificerede algoritmen, som blev trænet på en pulje af 12 millioner brugerindsendte Yelp-anmeldelser, korrekt kategorien af en virksomhed en tredjedel oftere end mennesker. I bilkategorien var det dobbelt så sandsynligt, at computeren som den samlede masse kunne identificere en virksomhed korrekt.
Disse resultater tyder ikke nødvendigvis på, at virksomhedskategorisering er et problem som skak, hvor den menneskelige computer endelig er blevet overskredet af sin mekaniske pendant. De antyder snarere, at noget ved Mechanical Turk i sig selv er brudt - enten incitamentsystemet eller dets mekanismer for politikvalitet. Det har længe været kendt, at lønningerne på Mechanical Turk er ret lave - arbejdere tjener i gennemsnit mellem to og tre dollars i timen for deres arbejde, og det er sandsynligt, at dette er en del af problemet. Økonomer er kun lige begyndt at tage fat på spørgsmålet; mere om det i morgen.
