Data Mining afslører den måde, mennesker evaluerer hinanden på

Den måde, vi evaluerer andre menneskers præstationer på, er et af de større mysterier inden for kognitiv psykologi. Denne proces sker løbende, mens vi vurderer individers evne til at udføre bestemte opgaver, og vurderer alle fra elektrikere og buschauffører til revisorer og politikere.

Problemet er, at vi kun har adgang til et begrænset sæt af data om en persons præstationer - nogle af dem er direkte relevante, såsom en taxachaufførs kørselsoversigt, men meget af det irrelevant, såsom chaufførens køn. Faktisk kan mængden af ​​information være så stor, at vi er tvunget til at beslutte at bruge en lille delmængde af den. Hvordan bliver de beslutninger taget?

I dag får vi et slags svar takket være arbejdet udført af Luca Pappalardo ved universitetet i Pisa i Italien og et par venner, der har studeret dette problem i den sportslige arena, hvor spørgsmål om præstationer bliver kastet ud i skarp lettelse. Deres arbejde giver en unik indsigt i den måde, vi evaluerer menneskelig præstation på, og hvordan dette forholder sig til objektive mål.

De faktorer, som menneskelige observatører bruger til at vurdere ydeevnen, er en lille delmængde af objektive mål.

Sportslige præstationer er et område, hvor detaljerede optegnelser over individuelle præstationer er blevet indsamlet i nogle år. Pappalardo og co fokuserer på fodbold, verdens mest populære sport, og i særdeleshed på præstationerne for spillere, der konkurrerer i toppen af ​​sporten i Italiens Serie A-fodboldliga.

I mange år har italienske sportsaviser vurderet spillernes præstation i hver kamp på en skala fra 0 til 10, hvor 0 er uforglemmeligt dårligt og 10 uforglemmeligt fantastisk. Dette system er baseret på det italienske system med skolevurderinger, hvor et 6 angiver, at en elev har præsteret tilstrækkeligt. Den måde, spillerne vurderes på, er ikke offentliggjort, men det er formentlig gjort af en ekspert sportsjournalist.

I de senere år er de samme spillere også blevet evalueret af et objektivt målesystem, der tæller antallet af afleveringer, skud, tacklinger, redninger og så videre, som hver spiller laver. Denne tekniske foranstaltning tager højde for 150 forskellige parametre og giver en omfattende oversigt over hver spillers præstation på banen.

Spørgsmålet, som Pappalardo og co stiller, er, hvordan avisens vurderinger hænger sammen med de tekniske vurderinger, og om det er muligt at bruge de tekniske data til at forstå de faktorer, der påvirker menneskelige vurderinger.

Forskerne starter med det tekniske datasæt på 760 kampe i Serie A i sæsonerne 2015-16 og 2016-17. Dette består af over en million datapunkter, der beskriver tidsstemplede begivenheder på banen. De bruger dataene til at udtrække en teknisk præstationsvektor for hver spiller i hvert spil; dette fungerer som et objektivt mål for hans præstation.

Forskerne har også vurderinger for hver spiller i hvert spil fra tre sportsaviser: Gazzetta dello Sport , Corriere dello Sport , og Tuttosport .

Avisernes vurderinger har nogle interessante statistiske egenskaber. Kun 3 procent af vurderingerne er lavere end 5, og kun 2 procent højere end 7. Når karaktererne er kategoriseret i overensstemmelse med skolens karaktersystem – lige så dårlige hvis de er lavere end 6 og gode hvis de er 7 og derover – dårlige vurderinger viser sig at være tre gange så almindelige som gode.

Generelt vurderer aviserne en præstation på samme måde, selvom der lejlighedsvis kan være uenigheder med op til 6 point. Vi observerer en god enighed om parrede vurderinger mellem aviserne, idet vi finder, at vurderingerne (i) har identiske fordelinger; (ii) er stærkt korrelerede med hinanden; og (iii) typisk adskiller sig med en ratingenhed (0,5), siger Pappalardo og co.

For at analysere sammenhængen mellem avisvurderingerne og de tekniske vurderinger bruger Pappalardo og co maskinlæring til at finde sammenhænge i datasættene. De opretter især en kunstig dommer, der forsøger at gengive avisens vurderinger fra en delmængde af de tekniske data.

Dette fører til et mærkeligt resultat. Den kunstige dommer kan matche avisens vurderinger med en rimelig grad af nøjagtighed, men ikke så godt som aviserne matcher hinanden. Uenigheden indikerer, at de tekniske funktioner alene ikke kan forklare [avis] vurderingsprocessen fuldt ud, siger Pappalardo og co.

Avisernes vurderinger skal med andre ord afhænge af eksterne faktorer, som ikke fanges af de tekniske data, såsom forventning om et bestemt resultat, personlig bias, og så videre.

For at teste denne idé indsamlede Pappalardo og co endnu et sæt data, der fanger eksterne faktorer. Disse inkluderer spillerens alder, nationalitet og klub, det forventede spiludfald som estimeret af bookmakere, det faktiske spilresultat, og om et spil spilles hjemme eller ude.

Når disse data er inkluderet, klarer den kunstige dommer det meget bedre. Ved at tilføje kontekstuelle oplysninger øges den statistiske overensstemmelse mellem den kunstige dommer og den menneskelige dommer betydeligt, siger holdet.

De kan faktisk tydeligt se eksempler på, hvordan eksterne faktorer påvirker avisernes vurderinger. I hele datasættet er kun to spillere nogensinde blevet tildelt en perfekt 10. En af disse var den argentinske angriber Gonzalo Higuaín, som spillede for Napoli. Ved denne lejlighed scorede han tre mål i en kamp, ​​og dermed blev han den højeste scorer nogensinde i en sæson i Serie A. Den milepæl var næsten helt sikkert årsagen til den perfekte rating, men der er ingen måde at udlede dette på score fra det tekniske datasæt.

Et vigtigt spørgsmål er, hvilke faktorer den kunstige dommer bruger til at matche avisens vurderinger. Vi observerer, at det meste af en menneskelig dommers opmærksomhed er viet til et lille antal funktioner, og langt de fleste tekniske funktioner er dårligt overvejet eller kasseret under evalueringsprocessen, siger Pappalardo og co.

Så for angribende fremadstormende spillere har aviser en tendens til at vurdere dem ved hjælp af let observerede faktorer såsom antallet af scorede mål; de vurderer målmænd på antallet af indkasserede mål. Midtbanespillere har en tendens til at blive vurderet ud fra mere generelle parametre såsom målforskellen.

Det giver mening - menneskelige observatører har en begrænset båndbredde og er sandsynligvis kun i stand til at observere en lille brøkdel af ydeevneindikatorer. Faktisk siger holdet, at den kunstige dommer kan matche menneskelige vurderinger ved at bruge mindre end 20 af de tekniske og eksterne faktorer.

Det er et fascinerende resultat, som har vigtige konsekvenser for den måde, vi tænker på præstationsvurderinger på. Målet er selvfølgelig at finde mere effektive måder at evaluere præstation på i alle slags situationer. Pappalardo og co mener, at deres arbejde har en væsentlig betydning for dette. Dette papir kan bruges til at give menneskelige evaluatorer mulighed for at opnå forståelse for den underliggende logik i deres beslutninger, konkluderer de.

Ref: arxiv.org/abs/1712.02224 : Menneskelig opfattelse af ydeevne

skjule