211service.com
Hvorfor og hvordan Baidu snød en kunstig intelligenstest
Sporten med at træne software til at handle intelligent har netop fået sin første snydeskandale. Sidste måned annoncerede det kinesiske søgefirma Baidu, at deres billedgenkendelsessoftware var gået foran Googles på en standardiseret test af nøjagtighed. Tirsdag indrømmede virksomheden, at den opnåede disse resultater ved at bryde reglerne for den test.
Det siger de akademiske eksperter, der vedligeholder den test gør Baidus påstande om at slå Google meningsløse . Ren Wu, Baidu-forskeren, der ledede arbejdet med den pågældende software, har undskyldt og sagt, at virksomheden gennemgår sine resultater. Virksomheden har ændret et teknisk dokument det udgivet på sin software.
Vi ved ikke, om dette var en enkelt persons handling eller en strategi for holdet som helhed. Men hvorfor en virksomhed på flere milliarder dollar gider snyde på en obskur test, der drives af akademikere på frivillig basis, er faktisk ret klart.
Baidu, Google, Facebook og andre store computervirksomheder har brugt meget i de seneste år på at bygge forskningsgrupper dedikeret til deep learning, en tilgang til at bygge maskinlæringssoftware, der har gjort store fremskridt inden for tale- og billedgenkendelse. Disse virksomheder har arbejdet hårdt på at ansætte førende eksperter på det lille område – ofte fra hinanden (se Is Google Cornering the Market on Deep Learning). En håndfuld standardiserede test udviklet i den akademiske verden er den valuta, hvormed disse forskergrupper sammenligner hinandens fremskridt og promoverer deres resultater til offentligheden.
Baidu fik en uretfærdig fordel ved at udnytte testens design. For at få din software scoret mod ImageNet Challenge træner du den først med et standardiseret sæt på 1,5 millioner billeder. Derefter sender du koden til ImageNet Challenge-serveren, så dens nøjagtighed kan testes på en samling af 100.000 valideringsbilleder, som softwaren aldrig har set før.
Udfordringsreglerne siger, at du kun må teste din kode to gange om ugen, fordi der er et element af tilfældighed i resultaterne.
Baidu har indrømmet, at det brugte flere e-mail-konti til at teste sin kode omkring 200 gange på knap seks måneder - over fire gange, hvad reglerne tillader.
Oren Etzioni, administrerende direktør for Allen Institute for Artificial Intelligence , sammenligner hvad Baidu gjorde med at købe flere lotterisedler. Hvis du får købt to billetter om ugen, har du en vis chance, hvis du køber 200 om ugen, har du større chance, siger han. Oven i det kan test af lidt forskellig kode over mange test hjælpe et forskerhold med at optimere sin software til særegenhederne ved samlingen af valideringsbilleder, der ikke afspejles i fotos fra den virkelige verden.
Sådan er succesen med dyb læring på denne særlige test, at selv en lille fordel kunne gøre en forskel. Baidu havde rapporteret, at den opnåede en fejlrate på kun 4,58 procent, hvilket slog den tidligere bedste på 4,82 procent, rapporteret af Google i marts. Faktisk har nogle eksperter bemærket, at de små sejrsmargener i kapløbet om at blive bedre på netop denne test gør den mere og mere meningsløs. At Baidu og andre alligevel fortsætter med at udbasunere deres resultater - og måske endda er villige til at bryde reglerne - tyder på, at det at være den bedste til maskinlæring betyder meget for dem.