Forskere kæmper for at replikere AI-studier

Kategori: Kunstig intelligens Udsendt 16. feb

Manglende kode og data gør det vanskeligt at sammenligne maskinlæringsarbejde - og det kan skade fremskridtet.

Problemet: Videnskab rapporter at fra en stikprøve på 400 artikler på top AI-konferencer i de seneste år, delte kun 6 procent af oplægsholderne kode. Kun en tredjedel delte data, og lidt over halvdelen delte sammenfatninger af deres algoritmer, kendt som pseudokode.

Hvorfor det er vigtigt: Uden adgang til disse oplysninger er det svært at gengive en undersøgelses resultater. Det gør det næsten umuligt at benchmarke nyudviklede værktøjer mod eksisterende, så det er svært for forskere at vide, hvilken retning de skal skubbe fremtidig forskning.

Sådan løses det: Nogle gange kan en mangel på deling være forståelig - for eksempel hvis intellektuel ejendom ejes af et privat firma. Men der ser ud til at være en mere udbredt kultur for at holde detaljer skjult. Nogle møder og journaler opmuntrer nu til deling; måske flere burde følge efter.