En førende AI-konference forsøger at rette op på feltets reproducerbarhedskrise

Kategori: Kunstig intelligens Udsendt 09. apr

I sidste uge afholdt arrangørerne af Neural Information Processing Systems Conference (NeurIPS), en af ​​verdens største årlige AI-forskningskonferencer, opdateret deres politik for papirindsendelser kræver det, de kalder en reproducerbarhedstjekliste. Det er et lille skift i en større kamp for at dæmme op for den voksende reproducerbarhedskrise i videnskaben, hvor et foruroligende antal forskningsresultater ikke med succes bliver gentaget af andre forskere, hvilket sår tvivl om gyldigheden af ​​de første resultater.

I februar advarede en statistiker fra Rice University om, at maskinlæringsteknikker sandsynligvis giver næring til krisen, fordi de resultater, de producerer, er svære at revidere. Det er et bekymrende problem, da maskinlæring i stigende grad bliver anvendt på vigtige områder som sundhedspleje og lægemiddelforskning.

NeurIPS's reproducerbarhedstjekliste forsøger at tackle problemet. Blandt andet skal forskere give en klar beskrivelse af deres algoritme; en fuldstændig beskrivelse af deres dataindsamlingsproces; et link til ethvert simuleringsmiljø, de brugte under træningen; og en omfattende gennemgang af, hvilke data de opbevarede, kastede og hvorfor. Ideen er at skabe en ny standard for gennemsigtighed for forskere for at vise, hvordan de nåede frem til deres konklusioner.

Som verdens mest betydningsfulde AI-konference, skrev Jack Clark, den politiske direktør for nonprofitorganisationen OpenAI, i sit ugentlige nyhedsbrev Import AI, vil NeurIPS 2019-politik have en afsmittende effekt på tværs af [det] bredere AI-økosystem.

Denne historie dukkede oprindeligt op i vores Webby-nominerede AI-nyhedsbrev The Algorithm. For at få det leveret direkte til din indbakke, tilmeld dig her gratis.