Den måde, vi træner AI på, er grundlæggende fejlbehæftet

Getty billeder

Det er ingen hemmelighed, at maskinlærende modeller er tunet og justeret til næsten perfekt præstation i laboratoriet fejler ofte i rigtige omgivelser. Dette skyldes typisk et misforhold mellem de data, AI'en blev trænet og testet på, og de data, den støder på i verden, et problem kendt som dataskift. For eksempel vil en AI, der er trænet til at spotte tegn på sygdom i medicinske billeder af høj kvalitet kæmper med slørede eller beskårne billeder fanget af et billigt kamera i en travl klinik.

Nu har en gruppe på 40 forskere på tværs af syv forskellige teams hos Google identificeret en anden væsentlig årsag til den almindelige fejl i maskinlæringsmodeller . Kaldet underspecifikation, kan det være et endnu større problem end dataskift. Vi efterspørger mere af maskinlæringsmodeller, end vi er i stand til at garantere med vores nuværende tilgang, siger Alex D'Amour, der har ledet undersøgelsen.

Relateret historie

Googles medicinske AI var super nøjagtig i et laboratorium. Det virkelige liv var en anden historie. Hvis AI virkelig skal gøre en forskel for patienter, er vi nødt til at vide, hvordan det virker, når rigtige mennesker får fingrene i det, i virkelige situationer.

Underspecifikation er et kendt problem i statistik, hvor observerede effekter kan have mange mulige årsager. D'Amour, som har en baggrund i kausal ræsonnement, ville vide, hvorfor hans egne maskinlæringsmodeller ofte fejlede i praksis. Han spekulerede på, om underspecifikation også kunne være problemet her. D'Amour indså hurtigt, at mange af hans kolleger bemærkede det samme problem i deres egne modeller. Det er faktisk et fænomen, der sker overalt, siger han.

D'Amours indledende undersøgelse sneglede, og snesevis af Google-forskere endte med at se på en række forskellige AI-applikationer, fra billedgenkendelse til naturlig sprogbehandling (NLP) til sygdomsforudsigelse . De fandt ud af, at underspecifikation var skyld i dårlig ydeevne i dem alle. Problemet ligger i den måde, maskinlæringsmodeller trænes og testes, og der er ingen nem løsning.

Papiret er en ødelæggende kugle, siger Brandon Rohrer, en maskinlæringsingeniør hos iRobot, som tidligere har arbejdet hos Facebook og Microsoft og ikke var involveret i arbejdet.

Samme men anderledes

For at forstå præcis, hvad der foregår, skal vi bakke lidt op. Groft sagt involverer at bygge en maskinlæringsmodel at træne den på en lang række eksempler og derefter teste den på en masse lignende eksempler, som den endnu ikke har set. Når modellen består testen, er du færdig.

Hvad Google-forskerne påpeger er, at denne bar er for lav. Træningsprocessen kan producere mange forskellige modeller, der alle består testen, men - og dette er den afgørende del - disse modeller vil adskille sig på små, vilkårlige måder, afhængigt af ting som de tilfældige værdier, der gives til noderne i et neuralt netværk, før træningen starter , måden træningsdata er valgt eller repræsenteret på, antallet af træningsløb osv. Disse små, ofte tilfældige forskelle overses typisk, hvis de ikke påvirker, hvordan en model klarer sig i testen. Men det viser sig, at de kan føre til stor variation i ydeevne i den virkelige verden.

Med andre ord kan den proces, der bruges til at bygge de fleste maskinlæringsmodeller i dag, ikke fortælle, hvilke modeller der vil fungere i den virkelige verden, og hvilke der ikke vil.

Dette er ikke det samme som dataskift, hvor træning ikke formår at producere en god model, fordi træningsdataene ikke stemmer overens med eksempler fra den virkelige verden. Underspecifikation betyder noget andet: Selvom en træningsproces kan producere en god model, kan den stadig spytte en dårlig ud, fordi den ikke kender forskellen. Det ville vi heller ikke.

Forskerne så på virkningen af ​​underspecifikation på en række forskellige applikationer. I hvert tilfælde brugte de de samme træningsprocesser til at producere flere maskinlæringsmodeller og kørte derefter disse modeller gennem stresstest designet til at fremhæve specifikke forskelle i deres præstationer.

Relateret historie

AI kæmper med en replikationskrise Tekniske giganter dominerer forskning, men grænsen mellem reelt gennembrud og produktfremvisning kan være uklar. Nogle videnskabsmænd har fået nok.

For eksempel trænede de 50 versioner af en billedgenkendelsesmodel på ImageNet, et datasæt med billeder af hverdagsgenstande. Den eneste forskel mellem træningsløb var de tilfældige værdier, der blev tildelt det neurale netværk ved starten. Men på trods af at alle 50 modeller scorede mere eller mindre det samme i træningstesten - hvilket tyder på, at de var lige præcise - varierede deres præstationer voldsomt i stresstesten.

Stresstesten brugte ImageNet-C, et datasæt af billeder fra ImageNet, der er blevet pixeleret eller fået ændret lysstyrke og kontrast, og ObjektNet , et datasæt af billeder af hverdagsgenstande i usædvanlige positurer, såsom stole på ryggen, tekander på hovedet og T-shirts, der hænger fra kroge. Nogle af de 50 modeller klarede sig godt med pixelerede billeder, nogle klarede sig godt med de usædvanlige positurer; nogle klarede sig generelt meget bedre end andre. Men hvad angår standardtræningsprocessen, var de alle ens.

Forskerne udførte lignende eksperimenter med to forskellige NLP-systemer og tre medicinske AI'er til at forudsige øjensygdomme fra nethindescanninger, kræft fra hudlæsioner og nyresvigt fra patientjournaler. Hvert system havde det samme problem: modeller, der skulle have været lige nøjagtige, udførte forskelligt, når de blev testet med data fra den virkelige verden, såsom forskellige nethindescanninger eller hudtyper.

Vi skal muligvis genoverveje, hvordan vi evaluerer neurale netværk, siger Rohrer. Det stikker nogle væsentlige huller i de grundlæggende antagelser, vi har lavet.

D'Amour er enig. Den største, umiddelbare takeaway er, at vi skal lave mange flere tests, siger han. Det bliver dog ikke nemt. Stresstestene blev skræddersyet specifikt til hver opgave ved at bruge data taget fra den virkelige verden eller data, der efterlignede den virkelige verden. Dette er ikke altid tilgængeligt.

Nogle stresstests er også i modstrid med hinanden: Modeller, der var gode til at genkende pixelerede billeder, var ofte dårlige til at genkende billeder med høj kontrast, f.eks. Det er måske ikke altid muligt at træne en enkelt model, der består alle stresstests.

Flere valg

En mulighed er at designe en ekstra fase til trænings- og testprocessen, hvor mange modeller produceres på én gang i stedet for kun én. Disse konkurrerende modeller kan derefter testes igen på specifikke opgaver i den virkelige verden for at vælge den bedste til jobbet.

Det er meget arbejde. Men for en virksomhed som Google, der bygger og implementerer store modeller, kan det være det værd, siger Yannic Kilcher, en maskinlæringsforsker ved ETH Zürich. Google kunne tilbyde 50 forskellige versioner af en NLP-model, og applikationsudviklere kunne vælge den, der fungerede bedst for dem, siger han.

D'Amour og hans kolleger har endnu ikke en løsning, men undersøger måder at forbedre træningsprocessen på. Vi skal blive bedre til at præcisere præcis, hvad vores krav er til vores modeller, siger han. For ofte er det, der ender med at ske, at vi først opdager disse krav, efter at modellen har fejlet ude i verden.

At få en rettelse er afgørende, hvis AI skal have lige så stor indflydelse uden for laboratoriet, som den har indeni. Når AI underpræsterer i den virkelige verden, gør det folk mindre villige til at ville bruge det, siger medforfatter Katherine Heller, der arbejder hos Google på AI til sundhedspleje: Vi har mistet en masse tillid, når det kommer til de dræbende applikationer , det er vigtig tillid, som vi ønsker at genvinde.

skjule