En radikal ny teknik lader AI lære med praktisk talt ingen data

Et næsehorn - en krydsning mellem et næsehorn og en enhjørning.

Det mytiske næsehorn. Ms Tech / Pixabay





Maskinlæring kræver typisk tonsvis af eksempler. For at få en AI-model til at genkende en hest, skal du vise den tusindvis af billeder af heste. Det er det, der gør teknologien beregningsmæssigt dyr - og meget forskellig fra menneskelig læring. Et barn har ofte brug for at se nogle få eksempler på en genstand, eller endda kun én, før de kan genkende den for livet.

Faktisk har børn nogle gange ikke brug for nogen eksempler for at identificere noget. Vist billeder af en hest og et næsehorn, og fortalt en enhjørning er noget midt imellem, kan de genkende det mytiske væsen i en billedbog, første gang de ser det.

Rhinocorn, en krydsning mellem et næsehorn og enhjørning

Hmm...ok, ikke helt.



MS TECH / PIXABAY

Nu til nyt papir fra University of Waterloo i Ontario foreslår, at AI-modeller også burde være i stand til at gøre dette - en proces, som forskerne kalder mindre end one-shot, eller LO-shot, læring. Med andre ord skal en AI-model kunne genkende nøjagtigt mere objekter end antallet af eksempler, det blev trænet på. Det kunne være en stor sag for et felt, der er blevet stadig dyrere og utilgængeligt, efterhånden som de anvendte datasæt bliver stadig større.

Hvordan mindre end one-shot læring fungerer

Forskerne demonstrerede først denne idé, mens de eksperimenterede med det populære computer-vision datasæt kendt som MNIST . MNIST, som indeholder 60.000 træningsbilleder af håndskrevne cifre fra 0 til 9, bruges ofte til at afprøve nye ideer på området.

I et tidligere papir , MIT-forskere havde introduceret en teknik til at destillere gigantiske datasæt til bittesmå, og som et bevis på konceptet havde de komprimeret MNIST ned til kun 10 billeder. Billederne blev ikke udvalgt fra det originale datasæt, men omhyggeligt konstrueret og optimeret til at indeholde en tilsvarende mængde information til det fulde sæt. Som et resultat, når den udelukkende trænes på de 10 billeder, kunne en AI-model opnå næsten samme nøjagtighed som en, der trænes på alle MNISTs billeder.



Håndskrevne cifre mellem 0 og 9 samplet fra MNIST-datasættet.

Eksempelbilleder fra MNIST-datasættet.

WIKIMEDIA Æbler og appelsiner afbildet på et diagram efter vægt og farve.

De 10 billeder 'destilleret' fra MNIST, der kan træne en AI-model til at opnå 94 % genkendelsesnøjagtighed på håndskrevne cifre.

TONGZHOU WANG ET AL.

Waterloo-forskerne ønskede at tage destillationsprocessen videre. Hvis det er muligt at skrue 60.000 billeder ned til 10, hvorfor så ikke presse dem til fem? Tricket, indså de, var at skabe billeder, der blander flere cifre sammen og derefter føre dem ind i en AI-model med hybride eller bløde etiketter. (Tænk tilbage på en hest og næsehorn med delvise træk af en enhjørning.)



Hvis man tænker på cifferet 3, ligner det på en måde også cifferet 8, men intet som cifferet 7, siger Ilia Sucholutsky, ph.d.-studerende ved Waterloo og hovedforfatter af papiret. Bløde etiketter forsøger at fange disse delte funktioner. Så i stedet for at sige til maskinen, 'Dette billede er 3-tallet', siger vi: 'Dette billede er 60 % af cifferet 3, 30 % tallet 8, og 10 % tallet 0.'

Grænserne for LO-shot læring

Da forskerne med succes brugte bløde etiketter til at opnå LO-shot-læring på MNIST, begyndte de at spekulere på, hvor langt denne idé faktisk kunne gå. Er der en grænse for antallet af kategorier, du kan lære en AI-model at identificere ud fra et lille antal eksempler?

Overraskende synes svaret at være nej. Med omhyggeligt konstruerede bløde etiketter kan selv to eksempler teoretisk kode et vilkårligt antal kategorier. Med to point kan du adskille tusind klasser eller 10.000 klasser eller en million klasser, siger Sucholutsky.



Forskellige diagrammer, der viser, at grænselinjerne plottes ud af en kNN-algoritme. Hvert diagram har flere og flere grænselinjer, alle kodet i bittesmå datasæt.

Plot æbler (grønne og røde prikker) og appelsiner (orange prikker) efter vægt og farve.

TILPASSET FRA JASON MAYES' 'MACHINE LEARNING 101' SLIDE DECK

Dette er, hvad forskerne demonstrerer i deres seneste papir, gennem en rent matematisk udforskning. De udspiller konceptet med en af ​​de enkleste maskinlæringsalgoritmer, kendt som k-nearest neighbors (kNN), som klassificerer objekter ved hjælp af en grafisk tilgang.

For at forstå, hvordan kNN fungerer, tag opgaven med at klassificere frugter som et eksempel. Hvis du vil træne en kNN-model til at forstå forskellen mellem æbler og appelsiner, skal du først vælge de funktioner, du vil bruge til at repræsentere hver frugt. Måske vælger du farve og vægt, så for hvert æble og appelsin fodrer du kNN med et datapunkt med frugtens farve som x-værdi og vægt som y-værdi. kNN-algoritmen plotter derefter alle datapunkterne på et 2D-diagram og tegner en grænselinje lige ned i midten mellem æblerne og appelsinerne. På dette tidspunkt er plottet pænt opdelt i to klasser, og algoritmen kan nu afgøre, om nye datapunkter repræsenterer det ene eller det andet baseret på hvilken side af linjen de falder på.

For at udforske LO-shot-læring med kNN-algoritmen skabte forskerne en række små syntetiske datasæt og konstruerede omhyggeligt deres bløde etiketter. Derefter lod de kNN plotte de grænselinjer, den så, og fandt, at det lykkedes at dele plottet op i flere klasser end datapunkter. Forskerne havde også en høj grad af kontrol over, hvor grænselinjerne faldt. Ved at bruge forskellige justeringer af de bløde etiketter kunne de få kNN-algoritmen til at tegne præcise mønstre i form af blomster.

Forskerne brugte blødt mærkede eksempler til at træne en kNN-algoritme til at kode stadigt mere komplekse grænselinjer og opdele diagrammet i langt flere klasser end datapunkter. Hvert af de farvede områder på plottene repræsenterer en anden klasse, mens cirkeldiagrammerne ved siden af ​​hvert plot viser den bløde etiketfordeling for hvert datapunkt.

ILIA SUCHOLUTSKY ET AL.

Selvfølgelig har disse teoretiske udforskninger nogle begrænsninger. Mens ideen om LO-shot læring bør overføres til mere komplekse algoritmer, bliver opgaven med at konstruere de blødt mærkede eksempler væsentligt sværere. kNN-algoritmen er fortolkelig og visuel, hvilket gør det muligt for mennesker at designe etiketterne; neurale netværk er komplicerede og uigennemtrængelige, hvilket betyder, at det samme muligvis ikke er sandt. Datadestillation, som fungerer til at designe blødt mærkede eksempler til neurale netværk, har også en stor ulempe: Det kræver, at du starter med et kæmpe datasæt for at krympe det ned til noget mere effektivt.

Sucholutsky siger, at han nu arbejder på at finde ud af andre måder at konstruere disse bittesmå syntetiske datasæt - uanset om det betyder at designe dem i hånden eller med en anden algoritme. På trods af disse yderligere forskningsmæssige udfordringer giver artiklen dog det teoretiske grundlag for LO-skudslæring. Konklusionen er afhængig af, hvilken slags datasæt man har, så kan man formentlig få massive effektivitetsgevinster, siger han.

Det er det, der interesserer mest Tongzhou Wang, en MIT-ph.d.-studerende, der ledede den tidligere forskning i datadestillation. Artiklen bygger på et virkelig nyt og vigtigt mål: at lære kraftfulde modeller fra små datasæt, siger han om Sucholutskys bidrag.

Ryan Khurana, en forsker ved Montreal AI Ethics Institute, gentager denne følelse: Mest væsentligt ville 'mindre end et'-skudslæring radikalt reducere datakravene for at få bygget en fungerende model. Dette kunne gøre AI mere tilgængelig for virksomheder og industrier, der hidtil har været hæmmet af feltets datakrav. Det kunne også forbedre databeskyttelsen, fordi mindre information skulle udtrækkes fra enkeltpersoner for at træne nyttige modeller.

Sucholutsky understreger, at forskningen stadig er tidligt, men han er spændt. Hver gang han begynder at præsentere sit papir for andre forskere, er deres første reaktion at sige, at ideen er umulig, siger han. Da de pludselig indser, at det ikke er det, åbner det en helt ny verden.

skjule