Facebook vil have maskiner til at se verden gennem vores øjne

MIT Technology Review | Envato

Vi tager det for givet, at maskiner kan genkende, hvad de ser på billeder og videoer. Den evne hviler på store datasæt som ImageNet , en hånd-kurateret samling af millioner af fotos brugt til at træne de fleste af de bedste billedgenkendelsesmodeller fra det sidste årti.

Men billederne i disse datasæt skildrer en verden af ​​kuraterede objekter - et billedgalleri, der ikke fanger hverdagens rod, som mennesker oplever det. At få maskiner til at se tingene, som vi gør, vil tage en helt ny tilgang. Og Facebooks AI-laboratorium vil gerne gå forrest.

Det kickstarter et projekt, kaldet Ego4D , for at bygge AI'er, der kan forstå scener og aktiviteter set fra et førstepersonsperspektiv - hvordan tingene ser ud for de involverede mennesker, snarere end for en tilskuer. Tænk på bevægelsesslørede GoPro-optagelser taget midt i handlingen i stedet for velindrammede scener taget af nogen på sidelinjen. Facebook vil have Ego4D til at gøre for førstepersonsvideo, hvad ImageNet gjorde for billeder.

Relateret historie

Hvorfor Facebook bruger Ray-Ban til at gøre krav på vores ansigter

For at bygge metaverset har Facebook brug for, at vi vænner os til smarte briller.

I de sidste to år har Facebook AI Research (FAIR) arbejdet sammen med 13 universiteter rundt om i verden for at samle det hidtil største datasæt af førstepersonsvideo – specifikt for at træne deep-learning billedgenkendelsesmodeller. AI'er trænet på datasættet vil være bedre til at kontrollere robotter, der interagerer med mennesker, eller til at fortolke billeder fra smarte briller. Maskiner vil kun kunne hjælpe os i vores daglige liv, hvis de virkelig forstår verden gennem vores øjne, siger Kristen Grauman hos FAIR, der leder projektet.

Sådan teknologi kan støtte folk, der har brug for hjælp i hjemmet, eller vejlede folk i opgaver, de er ved at lære at udføre. Videoen i dette datasæt er meget tættere på, hvordan mennesker observerer verden, siger Michael Ryoo, en computersynsforsker ved Google Brain og Stony Brook University i New York, som ikke er involveret i Ego4D.

Men de potentielle misbrug er klare og bekymrende. Undersøgelsen er finansieret af Facebook, en social mediegigant, som for nylig er blevet anklaget i det amerikanske senat for sætte overskud over folks velbefindende -som bekræftet af MIT Technology Review's egne undersøgelser .

Facebooks og andre Big Tech-virksomheders forretningsmodel er at vride så meget data som muligt ud af folks onlineadfærd og sælge dem til annoncører. Den kunstige intelligens, der er skitseret i projektet, kan udvide denne rækkevidde til folks daglige offlineadfærd og afsløre, hvilke genstande der er omkring dit hjem, hvilke aktiviteter du nød, hvem du tilbragte tid med, og endda hvor dit blik blev ved – en hidtil uset grad af personlig information.

Der er arbejde med privatlivets fred, der skal gøres, når du tager dette ud af verden af ​​sonderende forskning og ind i noget, der er et produkt, siger Grauman. Det arbejde kunne endda være inspireret af dette projekt.

FACEBOOK

Det største tidligere datasæt af førstepersonsvideo består af 100 timers optagelser af mennesker i køkkenet. Ego4D-datasættet består af 3.025 timers video optaget af 855 personer på 73 forskellige steder i ni lande (USA, Storbritannien, Indien, Japan, Italien, Singapore, Saudi-Arabien, Colombia og Rwanda).

Deltagerne havde forskellig alder og baggrund; nogle blev rekrutteret til deres visuelt interessante erhverv, såsom bagere, mekanikere, tømrere og anlægsgartnere.

Tidligere datasæt bestod typisk af semi-scriptede videoklip kun få sekunder lange. Til Ego4D bar deltagerne hovedmonterede kameraer i op til 10 timer ad gangen og optog førstepersonsvideo af daglige aktiviteter uden manuskript, herunder at gå på gaden, læse, vaske tøj, shoppe, lege med kæledyr, spille brætspil og interagere med andre mennesker. Nogle af optagelserne inkluderer også lyd, data om, hvor deltagernes blik var fokuseret, og flere perspektiver på den samme scene. Det er det første datasæt af sin slags, siger Ryoo.

FAIR har også lanceret et sæt udfordringer, som det håber vil fokusere andre forskeres indsats på at udvikle denne form for kunstig intelligens. Holdet forudser algoritmer indbygget i smarte briller, f.eks Facebooks for nylig annoncerede Ray-Bans , der registrerer og logger brugernes dagligdag. Det betyder, at metaverse-apps med udvidet eller virtuel virkelighed i teorien kunne besvare spørgsmål som Hvor er mine bilnøgler? eller Hvad spiste jeg, og hvem sad jeg ved siden af ​​på mit første fly til Frankrig? Augmented-reality-assistenter kunne forstå, hvad du prøver at gøre, og tilbyde instruktioner eller nyttige sociale signaler.

Det er sci-fi-ting, men tættere på, end man tror, ​​siger Grauman. Store datasæt fremskynder forskningen. ImageNet drev nogle store fremskridt på kort tid, siger hun. Vi kan forvente det samme for Ego4D, men for førstepersons visninger af verden i stedet for internetbilleder.

Da optagelserne var indsamlet, brugte crowdsourcede arbejdere i Rwanda i alt 250.000 timer på at se de tusindvis af videoklip og skrive millioner af sætninger, der beskriver de filmede scener og aktiviteter. Disse annoteringer vil blive brugt til at træne AI'er til at forstå, hvad de ser.

Relateret historie

Fejlfyldte datasæt fordrejer vores fornemmelse af, hvor god AI virkelig er

Vores forståelse af fremskridt inden for maskinlæring er blevet farvet af mangelfulde testdata.

Hvor denne teknologi ender, og hvor hurtigt den udvikler sig, er endnu uvist. FAIR planlægger en konkurrence baseret på sine udfordringer i juni 2022. Det er også vigtigt at bemærke, at FAIR, forskningslaboratoriet, ikke er det samme som Facebook, mediemegalodonen. Faktisk siger insidere det Facebook har ignoreret tekniske rettelser, som FAIR har fundet på til sine giftige algoritmer . Men Facebook betaler for forskningen, og det er uærligt at lade, som om virksomheden ikke er særlig interesseret i dens ansøgning.

Sam Gregory hos Witness, en menneskerettighedsorganisation, der har specialiseret sig i videoteknologi, siger, at denne teknologi kan være nyttig for tilskuere, der dokumenterer protester eller politiovergreb. Men han mener, at disse fordele opvejes af bekymringer omkring kommercielle applikationer. Han bemærker, at det er muligt at identificere personer ud fra, hvordan de holder et videokamera. Gaze-data ville være endnu mere afslørende: Det er en meget stærk indikator for interesse, siger han. Hvordan vil blikdata blive lagret? Hvem vil det være tilgængeligt for? Hvordan kan det behandles og bruges?

Facebooks omdømme og kerneforretningsmodel ringer en masse alarmklokker, siger Rory Mir hos Electronic Frontier Foundation. På dette tidspunkt er mange opmærksomme på Facebooks dårlige resultater med hensyn til privatlivets fred og deres brug af overvågning til at påvirke brugere – både for at holde brugerne tilsluttet og for at sælge denne indflydelse til deres betalende kunder, annoncørerne. Når det kommer til augmented og virtual reality, søger Facebook en konkurrencefordel, siger Mir: Det er vigtigt at udvide mængden og typerne af data, det indsamler.

Da Facebook blev spurgt om sine planer, var Facebook ikke overraskende ordknappet: Ego4D er ren forskning for at fremme fremskridt i det bredere videnskabelige samfund, siger en talsmand. Vi har ikke noget at dele i dag om produktapplikationer eller kommerciel brug.

skjule