211service.com
Enkeltpixel kamera når milepæl og efterligner menneskesyn
Computational imaging gennemgår en revolution. Dette er disciplinen at lave billeder ved hjælp af beregningsteknikker snarere end optiske. Dets bedst kendte gennembrud er evnen til at optage billeder og film i høj opløsning ved hjælp af en enkelt pixel. Men forskere har også brugt det til at bygge objektivløse kameraer, 3D-billedsystemer og meget mere.
I dag tager de teknikken endnu længere ved at bruge den til at efterligne den måde, mennesker ser verden på. David Phillips ved University of Glasgow og et par venner siger, at de har fundet en måde at bruge en enkelt pixel til at skabe billeder, hvor det centrale område er optaget i høj opløsning, mens periferien er optaget i lav opløsning. Det efterligner nøjagtigt dyresynssystemer, hvor nethinden har en central region med høj synsstyrke kaldet fovea omgivet af et område med lavere opløsning.
Holdet har endda vist, hvordan man flytter det foveerede område for at følge objekter inden for synsfeltet. Teknikken har potentiale til at ændre den måde, mange billeddannelsessystemer fungerer på i fremtiden.
Først lidt baggrund. Et enkelt pixel billedbehandlingssystem optager lys fra en scene på et enkelt punkt. Dette lys skal randomiseres på en eller anden måde, for eksempel ved at passere det gennem matteret glas eller reflektere det fra et mikrospejlarray, som er tilfældigt arrangeret.
Det er let at tro, at der ikke kan opnås meget ved at optage lys tilfældigt på denne måde. Tricket er selvfølgelig at tage masser af enkelt pixel billeder på denne måde. Selvom hvert datapunkt ser ud til at være en tilfældig prøve af lys, er på hinanden følgende datapunkter korrelerede, fordi de er refleksioner fra den samme scene.
Så tricket bag computational imaging er at bruge en data mining-algoritme til at finde sammenhængen mellem på hinanden følgende billeder. En smule tal-knas kan derefter genskabe den originale scene.
Det viser sig, at dette er relativt ligetil, forudsat at lyset fra scenen er korrekt randomiseret hver gang pixlen optager det. Opløsningen af det endelige billede afhænger derefter af antallet af datapunkter, der bruges til at oprette det.
Med andre ord kan hvert datapunkt opfattes som optagelse af en pixel i det endelige billede. Det er denne idé, der gør det muligt for Phillips og co at variere opløsningen gennem et billede.
Disse fyre bruger et digitalt mikrospejl-array til at randomisere lyset fra en scene, der når deres enkelt pixel lysdetektor. Men de er også i stand til at kontrollere opløsningen af randomiseringen i dette array. Så de kan bruge randomisering i høj opløsning i dele af scenen for at øge opløsningen af det endelige billede. Dette er det foveerede billede
Deres mikrospejl-array kan vise omkring 10.000 randomiserede mønstre i sekundet, hvilket giver dem mulighed for at generere 32 x 32 pixelbilleder med en hastighed på omkring 10 pr. sekund.
Til at starte med er pixels kvadratiske og lige store i hvert 32 x 32 billede. Men et foveated billede har mindre, tættere pakkede pixels i midten og større pixels i periferien.
Phillips og co opnår dette ved at randomisere lyset fra scenen med højere opløsning i midten af billedet.
Og resultaterne er imponerende. Holdet viser, hvordan de resulterende billeder klart har en højere opløsning i centrum. Vi har vist, at dataindsamlingskapaciteten i et enkelt-pixel computerbaseret billeddannelsessystem kan forbedres ved at efterligne det adaptive foveated syn, der er udbredt i dyreriget, siger de.
Men de viser også, hvordan det er muligt at flytte foveaen for at spore objekter af interesse fra et billede til det næste. De viser endda, hvordan det er muligt at have to fovea i et enkelt billede for at spore to forskellige objekter, og derved tage teknikken ud over dyreverdenens muligheder. Og de demonstrerer teknikken med både synligt og infrarødt lys.
Det er interessant arbejde, der har nogle vigtige potentielle anvendelser. Den mest oplagte er for billeddannelsessystemer, hvor pixel-arrays ikke er praktiske. For eksempel er enkelte pixels tilgængelige for terahertz-frekvenser, men pixel-arrays er det ikke.
Men teknikken er mere generelt anvendelig. I alle billedbehandlingssystemer er der en afvejning mellem opløsning og billedhastighed. Denne teknik gør det muligt at optimere denne afvejning i farten og tillader opmærksomheden at fokusere på de dele af et billede, der er af størst interesse.
Det kunne gøres meget mere kraftfuldt ved at kombinere det med andre maskinsynsteknikker, algoritmer er begyndt at udkonkurrere mennesker i opgaver, såsom ansigts- og objektgenkendelse.
Mennesker og dyr har længe udkonkurreret maskiner i synsopgaver. Men med teknikker som denne vil denne beherskelse ikke vare meget længere.
Ref: arxiv.org/abs/1607.08236 : Adaptiv Foveated Single-Pixel Imaging med dynamisk super-sampling