Brug af en smartphones øjne og ører til at registrere alle dine bevægelser

Mange af os optager allerede de steder, vi tager hen, og ting, vi gør, ved at bruge vores smartphone til flittigt at tage billeder og videoer og til at opdatere konti på sociale medier. Et firma ringede ARO er byggeteknologi, der automatisk indsamler en mere omfattende, automatisk registrering af dit liv.

ARO står bag en app kaldet Saga der automatisk registrerer hvert sted, en person går. Nu tester AROs ingeniører måder at bruge barometeret, kameraerne og mikrofonerne i en enhed sammen med dens placeringssensorer for at finde ud af, hvad nogen har gang i og hvor. Den tilgang skulle debutere i Saga-appen i sensommeren eller det tidlige efterår.

Den nuværende version af Saga, tilgængelig til Apple- og Android-telefoner, logger automatisk de steder, en person besøger; den kan også indsamle data om daglig aktivitet fra andre tjenester, herunder træningssporingsapps FitBit og RunKeeper, og kan trække opdateringer ind fra konti på sociale medier som Facebook, Instagram og Twitter. Når appen har kørt på en telefon i et stykke tid, producerer den infografik om brugerens liv; for eksempel at kortlægge variationen i tidspunkter, hvor han eller hun tager på arbejde om morgenen.

Software, der kører på AROs servere, skaber og vedligeholder en model af hver brugers typiske bevægelser. Disse modeller driver Sagas livsopsummerende funktioner og hjælper appen med at spore en person hele dagen uden at kræve, at sensorer altid er tændt, hvilket ville forbrænde for meget batterilevetid.

Hvis jeg ved, at du kommer til at sidde på arbejde i ni timer, kan vi slukke for vores indsamlingspolitik for at trække så lidt strøm som muligt, siger Andy Hickl, CEO for ARO. Saga vil vågne op og tjekke en persons placering, hvis for eksempel en telefons accelerometer antyder, at han eller hun er på farten; og der kan være bekræftelse fra andre spor, såsom blandingen af ​​Wi-Fi-netværk inden for telefonens rækkevidde. Hickl siger, at Saga typisk bruger omkring 1 procent af en enheds batteri, betydeligt mindre end mange populære apps til e-mail, kortlægning eller sociale netværk.

Det forbrug er lavt nok, siger Hickl, til at Saga har råd til at øge den information, den indsamler, ved at få adgang til yderligere telefonsensorer. Han siger, at indimellem prøveudtagning af data fra en telefons barometer, kameraer og mikrofoner vil gøre det muligt for Saga at logge detaljer, som når en person gik ind i et mødelokale til et møde eller besøgte Starbucks, enten alene eller med selskab.

Android-versionen af ​​Saga begyndte for nylig at bruge barometeret, der findes i mange smartphones, til at skelne mellem steder tæt på hinanden. Trykændringer kan bruges til bedre at skelne lignende steder, siger Ian Clifton, der leder udviklingen af ​​Android-versionen af ​​ARO. Det kan være første sal versus tredje sal i samme bygning, men også inde i et køretøj kontra udenfor det, selv i det samme fysiske rum.

ARO tester internt versioner af Saga, der sampler lys og lyd fra en persons omgivelser. Clifton siger, at brug af en telefons mikrofon til at indsamle korte akustiske fingeraftryk fra forskellige steder kan være et værdifuldt yderligere signal om placering og tillade slutninger om, hvad en person laver. Nogle gange er vi ikke sikre på, om du er i Starbucks eller baren ved siden af, siger Clifton. Med akustiske fingeraftryk, selvom [placering] sensoraflæsningerne er ens, kan vi skelne det.

Lejlighedsvis at prøve lyset omkring en telefon ved hjælp af dens kamera giver en anden form for ekstra signal om en persons aktivitet. Hvis du går fra omgivende lys til naturligt lys, vil det sige for os, at din kontekst har ændret sig, siger Hickl. Ved hjælp af denne information skulle det være muligt for Saga at lære forskellen mellem f.eks. de forskellige områder af et kontor.

I sidste ende vil sampling af lys-, lyd- og trykdata gøre det muligt for Sagas maskinlæringsmodeller at udfylde flere detaljer om en brugers liv, siger Hickl. [Når] jeg går hjem i dag og tilbringer 12 timer der, til Saga, der ligner en mur af ingenting, siger han og bemærker, at Saga kunne bruge lyd- eller lyssignaler til at udlede, hvornår han i den tid derhjemme for eksempel så tv. lege med sine børn eller spise aftensmad.

Andrew Campbell , som leder forskning i smartphone-sensing på Dartmouth College, siger, at tilføjelse af mere detaljerede, automatiske livsloggingsfunktioner er afgørende for, at Saga eller en lignende app har en udbredt effekt. Automatisk registrering aflaster brugeren for byrden ved at indtaste masser af data, siger han. Automatiske og kontinuerlige registreringsapps, der minimerer brugerinteraktion, vil sandsynligvis vinde frem.

Campbell siger, at automatisk logning, kombineret med maskinlæring, også burde give apps mulighed for at lære mere om brugernes sundhed og velfærd. Han begyndte for nylig at analysere data fra et forsøg, hvor 60 studerende brugte en life-logging-app, han udviklede, kaldet Biorytme . Den bruger forskellige dataindsamlingstricks, herunder at lytte efter stemmer i nærheden for at afgøre, hvornår en elev er i en samtale. Vi kan se mange interessante mønstre relateret til klassepræstation, personlighed, stress, omgængelighed og sundhed, siger Campbell. Dette kan udmønte sig i enhver præstationssituation på arbejdspladsen, såsom en startup, hospital, stor virksomhed eller hjemmet.

Campbells projekt kan forme, hvordan han afvikler sine kurser, men det behøver ikke at tjene penge. ARO , finansieret af Microsofts medstifter Paul Allen, skal i sidste ende få livslogning til at betale sig. Hickl siger, at han allerede er begyndt at udleje noget af AROs teknologi til andre virksomheder, der ønsker at kunne identificere deres brugeres placering eller aktiviteter. Samlede data fra Saga-brugere burde også være værdifulde, siger han.

Nu får vi en kritisk masse af brugere på nogle områder, og vi er i stand til at lave noget trendspotting, siger han. Det amerikanske fodboldlandshold var i Seattle, og vi var i stand til at se, hvor aktiviteten blev varm omkring byen. Hickl siger, at dataene fra den begivenhed kunne hjælpe bymyndigheder eller virksomheder med at planlægge fremtidige fodboldbegivenheder i Seattle eller andre steder. Han tilføjer, at Saga kunne give lignende indsigt i mange andre ellers usynlige mønstre i dagligdagen.

skjule