211service.com
Nørden
Chris Schmandt ’73, SM ’80, brugte fire årtier på at lege rundt på Media Lab, hvor han opfandt interaktive talegrænseflader til computere og det første navigationssystem i bilen, der fortalte chaufførerne, hvor de skulle hen. 24. april 2019
Foto af Christopher Shcmandt Jake Belcher
Da Chris Schmandt var bachelor ved MIT i 1977, så han en annonce for et campusjob med grafisk programmering i PL/I. Det betalte det samme beløb som hans burger-flipping-optræden i cafeteriet, han havde lært PL/I-programmeringssproget som datalogi- og ingeniørstuderende, og han kunne godt lide ideen om et job, der ikke krævede brusebad til sidst af hvert skift. Så han gik på arbejde for Nicholas Negropontes Architecture Machine Group (AMG), forløberen for MIT Media Lab.
Jobbet involverede programmering af en Model 85-rammebuffer, som var et af de første computergrafiksystemer, der kunne gengive en ramme af farvede pixels, så maskinen kunne vise tekst, grafik, diagrammer og endda farvefotos. Men først skulle nogen skrive mikrokoden på lavt niveau til rammebufferens controller. Nogen skulle også anskaffe skrifttyper og kode dem. Den person var Schmandt. Jeg begyndte at male pixels på skærmen, og jeg var hooked, siger han.
Det job havde enorme konsekvenser, ikke kun for Schmandt, men for os alle: hans arbejde førte i sidste ende til udviklingen af moderne navigationssystemer som Garmin GPS og Google Maps, såvel som de stemmegrænseflader, som folk i stigende grad bruger til at interagere med computere .
Audio Notebook, som Schmandts laboratorium udviklede omkring 1997, koblede papirnoter taget ved en begivenhed til en digital lydoptagelse af den. Udlånt af MIT Media Lab
Jeg husker meget tydeligt, at Nicholas fortalte alle, at enhver computer en dag ville have en af disse indbygget, sagde Schmandt om rammebufferen ved sin pensionsfejring i december 2018. Det var forudseende, men han sagde ikke, at alle telefoner ville have en!
En omvejet vej til laboratoriet
Schmandts banebrydende arbejde med at integrere tale og databehandling skete næsten ikke. Han startede på MIT i 1969, og havde han dimitteret med sin begyndende klasse i 1973, havde han måske aldrig stødt på rammebufferen. Men i 1971 havde han erklæret sig som hovedfag i bystudier, forelsket sig i lingvistik og næsten afsluttet en humaniora... og lavede meteorologisk forskning gennem MIT Undergraduate Research Opportunities Program (UROP). Jeg besluttede, at jeg ikke vidste, hvad jeg lavede, siger han.
Så han trak sig fra skolen for at finde ud af det og forvandlede sin UROP til et fuldtidsjob i meteorologisk afdeling, hvor han transporterede hulkort til computercentret i en indkøbskurv. Inden længe havde han lært nok om programmering til at rette stavefejl på kortene, hvilket gjorde det muligt for ham at undgå at gå på tværs af campus en anden gang, så hans chef kunne rette dem. Men Schmandt fik hurtigt vandrelyst og begav sig ud på, hvad der ville blive en fem-årig rejse. Han rejste - hovedsagelig blaffer - fra London til Spanien, Marokko, Algeriet, Niger, Cameroun, Zaire, Uganda og Kenya, hvor han blev udskældt af politiet for ikke at tale swahili og kravlede op til 19.000 fod på en højderyg, der førte til toppen af Everest. Du har aldrig set noget lignende - enorme sneklædte tinder rundt omkring dig, der kigger ned på tre gletsjere, siger han. Og om natten synger og stønner gletsjerne, mens de langsomt maler ned ad dalene.
På rejse langs det, der var kendt som Hippie Trail i Indien, mødte han nogle britiske og australske programmører, som overbeviste ham om, at programmering var et godt levebrød, man kunne forfølge hvor som helst. Så i 1977 vendte han tilbage til MIT og genindskrev som hovedfag i elektroteknik og datalogi.
At komme i gang med rammebufferen overbeviste Schmandt om, at dette havde været en god beslutning. Rammebufferen var et af de første computergrafiksystemer, der ikke blinkede, da billedet på skærmen blev mere komplekst - en bedrift, som den opnåede gennem buffering eller lagring af hele skærmen i dedikeret hukommelse. Med 400 rækker på 512 pixels hver krævede rammebufferen mere end 200.000 bytes tilfældig adgangshukommelse, hvilket var fantastisk dyrt på det tidspunkt. Så Schmandt var nødt til at skrive et program til at køre Model 85, der ville passe i den begrænsede hukommelse, den havde til rådighed.
Det her var virkelig nørdede ting, selv for AMG, husker Schmandt. For at rive ham hackede en af hans laboratoriekammerater til sidst laboratoriets synthesizer og programmerede den til at producere en kort musikalsk fanfare og sige Nørd! da Schmandt loggede ind. Han tog gladelig imod sit nye kaldenavn.
Negropontes laboratorium skabte et computermiljø kaldet Spatial Data Management System (SDMS), der ville lade en person bruge blik, bevægelser og stemme til at interagere med en database, der indeholder tekst, fotos, kort og endda video. Beliggende i Department of Architecture og smukt støttet af US Defense Advanced Research Projects Agency (DARPA) og firmasponsorer, var AMG fyldt med udstyr, ideer og penge. Så da Schmandt afsluttede sin bachelorgrad i 1979, blev han ved for at få en kandidatgrad i arkitektur i 1980.
Laboratoriet havde en masse rigtig fede ting på grund af SDMS-projektet og støtten fra DARPA, siger han. NEC DP-100 stemmegenkendelse var $100K. Ingen vidste, hvad lysventilen - det var det første videoprojektionssystem - kostede. Jeg kunne sidde og lege med hardware for en million dollars.
I en demo af Put That There fra 1980 styrer Schmandt en computer med stemme og bevægelser. Udlånt af MIT Media Lab
Læg det der
Indlæringskurven, der krævedes for at mestre hvert stykke udstyr i AMG'en, var stejl, så Negroponte tildelte hver enhed en mor, der ville være ansvarlig for at skrive softwaren eller bygge hardwaren for at hjælpe den med at vokse til noget nyttigt. Til sin kandidatafhandling adopterede Schmandt en lille æske, der, når den blev spændt fast til dit håndled, ville fortælle laboratoriets interaktive computer, hvor dit håndled var, og hvor det pegede. Kendt som en enhed med seks frihedsgrader, var den blevet udviklet til at monteres på hjelme af helikopterpiloter, som brugte dem i simulatorer til træning og over slagmarken til målretning; i dag findes lavprisversioner i mange virtual reality-headset.
Eric Hulteen ’80, SM ’82, fik til opgave at udvikle software til NEC stemmegenkenderen. I samarbejde skabte Schmandt og Hulteen Læg det der , et tegnesystem styret af stemme og bevægelser, som de første gang demonstrerede i 1979.
For at køre Put That There, ville du sidde i en Eames-læderstol i laboratoriets lydisolerede medierum og peg med hånden mod rummets bagprojektionsskærm i vægstørrelse, som blev oplyst af lysventilen, en projektor på den anden side af væggen. Med sensoren og mikrofonerne sat op, kan man sige Sæt en gul cirkel der , og computeren ville adlyde. Hvis du ikke specificerede, hvor cirklen skulle gå, ville computeren spørge Hvor? og vent på, at du peger og siger Der! Schmandt siger, at det var et af de to første samtalesystemer, der nogensinde er skrevet.
I 1980 gav Schmandt og Hulteen Put That There en opgradering: de forvandlede baggrunden til et kort over Caribien og lærte computeren at reagere på kommandoer som f.eks. Skab et grønt fragtskib der, og flyt krydstogtskibet nord for Den Dominikanske Republik. Dette gjorde programmet endnu mere populært hos laboratoriets militære sponsorer, som kunne sidde i Eames-stolen og udspille fantasier som at omgive Cuba med slagskibe og fregatter.
Jerry Wiesner var præsident for MIT, og hans kontor var en etage under os, huskede Negroponte ved Schmandts pensionistmiddag. Når han gik ud til frokost, tog han sine venner og gæster med og sagde: 'Åh, lad os kigge forbi og se arkitekturmaskinen.' … Jeg ved ikke, hvor mange mennesker der sad i den stol, men der var mange af dem .
Schmandt havde ingen interesse i at få en ph.d. (Jeg ville ikke bruge to år på at arbejde på et projekt, siger han.) Men forskningen holdt ham på MIT. Han sluttede sig til AMG’s personale og havde inden længe startet en forskningsgruppe med fokus på at udvikle måder, hvorpå folk kan interagere med computere ved hjælp af tale. Målet var at gøre computerteknologi tilgængelig uden for et kontormiljø.
Jake Belcher
Bagsædet fører
I 1985 forvandlede AMG sig til Media Lab. Som stiftende medlem har Schmandt haft mange elever gennem årene. Men et projekt med en af de første, Jim Davis ’77, PhD ’89, ville vise sig at være et af de mest vidtrækkende. Davis havde også haft en UROP på AMG i 1970'erne, og han arbejdede i nogle få virksomheder, før han vendte tilbage til Media Lab i 1985. Under et ophold hos Cambridge supercomputer-startup Thinking Machines sommeren efter, at han startede sin ph.d., udviklede han et program kaldet Direction Assistance, der kunne tage et detaljeret vejkort over en by, et udgangspunkt og en destination og give sving-for-sving instruktioner på engelsk for en effektiv rute. Så den logiske ting for Davis at gøre i laboratoriet var at få Direction Assistance til at køre i en bil og levere retninger ved hjælp af en syntetisk stemme.
På det tidspunkt var GPS kun tilgængelig for militæret, siger Davis; civile havde adgang til en version med forringet præcision. NEC, en laboratoriesponsor, havde udviklet et navigationssystem i bilen, der brugte dødregning i stedet for GPS: det noterede den tilbagelagte distance og tilpassede bilens bevægelser til et computerkort .
Det fungerede kun med Acura Legend, en avanceret bil, siger Davis. Så for at udføre forskningen havde Media Lab brug for en Acura Legend! Det var noget af et skridt op for dem: Schmandt kørte Datsun 210 stationcar, så han kunne transportere sine ski, og Davis havde ikke engang en bil.
NEC installerede udstyret, som viste et kort med en prik, der viser bilens placering på en skærm indbygget i midten af instrumentbrættet. Det er forfærdeligt, forklarer Schmandt. For hvis noget bevæger sig i dit perifere synsfelt, har du en meget stærk refleks til at se på det – det kan være et vildt dyr, der er ved at kaste sig over dig! Schmandt var bekymret for, at en bevægelig skærm ville distrahere bilister fra at holde øjnene på vejen. Det var at se [NEC-kortet], der fik mig overbevist om, at det var her, talen ville gøre det, siger han. Og vi havde ret – kun 30 år før tiden.
Schmandt, her med en tidlig mobiltelefon, kodeudviklede et futuristisk voicemail-system kaldet Telefon slave i 1980'erne. Udlånt af MIT Media Lab
Systemet, som Schmandt og Davis byggede, sendte bilens position (som bestemt af NEC-kortet) med mobiltelefon til et program, der kører på en kraftig computer på Media Lab. Programmet beregnede det næste sæt gadeanvisninger, der kræves, under hensyntagen til førerens position, bilens hastighed og hvor lang tid det ville tage at sige den beregnede ytring. Disse anvisninger blev derefter ført ind i en tidlig talesynthesizer kaldet en DECtalk og sendt tilbage til bilen over en anden mobiltelefon. Plettet pålidelighed af mobildækning forårsagede mange problemer, så den anden version af systemet flyttede computeren direkte ind i bagagerummet. Schmandt og Davis kaldte systemet Back Seat Driver.
Jeg er rigtig glad for, at vi gjorde Back Seat Driver, siger han. Det var en sød stemmeanvendelse. Patentet, som han og Davis indgav på det - som han siger var generøst skrevet fra Davis' afhandling - var blevet citeret af 523 andre patenter i februar 2019, ifølge US Patent and Trademark Office. I en periode var det det mest citerede patent i MITs portefølje, siger han. Alligevel tjente de aldrig penge på det. Alle de patenter, der citerede deres, går meget op i at forklare, hvordan de er forskellige, siger han og forklarer, at det er sådan patentspillet spilles.
Man ved ikke altid, hvor gode ideer skal komme fra, siger Schmandt og tilføjer, at han gennem årene har lært at lytte til eleverne. Mit job er at hjælpe dem med at finpudse deres ideer – finde ud af, hvilken del af ideen der er den gode del. Hvor er den egentlige nyhed? Hvordan kan du bygge dette, hvordan kan du forklare det?
Cindy Hsin-Liu Kao, ph.d. ’18, siger, at Schmandts opmuntring var afgørende for hendes forskning, som involverede brugergrænseflader, der knytter sig til kroppen med hudvenlige materialer. Tak fordi du altid har troet på mig, sagde hun til hans pensionistmiddag, som hun deltog virtuelt ved hjælp af en håndholdt computer med indbygget talegenkendelse, fra toppen af Peterskirken i Rom. Når jeg tænkte på at gå i en retning, der var mere konventionel, eller at udforske noget virkelig mærkeligt, sagde du altid, at du skulle gøre noget mærkeligt. I dag er Kao assisterende professor i design og miljøanalyse ved Cornell University. Og hendes trådløse videofeed ved Schmandts middag overraskede ingen tilstedeværende: I dag har alle virkelig en rammebuffer i lommen.