Microsofts magiske pen

Hvis Jian Wang havde sin vilje, ville alt være digitalt.

Jeg hader printere – de gør digitale ting til analoge, joker han, mens han vader gennem et hav af aflukker hos Microsoft Research Asia i Beijing, Kina. Datalogen er fyrretyvende og ranglet og har specialiseret sig i at opfinde nye computergrænseflader for at bygge bro mellem analog og digital. Hans egen grænseflade er dog et bredt smil, som komplementerer hans denimskjorte og afslappede måde.

Denne historie var en del af vores maj 2004-udgave

• Se resten af ​​problemet
• Abonner

Wang stopper ved et skrivebord og tager en rektangulær, sølvskinnende pen på størrelse med en magisk tusch og skriver nogle rettelser på et papirdokument. Men dette er ikke en almindelig pen. Få sekunder senere dukker hans kommentarer op på en nærliggende computerskærm overlejret den elektroniske version af dokumentet på det nøjagtige sted, hvor han skrev på papiret. Wangs pen fanger håndskrift og lader brugere foretage ændringer i digitale filer på papir.

Denne universelle pen, som Wang kalder den, kunne transformere den måde, folk interagerer med computere på. I modsætning til dimser, der skriver på computerskærme eller specielle papirblokke, bruger Wangs opfindelse almindeligt blæk, fungerer med almindeligt papir og lader brugere kombinere håndskrevet tekst og diagrammer med digitalt indhold fra rapporter, magasiner og websider. En leder på en flyrejse kunne for eksempel markere en papirkopi af en rapport og senere overføre ændringerne til filen på sin computer automatisk.

Wangs digitale pen afspejler også en igangværende transformation i opfindelsesprocessen i nogle store virksomhedslaboratorier, en hybridisering af den enlige opfinder og traditionel virksomheds-F&U. Wang er pennens hovedopfinder, og det er hans indsigt, vovemod og kreativitet, der i høj grad har drevet bestræbelserne på at udvikle den. Men samtidig kunne han ikke have gjort så hurtige fremskridt uden Microsofts kollektive ekspertise inden for mønstergenkendelsesalgoritmer, computersyn, håndskriftsteknologier og tekstredigeringssoftware. Personligt er jeg virkelig begejstret for det, siger Rick Rashid, senior vicepræsident for Microsoft Research, hvis hovedfacilitet er i Redmond, WA. Det er et eksempel på en ny form for produktinkubation, som vi laver,...en der samler mennesker med mange forskellige færdigheder til at løse et unikt problem.

Microsoft opkald

Himalaya-stabler af papirer fylder Wangs kontor på trods af hans erklærede afsky for udskrifter. Midt i disse påmindelser om den analoge verden, beskriver opfinderen begyndelsen af ​​penneprojektet. Som professor i ingeniørpsykologi ved Zhejiang University i Hangzhou, Kina, havde Wang skabt sit navn i menneske-computer-grænseflader og virtual reality-systemer. Så, i 1998, på højden af ​​sin akademiske karriere, modtog han en kryptisk e-mail fra Kai-Fu Lee, en berømt forsker, der netop var ved at starte Microsofts Beijing-laboratorium. Lee foreslog, at de skulle mødes, men havde for travlt til at forklare hvorfor. Jeg ved ikke, hvordan han fik mit navn, griner Wang, og han forklarede ikke, hvem han var.

Wang følte sig eventyrlysten og gik alligevel. Han opdagede hurtigt, at han og Lee delte ambitionen om at skabe en brugergrænseflade til computere, der var baseret på håndskrift. Penneprojektet var delvist inspireret af Wangs ønske om at gøre det muligt for mobile computere at håndtere håndskrevne asiatiske sprog. Men fra sin akademiske forskning i 3-D-grænseflader, havde han lært, at hvis teknologien ikke er designet til at være praktisk og appellerer til en række forskellige brugere, vil den ikke blive brugt bredt. Vi ville skabe et gennembrud, ikke forbedringer, siger han og tilføjer, at han i Microsoft havde fundet en perfekt partner. Jeg indså, at dette er stedet at være, hvis du ønsker, at din opfindelse skal bruges af millioner af mennesker i stedet for blot et par. Med den motivation forlod Wang Zhejiang University og sluttede sig til Beijing-laboratoriet i efteråret 1999.

Med det samme begyndte Wang, Lee og en kernegruppe af forskere daglige brainstormsessioner for at udjævne projektets mål-sessioner, der til sidst inkluderede deres øverste chef. Da vi talte med Bill [Gates] om denne teknologi, siger Wang, indså vi, at vi opfinder en ny slags dokument, ikke bare en pen. Nøgleideen, som passer til Microsofts forretning med at gøre kontorcomputere mere nyttige, var, at et dokument kunne holdes digitalt, selv når det blev udskrevet - med den rigtige type pen-interface og software.

Det tog mere end fire år at få det til at fungere. Ikke alene holdt Microsoft sig til Wang, men det gav ham også mulighed for at opbygge et hold på omkring 20 forskere, hvilket gav ham adgang til de færdigheder inden for programmering og hardware, han havde brug for til at designe pennen. Efter et par falske starter - inklusive en besværlig version, der udledte, hvad brugeren skrev, ud fra pennens bevægelser - udnyttede Wangs team fremskridt inden for computervisionsalgoritmer og baserede pennens sansning på et simpelt digitalkamera.

Forskernes første udfordring var at finde en måde at bestemme pennens placering på siden. Deres løsning involverer speciel software, der sætter et knapt synligt baggrundsmønster, som et vandmærke, på standardkopipapir, når et dokument udskrives (se Sætte pen på...Computer, nedenfor). Det sætter computeren i stand til ikke kun at finde ud af præcis, hvor pennen er i forhold til dokumentet, men også hvilket dokument der bliver ændret, fordi hver side har en unik kode. En tryksensor i pennen udløser et lille indbygget kamera, som tager billeder af brugerens skrivning. Billederne gemmes i pennen på en hukommelseschip som dem, der findes i digitale kameraer; når den bringes inden for få meter fra en pc eller bærbar computer, der har den korrekte software installeret, transmitterer pennen billederne trådløst ved hjælp af en Bluetooth-forbindelse.

Sætter pen til...computer

Pennen indeholder et digitalkamera, en tryksensor, en Bluetooth-radio og en hukommelseschip. Mens brugeren skriver på papir, tager kameraet små billeder af blækket.
Papiret har et baggrundsmønster, som et vandmærke, der udskrives sammen med dokumentet. Computeren bruger denne kode til at finde ud af præcis, hvor blækket er på siden.
Computeren modtager billedsekvensen trådløst og rekonstruerer håndskriften på det rigtige sted i den digitale dokumentfil. Med speciel redigeringssoftware kan brugeren derefter manipulere og formatere håndskriften.

At fortolke disse billeder og inkorporere dem i digitale filer viste sig at være et sværere problem. Tricket, forklarer Wang, er at få computeren til at genkende forskellige typer skrift og tegninger - at vide, hvad der er en boks, hvad der er en sætning, og hvad der er en doodle - bare fra en serie af billeder. For det første klassificerer computervisionsalgoritmer sekvenser af mærker som ord, diagrammer eller former, som alle kan manipuleres. Så giver karaktergenkendelsessoftware - emnet for mange års intensiv research hos Microsoft og andre steder - mening med den håndskrevne tekst. På computerskærmen vises brugerens mærker som håndskrift indlejret i dokumentet. Softwareværktøjer kan derefter konvertere skriften til maskinskrevet tekst og gengivet grafik; med disse værktøjer kan brugeren manipulere f.eks. bokse og tekst fra et håndtegnet rutediagram.

Ud over at gøre det muligt for brugere at importere og manipulere håndskrevet tekst, tabeller og diagrammer, siger Wang, vil pennen tillade flere samarbejdspartnere at komme med kommentarer på separate udskrifter af et dokument; computeren kunne så integrere dem alle i den samme fil. Slutresultatet, siger Wang, vil være en grænseflade som en bærbar scanner - men en, der er smart nok til at forstå de billeder, den tager, og til at opfylde sin opfinders drøm om at forvandle bunker af analogt papir tilbage til digitale filer.

Gennemgribende kuglepenne

Væk fra laboratoriet, over et måltid af Shanghai-stil frikadellesuppe og dampet fisk, forklarer Wang, hvordan laboratoriets kultur fremmer opfindelser. Udover at dele et hårdt arbejde, spise hård mentalitet, siger han, er laboratoriets medlemmer - og ledere - erfarne forskere, der forstår, at gennembrud tager tid. Du behøver ikke altid at bevise dig selv om en måned eller endda et år, siger Wang. Så forskere har fleksibiliteten til at prøve en række forskellige tilgange - vigtige for ambitiøse projekter som at genopfinde pennen.

Microsoft Research Asia er et stort virksomhedslaboratorium, der beskæftiger 150 fuldtidsforskere, men det har overraskende lidt bureaukrati, siger Wang. Ingen særlige godkendelsesprocedurer. Ingen hårdhændede mandater fra oven. Virksomheden forsøger at nære opfindelser ved at give sine ingeniører frihed til at udforske interessante muligheder for langsigtet forskning, mens de forbliver fokuseret på kortsigtede resultater ved at sætte milepæle og gennemføre projektgennemgange et par gange om året. Det gør det mere som en akademisk stil, siger Wang. Vi udgiver artikler, tager til konferencer og er vært for mange gæsteprofessorer. Det er et åbent miljø.

Observatører siger, at denne åbenhed er afgørende for laboratoriets produktivitet, især i et land med en begrænset historie med virksomhedsforskning. De har været en succes på grund af deres bånd til den akademiske verden, siger Shiqiang Yang, executive vice chair for Department of Computer Science and Technology på Tsinghua University, en af ​​Beijings førende ingeniørskoler. Den frie udveksling af ideer med studerende og professorer har styrket laboratoriets status i det akademiske samfund - og det hjælper det med at rekruttere nogle af Kinas bedste studerende og dataloger.

De tætte bånd betaler sig: Mere end 70 teknologier udviklet i Beijing-laboratoriet har fundet vej til Microsoft-produkter inden for områder som videospilsgrafik og talegenkendelse til diktering. Hvad angår Wangs digitale pen, kan den åbne helt nye markeder for Microsoft. Selvom kommercialisering stadig er et par år væk, er Wangs team i diskussioner med virksomhedens produktudviklingsgrupper i Redmond. Der er ikke lavet konkrete produktplaner endnu, siger Rashid, men det genererer en masse spændende ideer om, hvad der kan være muligt.

Faktisk giver teknologier udviklet af Wangs gruppe i løbet af penneprojektet allerede udbytte til virksomheden. Software, der kan genkende og manipulere håndskrift på en skærm er en funktion af Tablet PC-operativsystemet Microsoft, der blev udgivet i 2002. Det asiatiske marked kan være det første indgangspunkt for grænseflader som den digitale pen på grund af efterspørgslen efter software til at genkende og redigere Karakterer på asiatisk sprog, hvis store antal gør dem kedelige at indtaste ved hjælp af tastaturer.

Med enhver ny opfindelse er der talrige udfordringer i at transformere en spændende prototype til et faktisk produkt; men her burde Wangs træning i psykologi og menneskelige faktorer tjene ham godt. Pennen og dens software skal gøres nemmere at bruge, siger han; kunder vil ikke tolerere øget kompleksitet. Med de resterende knæk bearbejdet, har opfindelsen dog potentialet til at blive allestedsnærværende på grund af almindelige kuglepennes kendskab og bekvemmelighed. Pennen er så gennemgående, så udtryksfuld og en af ​​de bedste opfindelser, siger Wang. Så jeg tror, ​​at pennen kunne være en meget god computerenhed for fremtiden.

I sidste ende, siger Wang, vil alt på dit skrivebord - bøger, journaler, udskrifter - have en digital forbindelse til din computer. Det er, hvad han kalder at lukke sløjfen mellem analogt og digitalt. Og med stigninger i computerkraft og hukommelse kan en enhed som Wangs pen blive den vigtigste computergrænseflade, folk bruger på vejen. Wang forestiller sig, at brugere ikke kun kunne indtaste og gemme data, men også, med en trådløs håndholdt computer, få adgang til information i f.eks. en magasinartikel ved blot at understrege ord, der kan genkendes og slås op på nettet.

Med så meget at lave, har Wang dog ingen tid at spilde. Han arbejder måske for en af ​​verdens største virksomheder, men han bevarer stadig de lange nattetimer som en enlig opfinder. Efter middagen, mens det meste af Beijing er mørkt og stille, går han tilbage til arbejdet, opsat på at skrive fremtiden for menneske-computer-grænseflader.

skjule