211service.com
Hvordan man digitaliserer en million bøger
Femten måneder efter at Google annoncerede et bogscanningsprojekt af bibelske proportioner - et forsøg på at digitalisere hele bogsamlingerne på blandt andet New York Public Library og Harvard University biblioteker - er virksomheden stadig hemmelighedsfuld med hensyn til, hvordan de løser vigtige tekniske problemer og vil ikke sige, hvor meget de har opnået indtil videre.
Men et lignende, hvis mindre projekt – den Million Book projekt på Carnegie Mellon University i Pittsburgh – har været undervejs i omkring syv år. Det kunne give nogle ledetråde. Projektets direktør, datalog Raj Reddy, siger, at han og hans kolleger ikke har mere viden om Googles metoder eller fremskridt end nogen anden, men de tackler mange af de samme udfordringer.
Målet med Google Bogsøgning er at gøre alle offline bøger - i øjeblikket usynlige for Googles øje - søgbare. Dette betyder fysisk scanning af hundreder af millioner af sider bundet mellem omslagene på anslået 18 millioner bøger, genkendelse af omkring 430 sprog og alle mulige skrifttyper, gør resultaterne tilgængelige for tekstsøgninger og gentagelse af den traditionelle biblioteksoplevelse, når det hele er færdigt. Daniel Clancy, ingeniørdirektør for Google Bogsøgning, siger, at han ikke kan kommentere på, hvad virksomheden har opnået indtil videre.
I CMU-projektet er scanningsteknologien dog hylden. De bruger let tilgængelige Minolta PS 7000 bogscannere opstillet på 40 scanningsstationer i Indien og Kina, hvor de lokale myndigheder hjælper med at holde omkostningerne nede til nonprofitprojektet. I denne opsætning vender arbejderne manuelt hver side. Syv år inde i projektet er omkring 600.000 bøger (for det meste public domain-værker sendt fra hele verden) blevet scannet, og hver dag slutter yderligere 100.000 sider sig til det digitale korpus. Med denne hastighed kan det tage knap fem år at gennemføre CMS-projektet.
I modsætning hertil siger Clancy, at Google har udviklet sin egen scanningsteknologi. Men virksomheden er mor med hensyn til de tekniske detaljer i hardwaren, softwaren til optisk tegngenkendelse (OCR) og scanningshastigheden på deres fem scanningscentre i nærheden af samarbejdende bibliotekspartnere på Harvard, Stanford, University of Michigan, University of Oxford og New York Offentligt bibliotek.
Reddy siger kommercielt tilgængelig software for at genkende engelsk fungerer godt for Million Book Project. De udfordringer, de står over for med OCR, bliver løst af deres kinesiske partnere, som udvikler specifik software til bedre at genkende ukonventionelle skrifttyper og kalligrafiske scripts, der ofte findes i ældre bøger. Derudover er deres partnere i Egypten ved at udvikle OCR til arabisk. Lige nu, siger Reddy, er OCR et aktivt forskningsområde, hvor mange lande bidrager med ekspertise.
Når bøger er scannet og deres tekster er tilgængelige, er den store udfordring at gøre teksten nyttig til søgning. Uoverensstemmelsen i den fysiske kvalitet af bøger kan give problemer, siger Clancy, især med sidenummerering. For eksempel kan der mangle hele sider, eller hjørner med hundeører kan afsløre et forkert sidetal. Og hvis paginering er forkert i en del af bogen, forplanter fejlen sig gennem hele værket.
Dette problem er ved at blive overvundet, siger CMUs Reddy, ved at designe software, der ikke er afhængig af sidetal. Det skaber i stedet strukturelle metadata, som i bund og grund er tags, der opsummerer betydningen af information i en bog, så forskere kan sammenkæde ord i indholdsfortegnelsen med tilsvarende kapitler. Derudover kan indekserede termer linkes til de korrekte passager. Desværre, siger Reddy, er etableringen af links stadig en manuel proces; ingen har udviklet software, der kan etablere disse hyperlinks med mere end omkring 90 procent nøjagtighed. Hvis teknikken kan finpudses, kan det dog gøre tekstsøgninger mere meningsfulde.
I sidste ende, siger Clancy, vil Google gerne have, at Bogsøgning giver det samme resultat som en person, der går til et bibliotek, kigger i dets stakke og serendipitalt finder en bog, der er interessant eller nyttig. En måde at gøre dette på ville være at knytte bøger til hinanden efter kategorier og temaer, foreslår han. Opgaven bliver dog mere kompliceret, når f.eks. værker af Virginia Woolf forbindes med kritik af hendes arbejde, værker, der inspirerede hende, eller forfattere, der skrev i samme tidsalder. At designe algoritmer, der effektivt kan organisere al denne nye information, siger Clancy, er en af de store udfordringer og vil tage mange år.
Reddy siger, at CMU-forskere forsøger at tackle denne udfordring ved at bruge en statistisk tilgang til at organisere informationen. I denne tilgang ville Virginia Woolfs stream-of-consciousness-sætninger for eksempel blive analyseret ved hjælp af en algoritme, der ville finde mønstre baseret på sætningslængde, struktur og tegnsætning. Denne teknik kan finde et værk af James Joyce, en af Woolfs indflydelser - eller værket af en obskur forfatter, hvis skrifter ellers aldrig ville være blevet fundet.
I mellemtiden søger forskere genveje til at søge blandt forfattere, bøger og genrer, siger Reddy. På samme måde som samarbejdsfiltrering hos Amazon bruger folks tidligere køb til at hjælpe andre med at finde potentielle køb, kunne bogsøgningsbrugere hjælpe hinanden. Den fællesskabsbaserede tilgang er en idé, som Google ikke har annonceret, siger Clancy, men den kunne tilføje endnu et lag til at søge gennem bøger og skabe begejstring på græsrødderne omkring projektet.
Det er bestemt ikke nyt for Google at holde sine kort tæt. De er hemmelighedsfulde omkring næsten alt, hvad de gør ... det er meget almindeligt med Silicon Valley-virksomheder, siger Reddy hos CMU. I tilfældet med Bogsøgning, siger han, ønsker Google at have en samlet løsning til alle bibliotekerne. Alligevel er Reddy begejstret for Googles projekt og tror på, at det i sidste ende vil komplementere hans forskning. Jeg er sikker på, at de på et tidspunkt vil have en pegepind til vores bøger, siger han.
I mellemtiden må Google kæmpe med det ikke-tekniske problem med utilfredse copyright-indehavere, der trækker dem for retten. The Author's Guild og en række udgivere har sagsøgt dem og hævder, at Googles projekt overtræder loven om ophavsret. (Stanford-professor Lawrence Lessig har lavet en 30-minutters video om den juridiske kontrovers.)
Men hvis de juridiske og tekniske udfordringer kan overvindes, kan digitaliserede fysiske bøger i høj grad overgå milliarder af eksisterende websider i bredden og dybden af information. Faktisk har et enkelt omfattende onlinekortkatalog for millioner af verdens bøger potentialet til at skabe et helt nyt kapitel i informationsalderen.