Hjælper døve med at høre musik

John Redden er en døv professionel musiker. Han kan synge på toneart, harmonisere på toneart og høre musikalske intervaller godt nok til at gengive dem. Det gør han med et cochleaimplantat, som er en computerchip, der er kirurgisk indlejret i hans kranium. Chippen driver 16 bittesmå elektroder ind i hans indre øre, som stimulerer hans hørenerver. Den får auditive data fra en ekstern computer, der sidder på hans øre, og som ligner et høreapparat. I stedet for at forstærke lyden, digitaliserer den den dog og sender den til implantatet via radio gennem huden.

Musikprøve: Forskere ved University of Washington har udviklet en computeriseret test for at vurdere, hvor godt cochlear-implantatbrugere kan høre musik. Chad Ruffin, en kodeudvikler af testen og en cochlear-implantatbruger, demonstrerer, hvordan en del af testen tages. Brugeren hører en bestemt tone spillet af et hvilket som helst af otte instrumenter og skal beslutte hvilket. Denne del af testen måler evnen til at høre klang, den subtile, men afgørende forskel mellem instrumenter, der spiller den samme tone.

Teknologien er et vidunder, men folk som Redden er et mysterium. Softwaren er designet til tale, så den kun lytter til talefrekvenserne i stedet for det meget bredere område, som musik optager. Enheden leverer den overordnede form af lyd snarere end den detaljerede frekvensinformation, der er afgørende for at skelne en tonehøjde fra en anden.

De fleste mennesker med normal hørelse kan kende forskel på tonehøjder, der er 1,1 halvtoner fra hinanden. (En halvtone er det mindste tonehøjdeinterval i vestlig musik.) Men en undersøgelse fra 2002 ved University of Iowa viste, at de fleste implantatbrugere kun kan skelne tonehøjder, når de er mindst 7,6 halvtoner fra hinanden.

Der er gjort nogle fremskridt med at skrive bedre software til musik. Jeg er selv cochlea-implantatbruger. I 2005 prøvede jeg ny software, kaldet Fidelity 120 , der simulerede syv virtuelle elektroder mellem hver fysisk elektrode, ikke ulig den måde, en lydtekniker kan få en lyd til at komme fra mellem to højttalere. Ved at målrette nervepopulationer mellem hver elektrode gav softwaren mig bedre frekvensopløsning. For mig gjorde det en stor forskel. Når jeg spiller dette simulering af et klaver med min gamle software, kaldet Hi-Res, kan jeg ikke skelne mellem tre tilstødende nøgler. Men med Fidelity 120 kan jeg. Musik lyder fyldigere, rigere og mere detaljeret.

Multimedier

• Se dele af CAMP-testen.

Men ikke alle får det samme resultat. Redden, der gør det langt bedre musikalsk end jeg, prøvede Fidelity 120, men foretrækker stadig Hi-Res. Sådanne variationer mellem brugeroplevelser giver reelle problemer for forskere, der ønsker at udvikle bedre software. Oplevelsen af ​​musik er uundgåeligt subjektiv. En Sex Pistols-fan kan fortælle dig, at et givet stykke software lader hende høre Anarchy i Storbritannien bedre, mens en Mozart-fan måske fortæller dig, at softwaren ikke gør noget for En lille nat musik . Subjektive rapporter giver ikke udviklere nok information til at vide, om de gør fremskridt.

jeg spurgte Jay Rubinstein , en otolaryngolog og cochlear-implantatforsker ved University of Washington, for at forklare problemet. Musik er ikke kun én enhed, fortalte han mig. Den består af kombinationer af rytme, melodi, harmoni, dissonans og tekster. Man er nødt til at opdele det i dets komponenter for at bestemme, hvor godt eller dårligt nogen kan høre det.

Rubinstein og hans team af forskere ved University of Iowa og University of Washington gør netop det. På Association for Research in Otolaryngologys årsmøde i Phoenix den 17. februar afslørede de en computeriseret test kaldet Klinisk vurdering af musikopfattelse (LEJR). Et papir, der beskriver deres arbejde, er netop blevet offentliggjort i Otologi og Neurotologi februar-nummeret.

CAMP omgår smagsforskelle ved at strippe musik til tre grundlæggende komponenter – tonehøjde, klang og melodi – og systematisk vurdere, hvor godt brugerne opfatter hver enkelt.

Pitchperception måles, når programmet spiller to toner med kort interval fra hinanden og beder brugeren om at beslutte, hvilken tone der er højere. Når brugeren har ret, giver programmet hende toner, der er tættere på hinanden. Når hun ikke har ret, giver det hende toner, der er længere fra hinanden. Over en række forsøg udarbejder programmet det nærmeste interval, som hun pålideligt kan skelne. Det er en forholdsvis nem test, fordi det eneste, lytteren skal gøre, er at bestemme, hvilken af ​​to toner der er den højeste.

Timbre perception måles ved at spille den samme tone på otte forskellige instrumenter. Brugeren bliver bedt om at identificere, hvilket instrument hun hører. For eksempel kan emnet blive spurgt, om en bestemt tone blev spillet på et klaver, en fløjte eller en saxofon. Timbre er måske det sværeste aspekt af musik at definere, men det giver et følsomt mål for en brugers evne til at høre distinkte, men subtile forskelle.

Melodiopfattelse måles på en meget usædvanlig måde. Testen bruger velkendte melodier som Frère Jacques og Three Blind Mice. Men enhver ville genkende Frère Jacques fra teksterne, så teksten er taget ud. Det samme er rytmen – det vil sige timingen og varigheden af ​​tonerne. Tilbage er en streng af lige store toner af samme varighed: melodien og ingenting men melodien.

Jeg var en af ​​testpersonerne i de tidlige forsøg med CAMP. Første gang jeg tog testen brugte jeg min gamle software, Hi-Res. Pitch-testen var ret nem: Jeg identificerede de fleste af frekvenserne korrekt 75 procent af tiden. Jeg klarede mig ikke så godt på klangprøven og fik omkring 40 procent ret.

Men meloditesten forvirrede mig. Den allerførste melodi lød som Bip Bip Bip Bip BIP BIP BIP BIP BIP BIP. Jeg stirrede på computeren. Hvad fanden var det?

Jeg identificerede den ved at vælge en sangtitel tilfældigt, da jeg ikke havde nogen anelse om, hvad det var, og ventede på den næste melodi. Bip Bip Bip Bip Bip Bip Bip Bip Bip Bip.

Og den næste. Bip Bip Bip Bip Bip Bip Bip Bip Bip Bip.

Var de endda forskellige?

Min score var mindre end 10 procent. Jeg talte med Chad Ruffin, en af ​​testdesignerne, som selv havde fået et cochleaimplantat. Hvor godt, ville jeg vide, ville en person, der hører normalt, klare sig på meloditesten? Omkring 100 procent, fortalte han mig.

Vi gjorde testen igen med Fidelity 120. Jeg klarede mig bedre på meloditesten denne gang og scorede omkring 20 procent. Det var tættere på den gennemsnitlige score, som, fortalte Rubinstein, var 25 procent.

Men John Redden havde gjort det langt bedre. Redden gav mig sin score på meloditesten: 100 procent. For en cochlea-implantatbruger var det en ekstraordinær score. Det hjalp nok at have en professionelt trænet hjerne til musik. Richard Reed, en musiker, der havde mistet hørelsen som 37-årig og fået et implantat som 46-årig, havde scoret 86 procent. Kun en håndfuld af forsøgspersonerne havde fået score i det interval.

Rubinstein siger, at folk som Redden og Reed er bevis på, hvad der er muligt. Han fortalte mig, at jeg ikke ønsker at føre folk til urealistiske forventninger til evnen til at høre musik med et cochlear implantat, men faktisk er resultaterne bedre, end vi forventer. Der var selvfølgelig de høje scorende, men selv mange af de lavscorende på meloditesten havde stadig klaret sig godt på pitch-perceptionstesten, som jeg havde.

Resultaterne antydede, at den begyndende kapacitet til at opfatte tonehøjde var der og ventede på at blive udnyttet med bedre software og bedre træning. For eksempel har Rubinsteins laboratorium eksperimenteret med en algoritme, der bruger et fænomen kaldet stokastisk resonans for at forbedre musikopfattelsen.

Så der var en god grund til, at meloditesten var hård, indså jeg. Det var ikke en umulig test for implantatbrugere, men blot en meget vanskelig test. Det var en enkel, nem at bruge og pålidelig test, der lod forskere måle ydeevnen af ​​nye algoritmer objektivt. (Et papir, der giver data om en større gruppe af emner og demonstrerer test-gentest-pålidelighed, er i øjeblikket ved at blive gennemgået, siger Rubinstein.)

Testen lader også forsøgspersoner måle fremskridt over tid. Hvis i løbet af 10 år scores er fordoblet, vil det betyde, at implantatbrugere virkelig er høre de grundlæggende elementer i musikken bedre.

Testen ville også gøre det nemmere for forskere at analysere præstationerne af superlyttere som John Redden, så de i sidste ende kan udvikle ny software, så andre døve kan høre musik bedre.

Michael Chorost dækker implanterede teknologier til Teknologigennemgang . Hans bog, Genopbygget: Hvordan det at blive en del af computeren gjorde mig mere menneskelig , udkom i 2005.

skjule