Første computer, der matcher mennesker i samtaletalegenkendelse

Én efter én falder de færdigheder, der adskiller os fra maskiner, ind i maskinernes kolonne. Først var der skak, så Fare! , derefter Go, derefter objektgenkendelse, ansigtsgenkendelse og videospil generelt. Du kunne blive tilgivet for at tro, at mennesker er ved at blive forældede.

Men prøv enhver stemmegenkendelsessoftware, og din tro på menneskeheden vil hurtigt blive genoprettet. Selvom de er gode og bliver bedre, er disse systemer på ingen måde perfekte. Bestiller du is eller siger jeg skriger? Sandsynligvis begge dele, hvis det er en maskine, du taler med.

Så det burde være betryggende at vide, at almindelig samtale-talegenkendelse er noget, maskiner stadig kæmper med - at mennesker stadig er mestre over deres eget sprog.

Det synspunkt skal muligvis ændres. Hurtigt. I dag siger Geoff Zweig og venner hos Microsoft Research i Redmond, Washington, at de har knækket denne form for talegenkendelse, og at deres maskinlæringsalgoritmer nu overgår mennesker for første gang med at genkende almindelig samtaletale.

Talegenkendelsesforskning har en lang historie. I 1950'erne kunne tidlige computere genkende op til 10 ord, der blev talt tydeligt af en enkelt taler. I 1980'erne byggede forskere maskiner, der kunne transskribere simpel tale med et ordforråd på 1.000 ord. I 1990'erne udviklede de sig til optagelser af en person, der læste Wall Street Journal , og derefter over på udsendt nyhedstale.

Disse scenarier er alle mere og mere ambitiøse. Men de er også enklere end almindelig tale på grund af forskellige begrænsninger. Ordforrådet i Wall Street Journal er begrænset til forretning og finans, og sætningerne er velstrukturerede og grammatisk korrekte, hvilket ikke nødvendigvis er tilfældet for almindelig tale. Udsendt nyhedstale er mindre formel, men stadig højstruktureret og tydeligt udtalt. Alle disse eksempler er til sidst blevet erobret af maskiner.

Men den sværeste opgave - at transskribere almindelig samtaletale - har standhaftigt modstået angrebet.

Almindelig tale er betydeligt vanskeligere på grund af ordforrådets størrelse og også på grund af de andre lyde end ord, som folk laver, når de taler. Mennesker bruger en række lyde til at styre turtagning i samtale, en form for kommunikation, som lingvister kalder en backchannel.

For eksempel, Uh huh bruges til at anerkende taleren og signalere, at han eller hun skal blive ved med at tale. Men øh er en tøven, der indikerer, at taleren har mere at sige, en advarsel om, at der er mere i vente. Til gengæld ledelse, øh spiller den modsatte rolle Uh huh .

Mennesker har lidt svært ved at analysere disse lyde og forstå deres rolle i en samtale. Men maskiner har altid kæmpet med dem.

I 2000 udgav National Institute of Standards and Technology et datasæt for at hjælpe forskere med at tackle dette problem. Dataene bestod af optagelser af almindelige samtaler på telefonen. Nogle af disse var samtaler mellem personer om et tildelt emne. Resten var samtaler mellem venner og familie om ethvert emne.

De fleste af dataene skulle hjælpe med at træne en maskinlæringsalgoritme til at genkende tale. Resten var en test, som maskinerne skulle transskribere.

Ydeevnemålet var antallet af ord, som maskinen tog fejl, og det ultimative mål var at udføre opgaven bedre end mennesker.

Så hvor gode er mennesker? Den generelle konsensus er, at når det kommer til transskription, har mennesker en fejlrate på omkring 4 procent. Med andre ord transskriberer de fire ord for hver hundrede forkert. Tidligere har maskiner ikke været i nærheden af ​​dette benchmark.

Nu siger Microsoft, at det endelig har matchet menneskelig præstation, dog med en vigtig advarsel. Microsoft-forskerne begyndte med at revurdere den menneskelige præstation i transskriptionsopgaver. Det gjorde de ved at sende telefonoptagelserne i NIST-datasættet til en professionel transskriptionstjeneste og måle fejlprocenten.

Til deres overraskelse fandt de ud af, at denne tjeneste havde en fejlrate på 5,9 procent for samtaler mellem personer om et tildelt emne og 11,3 procent for samtaler mellem venner og familiemedlemmer. Det er meget højere, end man havde troet.

Dernæst optimerede Zweig og co deres egne deep-learning-systemer baseret på foldede neurale netværk med varierende antal lag, som hver behandler et andet aspekt af tale. De brugte derefter træningsdatasættet til at lære maskinen at forstå almindelig tale og slippe den løs på testdatasættet.

Resultaterne: samlet set har Microsofts talegenkendelsessystem en fejlrate, der ligner mennesker, men den slags fejl, det laver, er ret forskellige.

Den mest almindelige fejl, som Microsoft-maskine laver, er at forvirre backchannel-lydene øh og øh-hø . I modsætning hertil begår mennesker sjældent den fejl og har i stedet en tendens til at forveksle ord som til og det eller øh og til .

Der er principielt ingen grund til, at en maskine ikke kan trænes til at genkende backchannel-lyde. Zweig og co mener, at det vanskeligheder, maskinen har med disse, sandsynligvis er at gøre med den måde, disse lyde er mærket på i træningsdatasættet. Den relativt dårlige ydeevne af det automatiske system her kan simpelthen skyldes forvirring i træningsdataannoteringerne, siger de.

Samlet set matcher maskinen dog den menneskelige fejlrate på 5,9 procent for samtalerne om et tildelt emne, men overgår mennesker i opgaven med at transskribere venne- og familiesamtaler med en fejlprocent på 11,1 procent. For første gang rapporterer vi automatisk genkendelsespræstation på niveau med menneskelig præstation på denne opgave, siger Zweig og co.

Det er interessant arbejde. Microsoft kan have flyttet målstolperne i registreringen af ​​denne sejr for sine maskiner, men skriften er tydeligt på væggen. Maskiner er ved at blive bedre end mennesker til talegenkendelse. Det vil have væsentlige konsekvenser for den måde, vi interagerer med maskiner på, ikke mindst når det kommer til bestilling af is.

Ref: arxiv.org/abs/1610.05256 : At opnå menneskelig paritet i samtaletalegenkendelse

skjule