Hårdere Turing-test afslører Chatbots' dumhed

Bruger: Siri, ring til mig en ambulance.

Siri: Okay, fra nu af ringer jeg til dig en ambulance.

Apple rettede denne fejl kort efter, at deres virtuelle assistent først blev udgivet i 2011. Men en ny konkurrence viser, at computere stadig mangler den sunde fornuft, der kræves for at undgå sådanne pinlige sammenblandinger.

Resultaterne af konkurrencen blev præsenteret på en akademisk konference i New York i denne uge, og de giver et vist mål for, hvor meget arbejde der skal gøres for at gøre computere virkelig intelligente.

Illustration af Max Bode

Det Winograd Schema Challenge beder computere om at forstå sætninger, der er tvetydige, men som regel enkle for mennesker at analysere. At tvetydige Winograd Schema-sætninger kræver en vis fornuftsforståelse. I sætningen Byrådsmedlemmerne nægtede demonstranterne en tilladelse, fordi de frygtede vold, er det logisk set uklart, hvem ordet de henviser til, selvom mennesker forstår på grund af den bredere sammenhæng.

Programmerne, der deltog i udfordringen, var lidt bedre end tilfældige til at vælge den korrekte betydning af sætninger. De to bedste deltagere var rigtige 48 procent af gangene, sammenlignet med 45 procent, hvis svarene er valgt tilfældigt. For at være berettiget til at gøre krav på hovedpræmien på $25.000, skal deltagere opnå mindst 90 procent nøjagtighed. De fælles bedste bidrag kom fra Quan Liu, en forsker ved University of Science and Technology i Kina, og Nicos Issak, en forsker fra Open University of Cypern.

Det er ikke overraskende, at maskiner knap var bedre end tilfældigheder, siger Gary Marcus , en forskningspsykolog ved New York University og en rådgiver for konkurrencen. Det er fordi det er notorisk svært at give computere almindelig viden. Håndkodningsviden er umuligt tidskrævende, og det er ikke nemt for computere at lære om den virkelige verden ved at udføre statistisk analyse af tekst. De fleste af deltagerne i Winograd Schema Challenge forsøger at bruge en kombination af håndkodet grammatikforståelse og en videnbase af fakta.

Marcus, som også er medstifter af en ny AI-startup, Geometric Intelligence, siger, at det er bemærkelsesværdigt, at Google og Facebook ikke deltog i begivenheden, selvom forskere hos disse virksomheder har antydet, at de gør store fremskridt inden for naturlig sprogforståelse. Det kunne have været, at de fyre valsede ind i dette rum og fik hundrede procent og sagde 'hah!', siger han. Men det ville have forbløffet mig.

Konkurrencen tjener ikke kun som et mål for fremskridt inden for AI. Det viser også, hvor svært det vil være at bygge mere intuitive og yndefulde chatbots og at træne computere til at udtrække mere information fra skrevet tekst.

Forskere hos Google, Facebook, Amazon og Microsoft retter deres opmærksomhed mod sproget. De bruger de nyeste maskinlæringsteknikker, især deep learning neurale netværk, til at udvikle smartere, mere intuitive chatbots og personlige assistenter (se Teaching Machines to Understand Us). Faktisk, med chatbots og stemmeassistenter, der bliver mere almindelige, og med dramatiske fremskridt inden for områder som billed- og talegenkendelse, tror du måske, at maskiner blev ret gode til at forstå sprog.

En af de to førstepladser brugte faktisk en banebrydende maskinlæringstilgang. Lius gruppe, som omfattede forskere fra York University i Toronto og National Research Council of Canada, brugte dyb læring til at træne en computer til at genkende forholdet mellem forskellige begivenheder, såsom at spille basketball og vinde eller blive skadet, fra tusindvis af tekster.

Jeg var glad for at se dyb læring brugt, siger Leora Morgenstern , seniorforsker hos Leidos Corporation, et teknologikonsulentfirma, og en af ​​arrangørerne af udfordringen.

Lius team hævder, at efter at have rettet et problem med den måde, dets system analyserede konkurrencens spørgsmål på, er det næsten 60 procent nøjagtigt. Morgenstern advarer dog om, at selv hvis disse påstande blev bekræftet, ville nøjagtigheden stadig være langt værre end et menneskes.

Winograd Schema-sætninger blev først fremhævet som en måde at måle maskinforståelse af Hector Levesque, en kunstig intelligens-forsker ved University of Toronto. De er opkaldt efter Terry Winograd, en pioner på området og en professor ved Stanford University, som byggede et af de første samtalecomputerprogrammer.

Udfordringen blev foreslået i 2014 som en forbedring af Turing-testen. Alan Turing, en forfader til computere og kunstig intelligens, som i 1950'erne overvejede, om maskiner en dag kunne tænke som mennesker, foreslog en simpel måde at teste en maskines intelligens på. Hans idé var, at en maskine skulle forsøge at narre en person til at tro, at han talte med en rigtig person i en sms-samtale.

Problemet med Turing-testen er, at det ofte er nemt for et program at narre en person ved at bruge simple tricks og undvigelser. Men et program kan ikke parse Winograd Schema eller andre tvetydige sætninger uden en form for generel viden.

Konkurrencen kan have betydelige praktiske konsekvenser. Det kommer til at dukke op, når du begynder at støtte dialoger, siger Charlie Ortiz , en senior hovedforsker hos Nuance, en virksomhed, der laver stemmegenkendelse og stemmegrænsefladesoftware, som sponsorerede Winograd Schema Challenge. Ortiz siger, at sund fornuft vil være påkrævet for selv simple samtaler med computere. Når jeg shopper, hvis jeg siger: 'Jeg vil gerne have et etui til min guitar; den skal være stærk.’ Så refererer ’det’ til sagen eller guitaren?

Marcus tilføjer, at sund fornuft vil blive vigtigere, efterhånden som enheder som smarte apparater eller bærbare gadgets bliver mere almindelige. Når du vil stille en forespørgsel på dit ur, kommer du ikke til at rulle gennem 50 valgmuligheder, siger han. Når du begynder at tale med din bil eller dit ur, og du slipper af med indtastningsmodaliteten og ønsker at have et sammenhængende sæt af sætninger – denne samtalediskurs – henviser folk bare naturligt tilbage til tingene, og du skal løse disse problemer for at det virker.

skjule