211service.com
Der er en ny måde at tæmme sproglig AI på, så den ikke generer dig
Et billede af tekstoutput af AI-model GPT-2. Ms. Tech
I de sidste to år har AI-underområdet inden for natursprogsbehandling oplevet enorme fremskridt. For eksempel er en sprogmodel udviklet af det San Francisco-baserede forskningslaboratorium OpenAI, kaldet GPT-2, blevet brugt til at skabe fiktion , falske nyhedsartikler , og en praktisk talt uendelig Vælg dit eget eventyr-stil tekstspil .
Men disse typer modeller er i det væsentlige massive tekstforudsigelsessystemer, der ikke tager hensyn til mening, så de sætninger, de producerer, er mere tilbøjelige til at være overfladisk flydende, end de er virkelig meningsfulde. Det er svært at fortælle en model at holde sig til et bestemt emne som for eksempel sundhedspleje. Alligevel modeller som GPT-2 kan stadig spilles at producere racistisk og giftig produktion, hvilket gør dem endnu mindre nyttige.
Nu har forskere ved Uber AI udviklede sig en måde at styre disse sprogmodeller på, hvilket gør det lettere for brugerne at specificere emnet eller endda følelsen af de sætninger, de genererer. I lyset af prompten. Problemet fokuserede for eksempel på, at en model, der blev bedt om at fokusere på militæret, kunne producere et output som dette: Problemet fokuserede på det faktum, at regeringen havde brugt milliarder på militæret, og at den ikke kunne indsætte tropperne i tid. Hvis det i stedet blev bedt om at fokusere på politik, kunne outputtet være mere som dette: Spørgsmålet fokuserede på et enkelt afsnit af lovgivningen. Det er uklart, om udvalget vil stemme for at forlænge loven.
Selvom modellen stadig ikke forstår meningen, giver teknikken mere kontrol. Det tager os et skridt tættere på at bringe springene i AI-genereret sprog til mere domænespecifikke applikationer, såsom sundhedspleje eller chatbots til finansielle tjenester. Det kan også bruges til at guide modeller væk fra at producere offensive resultater.
Teknikken bruger to separate statistiske modeller. Den første er simpelthen den originale sprogmodel, som GPT-2, der konstruerer sætninger baseret på sandsynligheden for, at visse ord optræder ved siden af andre. Den anden model bedømmer, hvor godt den første models output viser en ønsket egenskab - om det for eksempel er at holde sig til et foreskrevet emne eller en bestemt følelse. Hvis den ønskede egenskab er et emne som rum, kan modellen score den første models output på, hvor mange relevante ord den indeholder, såsom planet, galakse og kredsløb. Hvis egenskaben er en følelse som positivitet, kunne evalueringsmodellen trænes til at score det følelsesmæssige indhold af dens ord.
Når en indledende prompt føres ind i den første model, begynder den processen med at forudsige efterfølgende ord. Men efter hvert ord tjekker den sin score med evalueringsmodellen og justerer på baggrund af feedbacken. Den sidste sætning ender med den ønskede egenskab, samtidig med at den gigantiske sprogmodels flydende beholdes.
Den nye metode er meget fleksibel og kan kombinere flere mål. Det kunne henvises til for eksempel at skrive om madlavning med en negativ tone. Det har også den fordel, at det er beregningsmæssigt effektivt. Andre metoder kan fokusere outputtet af en sprogmodel mod specifikke emner eller følelser, men de kan kræve betydelig omskoling. I størrelsesordenen GPT-2 er dette både miljømæssigt og økonomisk dyrt. En kandidatstuderende som mig har ikke de ressourcer, siger Sumanth Dathathri, der studerer på Caltech og var medforfatter til papiret under et praktikophold hos Uber. Den nye metode undgår helt omskoling ved at give mere kontrol over den model, der allerede eksisterer.
Teamet forudser, at denne teknik bliver brugt i mange forskellige applikationer, uanset om det er dialogsystemer, oversættelsessystemer eller endda kunst. I 2016 udviklede laboratoriet en lignende metode til at kontrollere generering af billeder i stedet for sprog. Der var mange kunstnere, der brugte det til at producere smukke ting, husker Jason Yosinski, et stiftende medlem af Uber AI, som havde tilsyn med avisen. Jeg kunne se mange andre kunstnere gøre det samme her.
For at få flere historier som denne leveret direkte til din indbakke, tilmeld dig vores Webby-nominerede AI-nyhedsbrev The Algorithm. Det er gratis.