Datavidenskab og statistik: Muligheder og udfordringer

leveret af MIT professionel uddannelse

Vi lever nu i en verden, hvor det ser ud til, at alt ved os er (eller snart vil blive) sporet og registreret: hvad vi spiser, hvad vi ser, hvordan vi socialiserer, hvad vi kan lide og ikke kan lide, vores vitale sundhedsstatistikker – og listen fortsætter.

En sådan hidtil uset adgang til personlige data giver potentielt enorme muligheder for for eksempel at hjælpe embedsmænd med at træffe bedre politiske beslutninger, tillade virksomheder at operere mere effektivt og rentabelt, strømline brugen af ​​offentlige ressourcer, støtte mere personlig sundhedspleje og lægemiddeldesign og på anden måde forbedre den overordnede livskvalitet i vores samfund. Nøglen til at gribe disse muligheder ligger i vores evne til at konvertere de tilgængelige data til væsentlige beslutninger.

Datavidenskab og statistik: Muligheder og udfordringer

• Dette nye 6-ugers online kursus begynder den 4. oktober.

  Tilmeld dig i dag!

Et kommende seks ugers online MIT Professional Education-kursus, Datavidenskab: Data til indsigt , tilbydes i samarbejde med MIT Institute for Data, Systems, and Society ( IDSS ), vil fokusere på analyser. Men det vil også adressere sådanne bekymringer som de seneste trends inden for maskinlæring: hvordan man kan udvinde meningsfuld indsigt og præferencer fra kundedata generelt, og hvordan man stiller de rigtige spørgsmål for at træffe bedre forretningsbeslutninger.

Udfordringen

I løbet af de sidste par årtier har vi bygget infrastruktur, der kan lagre og behandle enorme mængder data. Men vi mangler stadig den kritiske evne til sømløst at sammensætte forskellige datastykker for at lave meningsfulde forudsigelser, der fører til beslutninger med stor effekt. I betragtning af de uendelige muligheder, der kan frigøres ved at adressere denne mangel, tror jeg, at dette er en af ​​vores tids afgørende udfordringer.

Uddannelsesinstitutionerne kan spille en ledende rolle i at løse denne vigtige udfordring. På MIT, IDSS og dets nye Statistics and Data Science Center ( SDSC ) vil hjælpe med at løse udfordringen med at omdanne data til beslutninger i den virkelige verden med en tostrenget tilgang:

1. Undervisning af vores elever at kunne arbejde med store mængder data og bruge værktøjerne til at udtrække meningsfuld information derfra. Sagt på en anden måde skal vi uddanne studerende inden for alle discipliner til at være begge data scientists og statistikere. Dette kræver, at institutionerne udformer et strømlinet, tværfagligt uddannelsesprogram, der omfatter elementer fra ingeniørvidenskab, matematiske videnskaber og samfundsvidenskab.
2. Udvikling af et forskningsprogram der i sidste ende producerer et statistisk databehandlingssystem, der let kan bruges til at lave alle mulige præcise forudsigelser. Et sådant system skal arbejde med heterogene datakilder, fungere i skala og føre til forudsigelser, der kan fortolkes effektivt. Dette ambitiøse program kan hjælpe med at mobilisere en tværfaglig og spændende intellektuel indsats inden for datavidenskab og statistik i det næste årti eller længere.

Tænker på beslutninger

Lad os overveje, hvordan beslutninger træffes. I en typisk organisation afhænger grundlæggende operationelle opgaver af beslutninger om, hvordan man investerer tilgængelige ressourcer blandt forskellige konkurrerende muligheder med et øje på et eller flere mål.

For eksempel træffer den amerikanske regering sådanne beslutninger, mens den udvikler sit budget. Et handelsfirma investerer penge i forskellige finansielle instrumenter for at skabe porteføljer med højt afkast og potentielt velforståede risici. En detailorganisation træffer beslutninger om, hvilke varekøb der vil generere høje indtægter og overskud. En husstand træffer beslutninger om, hvordan man får mest muligt ud af familiens indkomst. Et rationelt individ træffer beslutninger om, hvad man skal spise (og hvad ikke at spise) for at få nok energi og forblive sund.

Alle sådanne beslutninger går i en nøddeskal ned til at lave forudsigelser og derefter foretage visse optimeringsaktiviteter ved at bruge disse forudsigelser.

Sådan fungerer det: Et detaileksempel

Lad os nu se på et konkret eksempel, der involverer en tøjforhandler. Forhandlerens primære operationelle problem er at finde ud af, hvilke produkter der skal fremvises for kunderne, givet forskellige operationelle begrænsninger såsom dets budget til at købe varelager, grænserne for dets butikkers hyldeplads og dets leverandørers tidsplaner. Spørgsmålet om at vælge, hvilke produkter der skal fremvises, opstår på forskellige tidspunkter for forskellige typer beslutninger, såsom at beslutte hvilke produkter der skal købes på tværs af butikskæden, hvilke der skal sendes til forskellige lokationer fra distributionscentre, hvilke produkter der skal rabatteres, hvilke der skal promoveres via e-mail, og som de skal vise til kunderne, når de besøger butikker eller e-handelssider.

Alle disse spørgsmål kræver i bund og grund en forståelse af, hvad folk kan lide og ikke kan lide. Nogle eksisterende systemer giver denne indsigt og kan for eksempel indikere, at blå skjorter er trendy, mens røde shorts er holdt op med at sælge. Men hvordan omsætter vi denne indsigt til handling?

Datadrevet beslutningstagning

Konceptuelt kræver datadrevet beslutningstagning, at beslutningsvariabler og -muligheder forbindes med data og derefter løses et optimeringsproblem med forskellige mål. Operationelt kræver dette opbygning af et databehandlingssystem, der kan være ekstremt stort, og som måske skal fungere i realtid med tre komponenter på højt niveau: grænseflader, infrastruktur og algoritmer.

Grænseflader. Disse giver måder til at levere information til slutkunder og sensorer til at indsamle information. For eksempel tillader webbaserede (browser) grænseflader eller mobilapplikationer indsamling af information om online kundeaktiviteter. På samme måde kan sådanne grænseflader hjælpe en beslutningstager i en detailorganisation med at interagere med data og indsigt samt opnå beslutningsstøtte. Standardiseringen af ​​sådanne grænseflader har givet mulighed for massiv innovation på dette område i løbet af det sidste årti.

Infrastruktur. Infrastrukturens rolle er at give et middel til problemfri lagring og behandling af enorme mængder data. Behovet for en sådan infrastruktur opstod naturligt i slutningen af ​​1990'erne, da internetæraen tog fart. Det er ingen overraskelse, at websøgningsvirksomheder har været banebrydende for grundlæggende innovationer. Interessant nok har websøgning, en tilsyneladende simpel funktion, ført til udviklingen af ​​en generisk skalerbar lager- og beregningsinfrastruktur. Det har til gengæld været den primære årsag til de seneste spændende innovationer inden for skalerbar beregning og databehandling.

Algoritmer. Databehandlingsalgoritmer omdanner de indsamlede rådata til værdifuld indsigt og beslutninger. Der bruges passende modeller til at forbinde disse data med beslutningsvariabler. For eksempel, når rådata genereres af mennesker, kan det give mening at bruge en adfærdsmodel til at forbinde de observerede data med beslutningsvariabler. De resulterende algoritmer bruger beregnings- og lagerinfrastrukturen, baseret på de data, der er opnået gennem grænsefladen, og producerer slutresultater, der kan leveres til slutbrugeren gennem grænsefladen.

Alligevel er en stor udfordring at muliggøre udviklingen af ​​databehandlingsalgoritmer til alle sammen. I modsætning til tilgængeligheden af ​​standardiserede grænseflader eller en generisk beregnings- og lagringsarkitektur, er vi langt fra at have en generisk, databehandlende, algoritmisk arkitektur.

Lad os gense detaileksemplet ovenfor. Overvej specifikt beslutningsopgaven om, hvilke produkter der skal vises til kunderne, når de besøger e-handelssiden – det vil sige, hvordan gør vi personliggøre hver kundes oplevelse? Dette afhænger naturligvis af data om den specifikke kunde, samt de data, der indsamles om andre.

Disse data indsamles gennem en kundes browserhistorik og klik på e-handelswebstedet, tidligere køb og anden onlineaktivitet indsamlet gennem vores web- og mobilgrænseflader. Det er sandsynligvis gemt i en lagerinfrastruktur. Det omdannes til real-time, personaliserede beslutninger via potentielt sofistikerede databehandlingsalgoritmer, der bruger adfærdsmodeller fra samfundsvidenskaberne, sammen med metoder fra matematisk statistik og maskinlæring. Databehandlingsalgoritmerne bruger beregningsinfrastrukturen til at kunne træffe sådanne beslutninger i realtid. På denne måde leveres personlige beslutninger til kunden gennem grænsefladen.

Nøglen til at opbygge denne type personalisering eller anbefalingssystem er at have adgang til et dygtigt team af dataforskere og statistikere, som kan identificere passende statistiske metoder og adfærdsmodeller til at udvikle databehandlingsalgoritmer. De kan derefter designe menneskevenlige grænseflader, der kan indsamle nyttige data og efterfølgende levere beslutninger. Selvom dette er en dyr virksomhed, har nogle af de største detailhandlere allerede taget denne vej.

På den anden side har personaliserings-/anbefalingssystemet specifikke funktioner, der har en meget ensartet form på tværs af organisationer. Denne lighed har muliggjort udviklingen af ​​generiske anbefalingssystemer. Derfor ender mange detailhandlere med at købe sådanne systemer fra eksterne leverandører, som blot tilslutter personaliseringssystemet gennem grænsefladerne.

Lukning af løkken

Som nævnt tidligere er en stor udfordring at gå fra data til beslutninger. Vi har allerede en masse data – og vi har en god infrastruktur til at gemme og behandle dem – men vi skal finde ud af hvordan behandle det. Diskussionen om personaliserings-/anbefalingssystemet forklarer netop de to tilgange, som vi kan bruge samtidigt til at løse denne udfordring.

For det første skal vi gøre det muligt for organisationer at opbygge deres team af dygtige dataforskere. For det andet bør vi udvikle en generisk databehandlingsalgoritmisk arkitektur. Specifikt skal denne databehandlingsarkitektur fokusere på at udvikle et generisk forudsigelsessystem. Det skyldes, at et beslutningssystem grundlæggende har to komponenter: at forudsige de ukendte og bruge forudsigelserne til at udføre optimering. I løbet af de sidste par årtier er der sket betydelige fremskridt for at udvikle teorien og praksisen om optimering. Vi kan dog stadig ikke definere, hvad det generiske og universelle forudsigelsesproblem er.

IDSS, SDSC og 'Data Science'

MIT lancerede IDSS for at løse samfundsspørgsmål, der dukker op i løbet af det næste århundrede. Mens mange af disse spørgsmål involverer flere discipliner, er de alle forbundet gennem én fælles udfordring: datadrevne beslutninger. For at udvikle et uddannelsesprogram og muliggøre forskning i datavidenskab og statistik ved IDSS, oprettede MIT SDSC under IDSS-paraplyen.

Vi vil hjælpe med at løse udfordringen med at transformere data til beslutninger ved at aktivere de to tilgange, som jeg har beskrevet gennem både SDSC og IDSS. Specifikt vil SDSC uddanne sofistikerede datavidenskabsmænd og statistikere gennem tværfaglige uddannelsesprogrammer. IDSS vil give et tværfagligt forskningsmiljø, der vil give dets medlemmer mulighed for at gennemføre ambitiøse forskningsprogrammer inden for statistik og datavidenskab.

I mellemtiden, vores nye seks ugers online kursus, Datavidenskab: Data til indsigt , som begynder den 4. oktober, vil dele de seneste oplysninger om måder at anvende datavidenskabelige teknikker til mere effektivt at løse din organisations mange udfordringer. For at lære mere om, hvordan du opretter din virksomheds fremtid for dataanalyse, kan du besøge kursustilmeldingssiden .

Anerkendelser: Forfatteren takker Munther Dahleh og Philippe Rigollet for at give feedback på en tidligere version af denne artikel, og Stefanie Koperniak og Myriam Joseph for korrekturlæsning og redigering.

Devavrat Shah, meddirektør for Data Science: Data to Insights-kurset, er professor i MIT's Department of Electrical Engineering and Computer Science, direktør for SDSC og et kernefakultetsmedlem ved IDSS. Han er også medlem af MIT's Laboratory for Information and Decision Systems (LIDS) og Operations Research Center (ORC).

skjule