Hvordan et AI-værktøj til at bekæmpe hospitalsdødsfald faktisk fungerede i den virkelige verden

Getty

I november 2018 gik et nyt dybt læringsværktøj online i akutafdelingen i Duke University Health System. Kaldet Sepsis Watch, det er designet til at hjælpe læger med at opdage tidlige tegn på en af ​​de førende årsager til hospitalsdødsfald globalt.

Sepsis opstår, når en infektion udløser betændelse i hele kroppen og i sidste ende får organer til at lukke ned. Det kan behandles, hvis det diagnosticeres tidligt nok, men det er en notorisk svær opgave, fordi dens symptomer let forveksles med tegn på noget andet.

Sepsis Watch lovede at ændre det. Produktet af tre et halvt års udvikling (som omfattede digitalisering af sundhedsjournaler, analyse af 32 millioner datapunkter og design af en simpel grænseflade i form af en iPad-app), giver patienterne score på timebasis for deres sandsynlighed for at udvikle tilstand. Det markerer derefter dem, der er mellem eller høj risiko, og dem, der allerede opfylder kriterierne. Når en læge bekræfter diagnosen, får patienterne øjeblikkelig opmærksomhed.

I de to år siden værktøjets introduktion har anekdotiske beviser fra Duke Healths hospitalsledere og klinikere antydet, at Sepsis Watch virkelig virker. Det har dramatisk reduceret sepsis-inducerede patientdødsfald og er nu en del af et føderalt registreret klinisk forsøg, der forventes at dele sine resultater i 2021.

Ved første øjekast er dette et eksempel på en stor teknisk sejr. Gennem omhyggelig udvikling og testning har en AI-model med succes forbedret lægers evne til at diagnosticere sygdom. men a ny rapport fra Data & Society-forskningsinstituttet siger, at dette kun er halvdelen af ​​historien. Den anden halvdel er mængden af ​​kvalificeret social arbejdskraft, som klinikerne, der leder projektet, skulle udføre for at integrere værktøjet i deres daglige arbejdsgange. Dette omfattede ikke kun at designe nye kommunikationsprotokoller og skabe nyt undervisningsmateriale, men også at navigere i arbejdspladspolitik og magtdynamik.

Casestudiet er en ærlig afspejling af, hvad der virkelig skal til for at AI-værktøjer lykkes i den virkelige verden. Det var virkelig komplekst, siger medforfatter Madeleine Clare Elish, en kulturantropolog, der undersøger virkningen af ​​AI.

Reparation af innovation

Innovation formodes at være forstyrrende. Det ryster op i gamle måder at gøre tingene på for at opnå bedre resultater. Men sjældent er der i samtaler om teknologisk disruption en erkendelse af, at disruption også er en form for brud. Eksisterende protokoller bliver forældede; sociale hierarkier bliver forvrænget. At få innovationerne til at fungere inden for eksisterende systemer kræver, hvad Elish og hendes medforfatter Elizabeth Anne Watkins kalder reparationsarbejde.

Under forskernes toårige undersøgelse af Sepsis Watch hos Duke Health dokumenterede de adskillige eksempler på denne forstyrrelse og reparation. Et stort problem var måden, hvorpå værktøjet udfordrede lægeverdenens dybt indgroede magtdynamik mellem læger og sygeplejersker.

I de tidlige stadier af værktøjsdesign blev det klart, at sygeplejersker i et hurtigt responsteam (RRT) skulle være de primære brugere. Selvom behandlende læger typisk er ansvarlige for at evaluere patienter og stille sepsis-diagnoser, har de ikke tid til kontinuerligt at overvåge en anden app ud over deres eksisterende opgaver i akutmodtagelsen. I modsætning hertil er hovedansvaret for en RRT-sygeplejerske er til løbende at overvåge patientens velbefindende og yde ekstra assistance, hvor det er nødvendigt. At tjekke Sepsis Watch-appen passede naturligt ind i deres arbejdsgang.

Men her kom udfordringen. Når først appen har markeret en patient som højrisiko, skal en sygeplejerske ringe til den behandlende læge (kendt i medicinsk tale som ED-bemanding). Ikke alene havde disse sygeplejersker og behandlere ofte ikke noget forudgående forhold, fordi de tilbragte deres dage i helt forskellige afdelinger af hospitalet, men protokollen repræsenterede en fuldstændig vending af den typiske kommandovej på ethvert hospital. Laver du sjov med mig? en sygeplejerske huskede, at hun tænkte efter at have lært, hvordan tingene ville fungere. Vi vil ringe ED-deltagelser ?

Men dette var faktisk den bedste løsning. Så projektgruppen gik i gang med at reparere forstyrrelsen på forskellige store og små måder. Oversygeplejerskerne var vært for uformelle pizzafester for at opbygge begejstring og tillid til Sepsis Watch blandt deres sygeplejersker. De udviklede også kommunikationstaktikker for at udjævne deres opkald med deltagerne. For eksempel besluttede de kun at foretage et opkald om dagen for at diskutere flere højrisikopatienter på én gang, tidsbestemt til, hvornår lægerne havde mindst travlt.

Oven i det begyndte projektlederne regelmæssigt at rapportere virkningen af ​​Sepsis Watch til den kliniske ledelse. Projektteamet opdagede, at ikke alle hospitalsmedarbejdere mente, at sepsis-induceret død var et problem hos Duke Health. Især læger, som ikke havde et fugleperspektiv af hospitalets statistikker, var langt mere optaget af de nødsituationer, de havde at gøre med dag til dag, som brækkede knogler og alvorlig psykisk sygdom. Som et resultat fandt nogle Sepsis Watch en gene. Men for den kliniske ledelse var sepsis en kæmpe prioritet, og jo mere de så Sepsis Watch arbejde, jo mere hjalp de med at smøre gearene til operationen.

Ændring af normer

Elish identificerer to hovedfaktorer, der i sidste ende hjalp Sepsis Watch til at få succes. Først blev værktøjet tilpasset til en hyperlokal, hyperspecifik kontekst: Det blev udviklet til akutafdelingen på Duke Health og ingen andre steder. Denne virkelig skræddersyede udvikling var nøglen til succesen, siger hun. Dette er i strid med typiske AI-normer.

For det andet søgte teamet gennem hele udviklingsprocessen regelmæssigt feedback fra sygeplejersker, læger og andet personale op og ned i hospitalshierarkiet. Dette gjorde ikke kun værktøjet mere brugervenligt, men dyrkede også en lille gruppe af engagerede medarbejdere til at hjælpe med at fremme dets succes. Det gjorde også en forskel, at projektet blev ledet af Duke Healths egne klinikere, siger Elish, snarere end af teknologer, der var hoppet ind i faldskærm fra et softwarefirma. Hvis du ikke har en forklarlig algoritme, siger hun, skal du opbygge tillid på andre måder.

Disse lektioner er meget velkendte for Marzyeh Ghassemi, en kommende adjunkt ved MIT, som studerer maskinlæringsapplikationer til sundhedspleje. Alle maskinlæringssystemer, der nogensinde er beregnet til at blive evalueret på eller brugt af mennesker, skal have socio-tekniske begrænsninger for øje, siger hun. Især i kliniske omgivelser, som styres af menneskelige beslutningstagere og involverer omsorg for mennesker, når de er mest sårbare, er de begrænsninger, som folk skal være opmærksomme på, virkelig menneskelige og logistiske begrænsninger, tilføjer hun.

Elish håber, at hendes casestudie af Sepsis Watch overbeviser forskerne til at genoverveje, hvordan man kan gribe medicinsk AI-forskning og AI-udvikling generelt an. Så meget af det arbejde, der bliver gjort lige nu, fokuserer på, hvad AI magt være eller kunne gøre i teorien , hun siger. Der er for lidt information om, hvad der rent faktisk sker på jorden. Men for at AI skal leve op til sit løfte, skal folk tænke lige så meget på social integration som teknisk udvikling.

Hendes arbejde rejser også alvorlige spørgsmål. Ansvarlig AI skal kræve opmærksomhed på lokal og specifik kontekst, siger hun. Min læsning og træning lærer mig, at man ikke bare kan udvikle én ting ét sted og så rulle den ud et andet sted.

Så udfordringen er faktisk at finde ud af, hvordan vi bevarer den lokale specificitet, mens vi forsøger at arbejde i skala, tilføjer hun. Det er den næste grænse for AI-forskning.

skjule