Gustav N

Robert Östling, replikeringskrisen kan lösas med förhandsregistrering av studieprotokoll. Det här är ett inlägg på bloggen Economistas av Robert Östling som är nationalekonom. Det här handlar om den kris, den reproducibilitetskris eller replikeringskris som vissa kallar den. Som möjligen finns eller inte finns i några eller alla grenar av vetenskapen som handlar om människor eller vetenskap mer generellt.

Och mest har detta uppmärksammats i den psykologiska disciplinen. Vi hade ju förra året till exempel det stora reproducibility project psychology. som visade empiriskt att när man försökte upprepa hundra studier i psykologi så var det bara ungefär en tredjedel som framgångsrikt kunde upprepas. Och Östling pekar på några av de förklaringarna här som kan ligga i att forskarna har många frihetsgrader i analys av data.

Det vill säga, man kan pröva ett sätt att analysera data, sen kan man med precis samma data pröva ett annat sätt. och kanske ett tredje sätt och så vidare ända tills man får det resultat som man hade hoppats på och om man då bara berättar om det som man gjorde på slutet då kommer ju inte läsaren, den som ska bedöma det här resultatet veta om att man hade prövat en massa andra saker som inte lyckades och då får man en fast skönmålande bild av det här resultatet Det finns ett vackert uttryck som Andrew Gelman, en statistiker, har myntat han kallar för Garden of Forking Paths Forskaren tar en väg, prövar sen en annan väg och så vidare.

Kalle

Och efter mycket zigzackande får man ett precis signifikant resultat.

Gustav N

Precis. Vad ska man då göra åt detta? Jag då påviktar Robert Östling på en möjlig lösning som är att förhandsregistrera studier oftare. Det vill säga att man binder upp sig, man knyter fast ena armen bakom ryggen så att säga. Eller surrar sig vid masten. Man skriver en plan. Då är frågan hur vanligt är det här redan nu?

Det är ovanligt i experimentell forskning, men vanligare i klinisk forskning. Om man gör en klinisk prövning så kräver tidskriftsredaktörerna i medicinska tidskrifter, åtminstone på pappret, att det ska finnas ett förhandsregistrerat protokoll. I verkligheten så tummas det en hel del på det. Men meningen är ju då att studier ska inte kunna försvinna och gå obemärkt förbi, och de ska inte kunna byta ut sina utfallsmått och strategier hur som helst.

Utfallsväxling är ju ett annat vanligt problem. Om jag till exempel undersöker effekten av ett nytt läkemedel och så tänker jag från början att jag ska se om patienterna lever längre men så visar det sig att det var ingen effekt på patienternas mortalitet eller överlevnadstid. Då kanske jag har 20 andra utfallsmått också. Och så upptäcker jag att de skattar att de får lite förbättrad livskvalitet med läkemedlet.

Om jag då skriver ihop en studie där jag säger att läkemedlet leder till förbättrad livskvalitet och låtsas att det var huvudutfallsmåttet, ja då kommer det att se mycket mer robust ut än om jag skriver att det här läkemedlet gav ingen förlängd överlevnad. Och inte heller någon positiv effekt på de här andra 19 måtten. Men sen till slut så hittade vi en positiv effekt på ett mått. Det blir en helt annan tolkning.

Kalle

Att göra så här måste ju vara ganska prestigekyllt, tänker jag som kommer utifrån. Att visa man i förhand vad man kommer göra så måste ju det bli en mer återvärd studie. och mer intressant att publicera,

Gustav N

eller hur? Ja, det tycker jag också om. Det tycker jag också, det blir mycket mer trovärdigt. Jag tror att vi ser en rörelse i den riktningen. Men fortfarande är det många, tror jag, som tycker att det där är något slags byråkratiskt hinder snarare än ett sätt att förstärka forskningens reproducerbarhet. Vi har faktiskt ett projekt på gång här nu där vi ska försöka jämföra forskningsplaner med publicerade artiklar och se i vilken grad de överensstämmer.

Och hur ofta forskarna... Då gör nånting annat än de hade skrivit utan att motivera det. Och så bara hoppas att ingen ska lägga märke till det. Spännande. Ja, det ska bli hemskt kul att se vad vi kan åstadkomma med det.