Gustav N

Robert Östling, replikeringskrisen kan lösas med förhandsregistrering av studieprotokoll. Det här är ett inlägg på bloggen Economistas av Robert Östling som är nationalekonom. Det här handlar om den kris, den reproducibilitetskris eller replikeringskris som vissa kallar den. Som möjligen finns eller inte finns i några eller alla grenar av vetenskapen som handlar om människor eller vetenskap mer generellt.

Och mest har detta uppmärksammats i den psykologiska disciplinen. Vi hade ju förra året till exempel det stora reproducibility project psychology. som visade empiriskt att när man försökte upprepa hundra studier i psykologi så var det bara ungefär en tredjedel som framgångsrikt kunde upprepas. Och Östling pekar på några av de förklaringarna här som kan ligga i att forskarna har många frihetsgrader i analys av data.

Det vill säga, man kan pröva ett sätt att analysera data, sen kan man med precis samma data pröva ett annat sätt. och kanske ett tredje sätt och så vidare ända tills man får det resultat som man hade hoppats på och om man då bara berättar om det som man gjorde på slutet då kommer ju inte läsaren, den som ska bedöma det här resultatet veta om att man hade prövat en massa andra saker som inte lyckades och då får man en fast skönmålande bild av det här resultatet Det finns ett vackert uttryck som Andrew Gelman, en statistiker, har myntat han kallar för Garden of Forking Paths Forskaren tar en väg, prövar sen en annan väg och så vidare.

Kalle

Och efter mycket zigzackande får man ett precis signifikant resultat.

Gustav N

Precis. Vad ska man då göra åt detta? Jag då påviktar Robert Östling på en möjlig lösning som är att förhandsregistrera studier oftare. Det vill säga att man binder upp sig, man knyter fast ena armen bakom ryggen så att säga. Eller surrar sig vid masten. Man skriver en plan. Då är frågan hur vanligt är det här redan nu?

Det är ovanligt i experimentell forskning, men vanligare i klinisk forskning. Om man gör en klinisk prövning så kräver tidskriftsredaktörerna i medicinska tidskrifter, åtminstone på pappret, att det ska finnas ett förhandsregistrerat protokoll. I verkligheten så tummas det en hel del på det. Men meningen är ju då att studier ska inte kunna försvinna och gå obemärkt förbi, och de ska inte kunna byta ut sina utfallsmått och strategier hur som helst.