Martin

Replikeringskris låter vetenskapen visa sina bästa sidor, enligt FiveThirtyEight. Här har vi faktiskt ett lysande exempel på den sorts journalistik som kan presteras av personer som har en riktigt grundmurad förståelse för matematik och statistik. I det här fallet en journalist som tydligen heter Kristi Ashwonden. och vars arbete jag mycket gärna läser på FiveThirtyEights.

Det här är en genomgång av replikeringskrisen kan man säga. Det vill säga det är en insikt som håller på att debatteras och som genomfar flera olika vetenskapsområden om att mycket av det som vi har sett på internet Det som man accepterar håller egentligen för låg kvalitet.

Det är metoder och fynd som inte är reproducerbara. Och det är ju då psykologifältet som tycker jag har tagit ledningen i detta. Vi har pratat om det förut i Radio Bubbla. Här följs det upp med aktuell debatt från de senaste ungefär sex månaderna. Arsfonden tar sin utgångspunkt i nånting som kallas för power posing som har blivit väldigt populärt på grund av ett TED-talk som då skulle gå ut på att om man ställer sig bredbent, höjer armarna och försöker känna sig kraftfull så känner man sig också mer kraftfull, man får bättre självförtroende, högre testosteronnivåer och lite annat.

Och det där har sedan visat sig i replikeringar inte alls stämma. En av de som har varit mest drivande i det är en kollega här i Stockholm på Handelshögskolan Anna Dreber Almenberg. Det är ett slags paradexempel på en sån här tilltalande, socialpsykologisk, kuriös grej som blir jättepopulär men som egentligen har väldigt svagt stöd. Därför att de första studierna som har rapporterat det här har haft för små urval, de har haft för mycket bias och resultaten har övertolkats kraftigt.

Boris

Jag är lite chockad här över att power poses är en bluff. Jasså? Ja, det där trodde jag var solida grejer. Det där trodde jag var cutting edge science.

Martin

Har du prövat power posing?

Boris

Ja, självklart. Jag gör alltid power poses medan jag sitter här och gör radiobubbla och i många andra sammanhang. Det är lite svårt just idag för jag måste hålla min mikrofon i handen. Jag har inget stativ idag. Men det är absolut. Jag tycker det är lite... Det är lite demoraliserande faktiskt att höra att de ifrågasätter den här fantastiska metoden.

Martin

Jag tycker i alla fall att det här också är skäl för optimism. Därför att om vi lär oss av detta så kommer vi att kunna bedriva vetenskap med mycket mindre selöseri med resurser och mycket större tilltro till våra resultat i framtiden. Och det handlar då om metoder som att vara fullt transparent med vad man har avsett att göra, vad man sedan har gjort. vilka resultat man hade tänkt att mäta, vilka man sedan har mätt, vilka man rapporterar.

Det handlar om att göra studierna tillräckligt stora för att från början ha statistisk styrka till att kunna dra säkra slutsatser. Istället för att göra tio små studier som besvarar olika frågor utan säkerhet så kanske man borde samla resurserna och göra en studie som besvarar en fråga på ett säkert och tillförlitligt sätt.

Boris

Som vanligt på 538 säger jag att de har intressanta illustrationer i den här artikeln.

Martin

Ja.

Boris

Jag visste inte, jag har inte sett deras vetenskapsbevakning förut. Jag brukar ju följa 538 för deras politikartiklar. Men de verkar ha lite samma approach till vetenskapsjournalistik. Ganska datordrivet, datorienterat.

Martin

Ja visst. Jag uppskattar deras vetenskapsrapportering väldigt mycket. Den är inte lika slumpmässig som andra medier, det vill säga de plockar upp resultat som verkligen är nått med. Och så rapporterar de det på ett sätt som inte är fördomande och ofta med tillgängliggörande statistik presenterade i form av grafer. Här har de ett väldigt vackert exempel som kommer från Center for Open Science som jag är lite grann affilierad med.

De har intervjuat ett par andra personer därifrån, inklusive ledaren för Center for Open Science som heter Brian Nosek. Ett av experimenten som de gjorde på Center for Open Science var att de gav ett datasätt till ett stort antal forskargrupper som Detta är en analysmetod som vi använder för att analysera statistiska data. I det här fallet handlade det om data från fotbollsmatcher.

Ganska många fotbollsmatcher där man hade data om hur många personer som var där. Röda kort gavs till personer med mörk hudfärg oftare. De här 29 olika forskargrupperna hade 29 olika statistiska metoder och fick då 29 olika resultat. Som visserligen konvergerar ganska mycket, men det var också några som var stora outliers. Så att ganska många fann att det var, majoriteten kan man säga, fann att det var mer sannolikt att få ett rött kort för mörkhyade fotbollsspelare. Men ett antal av fynden fann att det inte fanns någon signifikant effekt.

Boris

Det här är jättemärkligt om de utgår från samma data. Men väldigt intressant att det kan bli sådär.

Martin

Ja, och det åskådliggör ju då att alla statistiska metoder är beroende på antaganden om data också. Det vill säga man har olika antaganden om datas distribution, om sannolikhetsfördelningar, om vad som är beroende och inte beroende i datastruktur och så.

Boris

Intressant.

Martin

Men som grafen visar så var det också på det hela taget rätt så god överensstämmelse i estimeringarna. Det här är en av fem videorna vi har gjort för att visa hur man kan göra om man har en sån här problematik.

Boris

Förutom två grupper som har kommit fram till att domarna är tre gånger så benägna att de röda kort till mörker gör det.

Martin

Ja, men de hade också jättestora osäkerhetsintervall.

Boris

Mm, jag förstår. Det är de spetsiga staplarna där.

Martin

Precis, och den ena av dem hittade ju den största effekten av alla, men hade samtidigt så stor osäkerhet att de kunde inte säga att den var signifikant säkerställd. Jag är inte säker på vilken metod de använde, men det är ganska kul att jämföra.