Martin

Botten StatCheck har kontrollräknat p-värden i tiotusentals vetenskapliga artiklar. En av tio hade allvarliga felräkningar och fler än hälften hade avrundningsfel. som går igenom vetenskapliga artiklar och letar efter resultat som är rapporterade i en lite specifikt format nämligen det som rekommenderas av APA, American Psychological Association och då anger man en teststatistika, till exempel F eller T och så anger man ett antal frihetsgrader och sen anger man ett p-värde och då går det ju att se om de här tre siffrorna hänger ihop därför att varje statistika med kända frihetsgrader...

har ett bestämt p-värde. Så det här programmet har nu gått igenom massor av vetenskapliga artiklar och kollat hur ofta det har blivit något fel när man jämför de här tre siffrorna helt enkelt. Och botten har sedan postat en kommentar till en postpublikationsgranskningssajt som heter pubpeer.se Så att alla kan se vad den har kommit fram till.

Och andelen artiklar som innehöll fel är då rätt hög. En av tio hade någon allvarlig felräkning och fler än hälften hade avrundningsfel. Särskilt vanligt är det då med avrundningsfel som får fynd att förefalla statistiskt signifikanta. Det vill säga att man har ett p-värde som ligger i närheten av den vedertagna nivån 0,05 och avrundar så att det hamnar någonstans under 0,05.

Gustav N

Hmm. Aningen misstänkt, men det finns en rimlig förklaring där antar jag. Man skulle kunna tänka sig att det finns en sorts undermedveten drift att skarva lite med avrundningen och det är bättre att avrunda neråt. för min forskning. Men, och som det påpekas i artikeln så kan det också förklaras av att det är framförallt de studier som har ett värde på den sidan som blir publicerade. Eftersom de andra inte har ett signifikant resultat.

Martin

Precis, och där ligger en stor snevridning, ett starkt bias i detta. Och jag tror också att en liknande mekanism kan förklara uppkomsten av sådana här felräkningar. Det är ju det som är skälet till att om det ligger i nätet av så kanske man kontrollräknar det igen ifall det inte blev statistiskt signifikant. Medan om det blev statistiskt signifikant så tänker man att nu har man allting på plats och kan gå vidare och publicera. Så skulle det kunna vara.

Gustav N

Det är ingen ljus eller smickrande bild som framträder av den här typen av forskare. Men det finns det här, som jag har förstått det då, en sorts pågående, omdebatterad psykologins kris, en sorts metodkris. Ja, precis. Som man pratar om just nu. Och när man läser och hör de här resonemangen. Jag undrar, vad är det för människor som håller på med det här? Finns det någon idé om att folk som sysslar med forskning ska ha en ordentlig skolning i vetenskaplig metodologi? Och ska inte slarva med sådana här väldigt enkla grundläggande detaljer? Jag tycker det luktar väldigt mycket inkompetens om det här. Får jag ha fel intryck?