Gustav N

Botten StatCheck har kontrollräknat p-värden i tiotusentals vetenskapliga artiklar. En av tio hade allvarliga felräkningar och fler än hälften hade avrundningsfel. som går igenom vetenskapliga artiklar och letar efter resultat som är rapporterade i en lite specifikt format nämligen det som rekommenderas av APA, American Psychological Association och då anger man en teststatistika, till exempel F eller T och så anger man ett antal frihetsgrader och sen anger man ett p-värde och då går det ju att se om de här tre siffrorna hänger ihop därför att varje statistika med kända frihetsgrader...

har ett bestämt p-värde. Så det här programmet har nu gått igenom massor av vetenskapliga artiklar och kollat hur ofta det har blivit något fel när man jämför de här tre siffrorna helt enkelt. Och botten har sedan postat en kommentar till en postpublikationsgranskningssajt som heter pubpeer.se Så att alla kan se vad den har kommit fram till.

Och andelen artiklar som innehöll fel är då rätt hög. En av tio hade någon allvarlig felräkning och fler än hälften hade avrundningsfel. Särskilt vanligt är det då med avrundningsfel som får fynd att förefalla statistiskt signifikanta. Det vill säga att man har ett p-värde som ligger i närheten av den vedertagna nivån 0,05 och avrundar så att det hamnar någonstans under 0,05.

Martin

Hmm. Aningen misstänkt, men det finns en rimlig förklaring där antar jag. Man skulle kunna tänka sig att det finns en sorts undermedveten drift att skarva lite med avrundningen och det är bättre att avrunda neråt. för min forskning. Men, och som det påpekas i artikeln så kan det också förklaras av att det är framförallt de studier som har ett värde på den sidan som blir publicerade. Eftersom de andra inte har ett signifikant resultat.

Gustav N

Precis, och där ligger en stor snevridning, ett starkt bias i detta. Och jag tror också att en liknande mekanism kan förklara uppkomsten av sådana här felräkningar. Det är ju det som är skälet till att om det ligger i nätet av så kanske man kontrollräknar det igen ifall det inte blev statistiskt signifikant. Medan om det blev statistiskt signifikant så tänker man att nu har man allting på plats och kan gå vidare och publicera. Så skulle det kunna vara.

Martin

Det är ingen ljus eller smickrande bild som framträder av den här typen av forskare. Men det finns det här, som jag har förstått det då, en sorts pågående, omdebatterad psykologins kris, en sorts metodkris. Ja, precis. Som man pratar om just nu. Och när man läser och hör de här resonemangen. Jag undrar, vad är det för människor som håller på med det här? Finns det någon idé om att folk som sysslar med forskning ska ha en ordentlig skolning i vetenskaplig metodologi? Och ska inte slarva med sådana här väldigt enkla grundläggande detaljer? Jag tycker det luktar väldigt mycket inkompetens om det här. Får jag ha fel intryck?

Gustav N

Du har rätt intryck i att det finns ett stort problem. Inkompetens kanske inte är grunden riktigt utan ett felriktat incitamentsystem skulle jag själv tro. Sen skulle jag också vilja säga att psykologin har tagit ledningen i den här typen av granskning av den egna disciplinen, av det egna fältet. Det är därför man talar om psykologins replikeringskris eller reproducibilitetskris.

Men då ska man minnas att andra fält har överhuvudtaget inte tagit sig fram till den här debatten som pågår i psykologin. Så jag tror självverkligt inte att det finns någon kris i psykologin. Utan där det finns en kris, det är områden där man överhuvudtaget inte uppmärksammar den här typen av problem.

Martin

Vänta nu, det du säger är alltså att vi har samma problem i alla möjliga sorters forskning, men ingen kris.

Gustav N

Ja, precis.

Martin

Om alla är lika inkompetenta och gör lika mycket fel, då är det inget problem.

Gustav N

Skäl till att det inte är en kris är att man nu genom vetenskapens helt vanliga kanaler för kritik gör någonting åt det. På alla områden av mänsklig verksamhet så finns det ju ett gigantiskt och chockerande resurslöseri. Jag skulle tro på rak arm att om man tittar på sjukvården så är det kanske 25% av all diagnostik, all behandling, all administration som är fullständigt onödiga eller direkt skadlig. Tack till elever och personal vid Säkerhetssäkerhetssäkerheten.

Tittar man på vetenskapen så skulle jag tro att det är minst hälften av all vetenskap som är så dålig att den är antingen värdelös eller också direkt skadlig därför att man får fram resultat som är felaktiga. Och då talar jag inte bara om alternativkastnaden av att lägga pengarna på någonting annat utan resultat som faktiskt leder till felaktiga beslut. Det är en ungefärlig gissning. Det blir ändå bättre. Krisen är på områden där man fortsätter på samma sätt och man inte har någon strävan efter att göra någonting åt det här.

Martin

Det var en ganska välvildig tolkning tycker jag. Men det finns i alla fall folk som har en väldigt negativ inställning ens till den här problemställningen. Jag har ju till exempel Susanne Fiske, som vi också pratade om tidigare tror jag i Radiobubbla, som har kallat det här för metodologisk terrorism. att man ens har den här diskussionen.

Gustav N

Precis. Fascinerande. Det har blivit en stor debatt om hennes ledartext. Jag nämnde nyss American Psychological Associations egen tidning. Hon är deras förra ordförande. Hon har då skrivit en text som är helt värdig än Håkan Juholt exempelvis. Där hon har skrivit att det är inte bra att vi har en massa sån här granskning av forskningen och särskilt inte när folk för fram det på sociala medier.

Det är det. utan granskning måste föras fram i tidskrifter där man har en redaktör som kan moderera tonen och inbyggt i det ligger också, vilket man inte säger, att allting tar väldigt lång tid det vill säga att det kan ta minst sex månader att publicera någon kritik om den ska gå igenom en sådan redaktionell process i en ganska sömnig traditionell tidskrift och så säger hon att vi behöver mera respekt och vi behöver en debatt som inte präglas av en massa påhopp Men samtidigt så säger hon då att vi inte ska ha metodologiska terrorister som ägnar sig åt personangrepp.

Det är en höggradigt ironisk känsla som man får när man läser den här texten. Man får också en känsla av, som det gamla talasättet heter, science progresses one funeral at a time.

Martin

Jag tycker om någonting att det låter som att vi borde lära oss att ha mycket mindre respekt för de här forskarna och att vi ska lära oss att de oftast har fel. Ofta tar cyklar och snubblar på grundläggande saker som avrundningsfel. Jag tycker det är lättförfärande faktiskt. Men Susanne Fiske, hon är inte ensam om det här. En annan riktig pärle tycker jag, det är Dorothy Bishop, som är en psykolog i Oxford, som citeras i den här artikeln.

Hon är orolig över den ton som den har. En ton som används i de här automatgenererade kommentarerna. Hon tror att den robotiska tonen kommer att alienera många människor. Det kan mycket väl finnas fel, till exempel. I min egen statistik säger hon. Ingen är perfekt. Om jag, trots att jag gillar replikerings- och gränslighetsagendan, fick ett meddelande och blev irriterad på vilken stil av kommunikation det var, så kommer jag förmodligen att bli fientlig och redan skeptisk till den här agendan.

och tycker att det är mobbning, så kommer man bli mindre benägen att, jag vet inte, ändra sina fel. Och det här är en sån, jag vet inte, en sån hårresande arrogans och bortvändning från verkligheten. Ja, verkligen. Att jag häpnar, jag läste det här stycket två gånger igår, för jag undrade, är det verkligen det hon säger? Hon är en del av en yrkeskår som gör fel resultat i hälften av gångerna.

10% av fallen som de har testat så är det signifikanta felresultat på grund av avrundningsfel. Det här programmet är ungefär som en spelchecker, rättstavningsprogram som går igenom en text och kollar väldigt basala saker. Bara en sån sak till att börja med. Journalist-skrået skulle säga att vilken revolution det är att det nu finns rättsstavningsprogram. Eller så kanske ni hade kunnat lära er att hantera språket korrekt från början. Men det hon väljer att fokusera på är den ton som används i de här automatiska meddelandena.

Gustav N

Ja, och till saken hög är att de automatiska meddelarna är extremt torra och formella. Och inte har någon ton alls egentligen som man skulle kunna uppfatta som fientlig.

Martin

Men det är väl det att de inte lindar in det med artighetsfraser som stör henne antar jag.

Gustav N

Ja, till saken hör också att Dorothy Bishop är en allmänt vettig person i andra sammanhang och det illustrerar ju också hur konstigt det blir i den här debatten när folk reagerar på det här sättet. Det finns ju jättemånga exempel. Dan Gilbert, en... En mycket välkänd psykolog på Harvard som har TED-talks och skriver böcker och sådär. Han började twittra om replikeringar i psykologin med innebörden ungefär att Psychologies replicationists are shameless little bullies och sådär. Vad ska man säga med ett sådant uttalande?

Martin

Jag tycker att det bevisar en häpnadsväckande brist på professionalitet. Men det här är någonting som alla seriösa yrkesmänniskor som har ett riktigt jobb, jag vet inte om man kan räkna forskare dit längre, men alla människor som har haft ett riktigt jobb, som därför faktiskt spelar någon roll om det man gör blir rätt eller fel. Säg att du är ingenjör och ska bygga en bro, eller du är programmerare och ska designa ett kontrollsystem för någonting som är viktigt.

Om du sitter och gör de här sakerna och har ett ansvar för det, och sen så påpekar någon för dig att du har gjort ett fel, som gör att bron kan rasa eller liksom månraketen åker till fel planet eller vad det är för någonting. Då ska du fan inte säga ett ord om vilken ton de använder. Då ska du titta på dina beräkningar och göra om och göra rätt. Och vilken ton de använder är fullständigt irrelevant. Och om du inte fokuserar på ditt arbete, ditt ansvar att få dina beräkningar korrekt, det visar ju bara att du saknar professionalism.

Gustav N

Exakt. Ibland får man intrycket att vissa forskare tror att det de håller på med är någon slags social tidsfördriv. Där verkligheten inte spelar så stor roll, utan det som är viktigt är att man publicerar artiklar, att man får tala på konferenser och att man får de andra forskarnas gillande. Hur det sedan förhåller sig med verkligheten spelar ingen roll. Det kan man ibland tro när man läser den här rumlen av kommentarer.

Martin

Det är ganska spektakulärt dels. Väldigt mycket av den här forskningen är finansierad av skattepengar. Men fina om de finansierar sin forskning själva, då kan de väl sitta i sin lekstuga om det finns någon som publicerar deras grejer. Men det här sitter de och gör på uppdrag av andra människor som finansierar deras forskning. Så det är en otrolig arrogans gentemot dem. Men jag tänker också som totalt utomstående person att givet hur hög status forskning i allmänhet har, hur hög svansföring de här forskarna har.

så är det ju en bjärt kontrast, för att uttrycka det milt, med hur de förhåller sig till den här typen av saker. Och jag kan dessutom intyga att jag har sett många professionella svärer där man aldrig skulle kunna säga så här. Om man sa det som Dorothy Bishop sa på flera av mina tidigare arbetsplatser så skulle folk bara stirra på en eller så skulle man bli utskälld efter noter.

Och folk skulle direkt förstå att du klarar dig inte av jobbet. Du förstår inte vad som krävs för att göra jobbet. För du tycker det är viktigare att prata om vilken ton som används än att det har begåtts ett fel här. Det är lite smått upprörande faktiskt om det de här grejerna de säger.

Gustav N

Ja. Jag vill bara understryka en av de viktiga poängerna som du just gjorde här. Nämligen att en förklaring till hur det kan se ut på det här sättet. Det är att folk inte spelar med sina egna pengar. Hade det varit så att det var någon som satsade sina egna... förvärvade slantar på att försöka driva kunskapsutvecklingen då skulle man ha helt andra krav på uppföljning och inte minst krav på att forskarna också presenterade sina data det är också stötande att offentligt finansierad forskning leder till sumariska rapporter medan forskarna sedan begraver data någonstans så att ingen kan kontrollräkna, ingen kan plocka fram data och använda för att bygga vidare på

Martin

Men hur hänger det där egentligen ihop, Gustav? För att, fine om du finansierar forskningen själv. Jag vet inte om det finns någon som gör så nu för tiden, men antar att jag var väldigt rik så att jag hade obegränsnade pengar och nu vill jag vara som du, Gustav. Jag vill vara forskare. Så jag började finansiera min egen verksamhet. Vad har jag egentligen för incitament här? Alltså mitt mål är ju, som du var inne på tidigare, att åka på konferenser och hålla föreläsningar, eller att bli publicerad i diverse journaler.

Ja. Men det är det som jag är ute efter, det som jag vill använda mina pengar till. Om jag blir publicerad i de här journalerna så är jag nöjd, oavsett om mina resultat är korrekta eller inte. Så det hänger ju ganska mycket på om de här tidskrifterna gör en rimlig kontroll eller inte. Uppenbarligen så verkar det vara så att de ofta inte gör det, att alla möjliga märkliga felaktigheter släpps igenom. Då hjälper det inte vem som betalar, för jag får ju ändå åka på min konferens och så vidare.

Gustav N

Ja, alltså om du sätter in pengarna och ditt mål är att åka på konferens, då är det ju inget problem. Men om du sätter in pengarna och ditt mål är att vinna verklig kunskap, då kommer du utvärdera det på ett sätt som är mera krävande än vad vetenskapens nuvarande interna granskning är.

Martin

Men har vi inte redan etablerat, och inte är det också en ganska uppenbar poäng, att forskare framförallt är intresserade av samma saker som alla andra människor är intresserade av, det vill säga att tjäna pengar och öka sin sociala status? Jo. Så att lösningen borde rimligen vara att tilldela dåliga forskare låg status och tilldela bra forskare hög status?

Gustav N

Ja, precis. Eller ännu bättre, tilldela dåliga forskningsresultat låg status och bra forskningsresultat hög status. Det är egentligen så vårt system fungerar idag fast inte tillräckligt effektivt. Kriterierna för granskning har inte tillräckligt hög grad beaktat reproducerbarhetsproblemet.