Parapsykologi, byrålådor och om behovet av replikering

De metoder som står psykologen till förfogande är långt ifrån vattentäta och enskilda studier kan av tillfälligheter visa på i stort sett vilka resultat som helst. Generellt sett är forskare mer benägna att publicera forskningsresultat som visar på det samband eller den effekt man önskat påvisa. Samtidigt tenderar resultat som inte gett stöd åt forskarens hypotes att hamna i byrålådan. Detta blir i synnerhet problematiskt när den enskilda studien råkat visa på häpnadsväckande resultat.

Nyligen sprang jag av en slump på www.psychfiledrawer.org som har ambitionen att  råda bukt på en av den psykologiska forskningens brister. Problemet med psykologisk forskning är i många fall att resultat från enskilda studier inte utsätts för replikering i den utsträckning som krävs för att utesluta att resultatet uppkommit av slump eller av andra orsaker. Forskare tenderar att i huvudsak få sina positiva resultat publicerade samtidigt som de studier som inte visat på tänkt effekt, skillnad eller samband förblir liggande utan att publiceras för allmänhetens beskådan. På så vis förblir de studier och replikeringar som motsäger det slumpmässiga och publicerade resultatet okänt och slumpresultatet får väga allt för tungt.

Den skeva fördelningen mellan publicerade positiva och negativa resultat blir i synnerhet problematiskt när en studie av slump eller annan orsak exempelvis påvisat existensen av övernaturliga förmågor. 2011 publicerade forskaren Daryl Bem en artikel där han redovisade studieresultat som tydligt visade att personer hade lättare att komma ihåg en lista av ord om de efter att ha genomgått minnestestet fick träna sig på att skriva orden jämfört med studenter som inte fick träna orden . Resultatet på testet föregick med andra ord träningen vilket enligt Bem var bevis på ett paranormalt fenomen. När sedan tre oberoende forskarlag replikerade Bems studie kunde de inte påvisa samma resultat och när de försökte publicera sina ”icke-resultat” fick de mycket svårt att få sina resultat publicerade.

Problemet med opublicerade forskningsfynd kallas ofta för ”byrålådeproblemet” då det är i byrålådan och inte i lektörsgranskade tidskrifter som en stor del av den psykologiska forskning som inte kunnat styrka undersökta hypoteser återfinns. Konsekvenserna av detta är flera. Först och främst tenderar allmänheten att lägga för stort värde vid och överskatta resultat från enskilda studier. I synnerhet vid rapportering i allehanda dagstidningar och dylikt där rapporteringen i huvudsak fokuseras på de mest häpnadsväckande fynden som dessutom tenderar att blåsas upp bortom all rimlighet. En lösning för den som vill ha en klarar bild av hur det egentligen ligger till är att istället för att förlita sig på enskilda studier vända sig till forskningsöversikter, handbooks och metastudier. Dock stöter vi även här på patrull. Om mycket forskning förblir okänd kommer dessa resultat också att utelämnas i den sammanfattande litteratur som utgörs av översikter och metastudier. Risken blir då att samband och effekter överskattas genom att koncentrationen av ”icke-resultat” (om man får uttrycka sig så slarvigt) blir för låg då dessa studier förblir liggande i byrålådan.  

Kan vi öppna byrålådan?

Att få bukt på byrålådeproblemet kräves sannolikt en gemensam insats från alla som producerar, rapporterar eller tillämpar psykologisk kunskap. Data behöver ackumuleras och göras tillgänglig. Psychfiledrawer.org är ett ypperligt exempel på ett sådant initiativ genom att lista de studier som är i behov av replikering och låter vem som helst replikera dessa och redovisa sina resultat.

Bilden är hämtad från:

http://www.nature.com/news/replication-studies-bad-copy-1.10634