Det kan være vanskeligt at undersøge hvordan hjernen fungerer i det virkelige liv. Derfor opsætter mange forskere et kunstigt miljø, hvor man laver undersøgelser og på den baggrund kommer med konklusioner.
Det kan være vanskeligt at lave en undersøgelse af, hvordan vi reagerer på de finansielle markeder. Man kan ikke bare spørge os, da vi måske ikke reelt kender svaret. I andre forsøg vil man gerne se, hvordan hjernen reagerer. Det er ikke muligt "bare at åbne op" for hjernen. I stedet bruger man MRI scannere. De er så til gengæld så store, så man ikke kan have dem på hovedet, hvorfor man er nød til at lave forsøg, der ligner virkeligheden. For eksempel ville man i et forsøg se hvordan vi reagerer på mad, hvorfor man viste deltagerne billeder af mad mens de lå i en MRI scanner.
Forskningen baseres altså ikke på real-life undersøgelser, men på resultater fra forsøg, der ligner den situation, man vil undersøge. Er det så troværdigt, spørger nogen måske? For eksempel har det ikke været muligt at genskabe forskningsresultater, som John Bargh opnåede i starten af 90'erne. Hans undersøgelse arbejdede med priming og indikerede at hvis vi tænkte på ældre mennesker ville vi gå langsommere. Resultaterne fik megen omtale og har fået megen omtale, men har altså ikke kunne gentages.
Nu har Brian Nosek så forsøgt at gentage 100 psykologiske forsøg. For eksempel:
Resultatet var ganske nedslående, da kun 36% kunne gentages med samme statistiske resultat.
Der kan være mange grunde til at forskningsresultater kan være vanskelig at gentage:
- Forskere kan være biased mod en bestemt holdning og forsøge at bevise denne
- Forskningen kan være bestilt af en part, der ønsker et bestemt resultat (Show me the money!)
- Forsøgets størrelse (eller decideret fusk, som vi kender fra Penkowa-sagen)
- Opsætningen af forsøget
- Deltagere i et forsøg kan være opmærksomme på at de er deltagere i et forsøg
Disse fejlkilder gælder for begge forskere. Altså både dem, der oprindeligt lavede forsøget og dem, der forsøger at gentage det.
Endelig er der også en statistisk udfordring, der indikerer at det er ganske forventeligt at kun 1 af 20 forsøg vil give det samme resultat.
Du kan læse mere om Brian Noseks forsøg med at reproducere kendte forsøg her, en mere tilgængelig beskrivelse eller en diskussion af forsøget her.
