18 juli 2017

Leren van 'mislukt' onderzoek via nieuw tijdschrift

Gezondheidspsychologen kunnen voortaan ook hun 'mislukte' onderzoek publiceren in een nieuw online tijdschrift: Health Psychology Bulletin. Voorwaarde is wel dat zij volledige openheid geven van data, meetanalyses en keuzes. Volgens de oprichters, Gerjo Kok, hoogleraar Toegepaste Psychologie aan de Universiteit Maastricht en Gjalt-Jorn Peters, docent methodologie en statistiek aan de Open Universiteit, wordt zo grondig onderzoek beloond en niet, zoals het nu gaat, sensationele bevindingen. "Door het competitiemodel in de wetenschap kun je je het bijna niet veroorloven om niets te vinden."

We zijn met de neus op de feiten gedrukt, stellen de hoofdredacteuren Gerjo Kok en Gjalt-Jorn Peters. Ja, door de fraudegevallen uiteraard, niet alleen in de psychologie overigens. Ook blijkt dat veel onderzoek niet succesvol kan worden herhaald. Wat vervolgens suggereert dat veel meer gepubliceerd onderzoek tekortschiet. Iedereen weet de oorzaak ook: het systeem van publish or perish. Kok: “Je kunt het je bijna niet veroorloven om niets te vinden.” Peters: “Onderzoek waar niets uitkomt is fout. Onderzoek waar duidelijk iets uitkomt maakt iedereen zo blij dat men vergeet naar de details te kijken. Zo denken ze bij de vakbladen ook.”

Agressieve vleeseters
Is dit een typisch probleem voor psychologie? Daarover verschillen beide psychologen van mening. Kok vindt van niet en ziet hetzelfde gebeuren in bijvoorbeeld de geneeskunde. Volgens Peters is het een valkuil voor elke onderzoeker. “Maar psychologie is kwetsbaarder omdat het over mensen gaat en vatbaarder is voor sensatie.” Hij geeft als voorbeeld van een 'fancy' bevinding uit de sociale psychologie dat liefhebbers van vlees agressiever zouden zijn. Hoe het wel moet zie je volgens hem in de nanotechnologie. “Daar publiceren ze alles. Komt een onderzoek niet uit, dan schrijf je exact op wat er is gedaan.”

Het nieuwe online tijdschrift Health Psychology Bulletin (HPB) van Kok en Peters is hierop een antwoord. Het is opgericht om publicatie mogelijk te maken van onderzoek dat niet uitkomt of slecht is uitgevoerd. Kok: “Eigenlijk laten we alles toe onder de voorwaarde dat duidelijk wordt aangegeven hoe het onderzoek is uitgevoerd. De eis is dus dat volledige openheid wordt gegeven van alle data, materialen en meetanalyses. Dat is ook de eigenlijke fout van slecht onderzoek. Openheid maakt herhalingsonderzoek mogelijk, waardoor fouten kunnen worden gesignaleerd en het een stuk lastiger is om data te manipuleren. We willen zo meer transparantie en integriteit stimuleren.”

Samenwerkingsmodel
Het belang hiervan is groot. Kok: “Het is inhoudelijk voor het vak belangrijk, omdat we jarenlang in iets geloofd hebben dat niet klopt. Toepassingen vinden vanuit een foute theorie plaats. Slechte wetenschap is slecht voor de mensheid.” Maar er is ook een methodologisch belang. Het publiceren van foutief onderzoek leidt tot verbetering. Een veel voorkomende fout is bijvoorbeeld dat op grond van te weinig proefpersonen conclusies worden getrokken. Peters: “Je zou vooraf altijd een analyse moeten maken van het aantal proefpersonen dat minimaal nodig is. Dit gebeurt vaak slechts rudimentair.” Zo vormt het HPB een platform voor discussie over wat er mis gaat bij een onderzoek, wat anders had gekund en welke lessen hieruit kunnen worden geleerd.

Het HPB is ook een eerste aanzet om het heersende competitiemodel in de wetenschap te verschuiven naar  een model van onderzoek waarin samenwerking centraal staat. Peters: “Wetenschappers doen nu vanaf hun eigen eilandje onderzoek en zien elkaar als concurrent. Maar voor de wetenschap is het veel efficiënter om samen te werken.” Bij zulke openheid hoort ook een ander beloningssysteem. Peters: “In plaats van de impactfactor van vakbladen zou je ook het openbaar maken van datasets door een onderzoeker kunnen belonen. Het systeem beloont nu sensationele bevindingen en niet grondig onderzoek.”

Citatiescores
Beide psychologen beseffen wel dat het competitiemodel bijna niet te veranderen valt. Peters: “Iedereen is er door geïndoctrineerd.” Kok: “Het is allemaal zo dubbel als het maar kan. Iedereen weet dat het huidige systeem fout is, maar bij de komende visitatie gaat toch weer gewoon gelet worden op citatiescores. De citaties worden vervolgens weer beloond door de universiteiten. Wie hoog scoort, krijgt meer middelen. Mensen willen nu eenmaal ook carrière maken.” Maar goed, hun initiatief had vijf jaar geleden niet gekund. “De bewustwording is er en over tien jaar zal onze aanpak normaal zijn.”

Een verbetering zou al zijn als de macht van de vakbladen wordt verkleind. De oprichters van het HPB pleiten voor een wereldwijd netwerk van samenwerkende universiteiten dat een platform van publicaties mogelijk maakt. Kok: “Dat is ook noodzakelijk, er is geen bijhouden meer aan. Vroeger las ik in de trein een vakblad en was weer bij. Dat is nu onvoorstelbaar. Maar ook hier zie je die dubbelheid. Als ik een knaller heb in een mooi vakblad, tetter ik dat ook rond.”

Steen in de vijver
“In ons bulletin zal vrijwel nooit een artikel worden afgewezen,” beklemtoont Kok. “Als ze maar keurig opschrijven wat je wel en niet kunt concluderen. Fouten zijn niet erg als je er maar open over bent. En als mensen niet mee willen doen, laat ze dit dan maar uitleggen. Het kan geen kwaad een steen in de vijver te gooien.” Peters: “Als ons bulletin een afvoerputje wordt van gefaald onderzoek is dat prima. Ons doel is leerzaamheid. Daar kijken wij naar, wat heb je eraan, de nadruk ligt niet alleen op de uitkomsten maar ook op wat je van de processen kunt leren.”

Gerjo Kok (1948) is hoogleraar Psychologie aan Maastricht University. Zijn onderzoek richt zich op het toepassen van psychologische theorieën voor gedragsverandering om maatschappelijke problemen te verminderen. Ook houdt hij zich bezig met de ontwikkeling van modellen voor gedragsverandering ten behoeve van gezondheidsbevordering en ziektepreventie, energiebesparing, verkeersveiligheid en discriminatie.

Gjalt-Jorn Peters (1981) is universitair docent methodologie en statistiek aan de Open Universiteit. Zijn onderzoek richt zich op methodologie en, statistiek, gedragsverandering en op gezondheidskwesties gerelateerd aan het uitgaansleven.

Door: Hans van Vinkeveen