Betrouwbaar
Onderzoek is betrouwbaar als het resultaat niet van toeval afhangt: wie het onderzoek op dezelfde manier herhaalt, krijgt (ongeveer) hetzelfde resultaat.
Zo maak je je onderzoek betrouwbaar
- Herhaal je metingen. Eén meting is geen meting. Meet je de kiemtijd van tuinkers, gebruik dan niet één bakje maar tien.
- Vraag genoeg mensen. Een enquête onder drie mensen zegt niets: toeval bepaalt dan de uitkomst. Onder tachtig mensen zegt dezelfde enquête een stuk meer. (Wíé je vraagt, is een kwestie van validiteit.)
- Meet nauwkeurig en steeds op dezelfde manier. Zelfde meetinstrument, zelfde omstandigheden, zelfde vraagstelling.
- Houd alles gelijk behalve wat je onderzoekt. Test je het effect van licht op plantengroei, geef dan alle plantjes dezelfde aarde, hetzelfde water en dezelfde temperatuur.
Je meet één keer hoe snel je oude laptop opstart en één keer hoe snel de nieuwe opstart, en concludeert dat de nieuwe "twee keer zo snel" is. Misschien draaide er toevallig net een update. Meet tien keer en neem het gemiddelde — dan pas kun je iets zeggen.
Bij ontwerpgericht onderzoek betekent betrouwbaar: test je prototype vaker dan één keer, en met meer dan één testpersoon. Dat je app bij jou op je eigen telefoon één keer werkte, bewijst nog niets.
Je meet de opstarttijd van elke laptop tien keer en vergelijkt de gemiddelden.
Eén meting per laptop — toeval (een update, een warme dag) kan dan de hele uitkomst bepalen.
In maart 1989 kondigden de chemici Fleischmann en Pons op een persconferentie aan dat ze kernfusie hadden bereikt op een gewone labtafel, bij kamertemperatuur — een ontdekking die het energieprobleem van de wereld zou oplossen. Laboratoria over de hele wereld lieten alles vallen om het experiment te herhalen. Vrijwel niemand kreeg hetzelfde resultaat, en de enkele "successen" bleken meetfouten. Binnen enkele maanden stortte de claim in en was de reputatie van de onderzoekers verwoest.
Wat je hiervan leert: herhaalbaarheid is de lakmoesproef van onderzoek — een resultaat dat alleen bij jou uitkomt, is geen resultaat.
Hangt samen met
- De vier spelregels samen — betrouwbaar is een van de vier spelregels
- Valide — betrouwbaar meten is niet genoeg als je het verkeerde meet
- Interne validiteit — omstandigheden gelijk houden helpt allebei