Reproduceerbaarheid

Reproduceerbaarheid is het steeds opnieuw kunnen bereiken van een vergelijkbaar resultaat wanneer een beschreven procedure wordt uitgevoerd. Simpeler gezegd: een experiment is reproduceerbaar wanneer iemand anders hetzelfde resultaat krijgt wanneer deze het experiment herhaalt. Reproduceerbaarheid is een van belangrijkste onderdelen van de wetenschappelijke methode. Wanneer andere wetenschappers bij dezelfde procedure niet hetzelfde resultaat krijgen is het experiment niet reproduceerbaar. Dit kan betekenen dat de wetenschapper die de procedure heeft geformuleerd onzorgvuldig is geweest of misschien zelfs gefraudeerd heeft. Begin jaren 2010 bleek dat dit niet incidenteel voorkwam, maar dusdanig structureel dat het wel de replicatiecrisis is genoemd.

Voorbeelden

• De reproduceerbaarheid van een recept uit een kookboek is vaak goed: als men het recept nauwkeurig volgt, verkrijgt men vaak hetzelfde resultaat. Hier moet wel bij gezegd worden dat recepten vaak niet alle omstandigheden nauwkeurig omschrijven. Vaak staat in een recept dat er een theelepel of eetlepel van een bepaalde kruid moet worden toegevoegd. Hoeveel er daadwerkelijk wordt toegevoegd, hangt af van de grootte van de theelepel en hoe groot het bergje op de theelepel is. Ook speelt de gebruikte apparatuur en de snijtechniek een rol in het resultaat.
• Scheikundeproeven lijken qua procedures erg op kookrecepten, maar hoeveelheden worden weergegeven in gram, hetgeen de procedure exacter maakt. Hierdoor wordt het resultaat ook beter reproduceerbaar.
• De reproduceerbaarheid van het gooien met een dobbelsteen is erg slecht: men krijgt de ene keer een 1, de andere keer met een vergelijkbare worp een 6. Dit komt doordat het vrijwel onmogelijk is om meerdere keren exact hetzelfde te gooien. De reproduceerbaarheid van het gemiddelde van 10.000 keer gooien is wel heel goed, als de omstandigheden gelijk blijven.
• Een onderzoek naar de populariteit van bepaalde muzieknummers in de vorm van hitlijsten is niet reproduceerbaar. Hierdoor zijn hitlijsten in verschillende landen meestal anders. Ook binnen een land zijn er grote verschillen. Een Amsterdamse hitlijst kan anders zijn dan een Rotterdamse.

Belang van goede theorie

Reproduceerbaarheid is een logisch gevolg van hoe de natuur in elkaar zit. De natuur gedraagt zich volgens bepaalde universele regels die overal en altijd gelden. De regels gelden voor alle personen die het experiment uitvoeren en alle objecten betrokken bij het experiment. Dat betekent dus ook dat de resultaten bij iedereen gelijk moeten zijn. In de exacte wetenschap hebben de regels vaak een brede theoretische basis. Een goed voorbeeld zijn de wetten van Newton. De wetten van Newton zijn zeer algemeen en verklaren een breed palet aan verschijnselen: zwaartekracht, druk, beweging, geluid, maar ook temperatuur en elektrostatische krachten.

Reproduceerbaarheid in verschillende vakgebieden

Resultaten in de exacte wetenschappen zijn vrijwel altijd reproduceerbaar, vandaar ook de naam exacte wetenschap. Natuurkunde is de exactste wetenschap. Dat komt door het reductionistische karakter van de experimenten en de algemeenheid van de theorieën. Bij veel experimenten wordt de meting gereduceerd tot één variabele. Alle overige variabelen worden kunstmatig gelijk gehouden. Een bekend voorbeeld is een valproef. Wanneer men één object telkens laat vallen van dezelfde hoogte in een afgesloten vacuümruimte zal het voorwerp altijd even snel vallen. Laat men het voorwerp meerdere keren vallen vanaf verschillende hoogtes dan kan een verband worden bepaald tussen de hoogte en de snelheid waarmee het valt. Wanneer het voorwerp onverhoopt niet volgens de regels valt, dan is er sprake van een meetfout of een afwijkende procedure. Hier moet bij vermeld worden dat sinds het tweespletenexperiment natuurkundigen soms ook statistische methoden gebruiken om verschijnselen te verklaren.

Bij verwante wetenschappen als scheikunde en biologie gebruikt men ook regelmatig met succes deze methode. Het is niet altijd mogelijk om één variabele te isoleren. Dit komt doordat chemische en biologische systemen complexe gehelen zijn, die bestaan uit vele oncontroleerbare variabelen. Wanneer overige variabelen niet gecontroleerd kunnen worden, gebruikt men statistiek om toch een exacte uitspraak te kunnen doen. Het experiment wordt dan honderden keren herhaald en er worden uitspraken gedaan over de gemiddelden. Het voorbeeld van de dobbelsteen is exemplarisch. De manier van werpen is moeilijk te beheersen, maar wanneer er vaak gegooid wordt kan er een uitspraak gedaan worden over het gemiddelde en de kans op een bepaalde worp. Een ander persoon die het experiment dan herhaalt, zal komen tot dezelfde gemiddelden, mits het experiment vaak genoeg en in vergelijkbare omstandigheden gebeurt.

In sociale wetenschappen is het vrijwel onmogelijk om één variabele te isoleren en de overige variabelen vast te zetten. Sociale wetenschap gaat over mensen en hun gedrag. Mensen worden in een bepaalde situatie ondervraagd of geobserveerd, of er wordt gekeken naar gegevens van bijvoorbeeld het CBS. Elk mens is verschillend (zelfs tweelingen). Daardoor is alleen een exacte uitspraak te doen wanneer men het experiment uitvoert met een grote groep mensen. Uitspraken over de resultaten van het experiment zijn zeer moeilijk te extrapoleren naar andere situaties. Het maakt al een heel verschil of een experiment is uitgevoerd met studenten in een ruimte op de universiteit of op straat met voorbijgangers. Het experiment is dan slechts zeer beperkt reproduceerbaar.

Niet-gereproduceerde resultaten

• In 2012 bleek uit onderzoek in Nature dat de resultaten van 47 van 53 bekeken medische onderzoeksartikelen over kanker niet gereproduceerd konden worden.
• Hideyo Noguchi (1876 – 1928) werd beroemd door zijn vondst, in 1913, van Treponema pallidum in de hersenen en toonde daarmee het verband tussen syfilis en dementia paralytica aan. Hij beweerde ook dat hij deze bacterie kon kweken in zijn laboratorium: niemand kon dat resultaat reproduceren.
• In maart 1989 beweerden Stanley Pons en Martin Fleischmann, scheikundigen aan de University of Utah, op een persconferentie (een wetenschappelijk artikel kwam pas later) dat ze bij een proef een warmteontwikkeling hadden gevonden die alleen met een kernreactie verklaard kon worden (koude kernfusie). Hun uitrusting was eenvoudig: een elektrolytische cel met zwaar water en een kathode van palladium die het deuterium dat vrijkwam bij de elektrolyse snel opnam. Nieuwsdiensten en kranten over de hele wereld brachten dit nieuws prominent. Vele onderzoekers trachten wereldwijd tevergeefs de proef te reproduceren.
• Nikola Tesla beweerde in 1899 dat hij met hoogfrequente wisselstroom op 40 km afstand gasontladingslampen draadloos kon laten branden (zie ook Draadloos opladen). In 1904 bouwde hij de Wardenclyffe Tower in Shoreham op Long Island (New York) voor een demonstratieproject om energie draadloos te zenden en te ontvangen. De installatie werkte nooit helemaal en werd ook niet voltooid vanwege geldgebrek.
• Problemen met reproductie van resultaten komen voor in protowetenschappen. Bijvoorbeeld in het onderzoek naar halfgeleiders werden in de periode 1900-1940 vele resultaten niet gereproduceerd, naar later bleek door kleine verontreinigingen.
• Het humoristische tijdschrift Journal of Irreproducible Results (JIR) publiceert grappig bedoelde artikelen en bespreekt vreemde wetenschappelijke vondsten.

Bronnen, noten en/of referenties