Systematic Review

Bepaal je onderzoeksvraag en bijbehorende zoektermen

Waarschijnlijk heb je al een onderzoeksvraag opgesteld voor je Systematic Review. Het is van belang dat deze onderzoeksvraag helder geformuleerd en gefocust is en dus geen dubbelzinnigheden of vage termen bevat. Kijk voor tips de pagina over het opstellen van de  onderzoeksvraag en de verschillende frameworks die je hiervoor kunt gebruiken. 

Ga nog eens alle termen in je vraag bij langs om na te gaan of deze echt specifiek genoeg zijn. Een synoniemenwoordenboek (thesaurus) kan je hierbij helpen, zie ook de pagina over het vinden van zoektermen. Ook kan het nuttig zijn om een preliminaire zoekopdracht uitvoeren in een grote databank om vakspecifieke synoniemen of aanverwante termen op te vangen. Deze vakspecifieke termen kunnen de juiste focus geven aan de onderzoeksvraag. 

Het aanscherpen van de onderzoeksvraag, het vinden van synoniemen en het bouwen van de zoekstring hebben natuurlijk met elkaar te maken. In de praktijk zal je er tijdens het uitvoeren van de eerste zoekopdrachten achter komen of bepaalde zoektermen ontbreken of juist ruis opleveren. In deze fase kun je nog steeds je onderzoeksvraag en zoekstring aanpassen. De uiteindelijke versie leg je vast in het onderzoeksprotocol.

Bepaal welke databanken je wilt raadplegen

In de kern is een Systematic Review de meest omvangrijke vorm van literatuuronderzoek. Dit betekent dat het doel is om alle tot nu toe gepubliceerde werken mee te nemen in de zoekstrategie - dus onafhankelijk van de taal waarin het geschreven is, de locatie waar het onderzoek is uitgevoerd, of het een wetenschappelijk artikel is of bijvoorbeeld een registratie van een klinische studie, en ongeacht het een recente publicatie is of al 100 jaar oud is. Dit betekent ook dat de databanken die je kiest om je zoekopdracht uit te voeren dit hele spectrum zouden moeten omvatten. Als onderzoeker bij de Hanze heb je toegang tot ca. 160 databanken; het is aan te raden om deze allemaal eens bij langs te gaan en een top 5 of 10 van meest relevante databanken te maken. Er is helaas geen magische formule voor het includeren van de databanken die voor jouw onderzoek geschikt zijn, maar een combinatie van meer algemene en vak-specifieke databanken is vaak een logische keuze. 

Kenmerkend voor het uitvoeren van een Systematic Review is het meenemen van grijze literatuur in je zoekopdracht. Dit zijn werken die niet op de 'traditionele wijze' worden verspreid (dus niet via publicatie door een uitgever). Voorbeelden hiervan zijn proefschriften, bijdragen aan conferenties, artikelen in niet-wetenschappelijke tijdschriften, registraties van clinical trials, rapporten van bijvoorbeeld overheidsinstanties en krantenartikelen. Denk dus ook goed na over hoe je grijze literatuur kunt meenemen in je zoekstrategie. Suggesties voor het vinden van grijze literatuur vind je op deze pagina. 

Schrijf het onderzoeksprotocol

Het reviewprotocol beschrijft allereerst de context en rationale van de review: waarom is het van belang om deze review uit te voeren? Wat weten we al over het onderwerp en op welke vlakken is er meer duidelijkheid nodig? Wat is de exacte onderzoeksvraag? Daarnaast beschrijft het protocol de keuzes die gemaakt zijn met betrekking tot de zoekstrategie, het selectieproces, het extraheren van de data, hoe de critical appraisal wordt uitgevoerd, en hoe de data geanalyseerd wordt. De vragen die je hierbij kunt stellen zijn: 

• wat zijn de selectiecriteria bij het uitvoeren van de zoekopdracht?
• hoe wordt bepaald of een studie relevant is of niet?
• hoe wordt er gehandeld als onderzoekers het oneens zijn over het wel of niet includeren van een studie

Al met al leg je in het protocol vast hoe je zult handelen gedurerende de review. Dit voorbereidende onderdeel kost doorgaans veel tijd, gemiddeld 18 maanden. Het protocol wordt vooraf vastgelegd. Daarom zul je elke afwijking van het protocol moeten verantwoorden in je uiteindelijke reviewpaper.

PRISMA heeft een checklist voor het opstellen van een protocol, PRISMA-P, te vinden op de PRISMA website. De checklist geeft een indicatie van hoe je een protocol kunt indelen en welke informatie het moet bevatten. 

Registreer je protocol

Het wordt sterk aangeraden om je protocol te registreren; zo weten andere onderzoekers dat jij al met dit onderwerp bezig bent en voorkom je dat anderen een Systematic Review over jouw onderwerp gaan schrijven. Bovendien geef je hiermee vooraf te kennen wat je precies gaat doen, wat de transparantie van je onderzoek vergroot. Bekende platformen voor het registreren van Systematic Review protocollen zijn PROSPERO, INPLASY en OSF. Je kunt deze platformen ook gebruiken om voorbeelden te vinden van geregistreerde protocollen, bijvoorbeeld over COVID-19. 

Zoekopdracht uitvoeren

Als je zoekstrategie is uitgewerkt, dan is het tijd om de zoekopdracht uit te voeren in de geselecteerde databanken. Tips voor het aanpassen van de zoekstring op basis van de syntax van de betreffende databank vind je in de user manual van de de databank. Zorg ervoor dat je de resultaten van de zoekopdrachten goed bijhoudt in bijvoorbeeld een logboek en maak gebruik van een referentiemanager zoals RefWorks. Een handleiding over RefWorks vind je hier. 

Vergeet ook niet de PRISMA flow chart in te vullen. Hierin houd je op gestructureerde wijze bij wat je eerste zoekopdrachten hebben opgeleverd, om welke redenen je hoeveel resultaten hebt verwijderd en wat er overblijft voor de vervolgstap in de flow chart. 

Ontdubbelen

Er zullen ongetwijfeld dubbelingen voorkomen in je resultaten: artikelen die in meerdere databases als resultaat worden opgehaald. Het is zinvol om alle dubbelingen te verwijderen voordat je begint aan het screenen van resultaten. Dit bespaart je onnodig extra werk. Het is aan te raden om hiervoor een tool te gebruiken zoals RefWorks. Je kunt zelf instellen hoe streng de tool moet zijn bij het vaststellen of iets een dubbeling is of niet. Is het te streng, dan zul je meer artikelen moeten screenen en false negatives zelf moeten verwijderen; is het niet streng genoeg, dan zullen er misschien resultaten als dubbeling worden verwijderd terwijl ze dat niet zijn (false positives). 

Vergeet ook hier niet in je PRISMA flow chart te noteren hoeveel dubbelingen je hebt verwijderd en hoeveel items er overblijven voor het screenen.

Screenen van de resultaten

Het screenen van de resultaten gebeurt in twee stappen: eerst ga je alle resultaten beoordelen op basis van titel en abstract. Wat overblijft ga je screenen op basis van de full text. Voor het schrijven van een systematic review is het noodzakelijk om minimaal twee personen te hebben die onafhankelijk van elkaar het screeningproces uitvoeren, om de objectiviteit van de review te waarborgen. In het review protocol staan de inclusie- en exclusiecriteria al vastgelegd. Deze criteria vormen de basis voor het screeningsproces. 

Het is aan te raden om een tool te gebruiken voor dit onderdeel van het literatuuronderzoek. Rayyan is een goedgekeurde applicatie die het screeningsproces enigszins verlicht doordat je makkelijk en onafhankelijk van elkaar kunt screenen. Je geeft voor elk resultaat aan of die wel, niet, of misschien moet worden geincludeerd, en om welke reden. Zodra iedereen klaar is met het screenen, wordt er gekeken voor welke items je het eens bent. De items waar je (nog) niet over eens bent kunnen worden besproken, of worden automatisch meegenomen naar het screenen van de full text (afhankelijk van wat er in het protocol is opgenomen). Bij drie of meer personen kan het principe 'meeste stemmen gelden' makkelijker worden toegepast. Het aantal verwijderde resultaten noteer je in de PRISMA flow chart. 

Critical appraisal van de artikelen

Tijdens de critical appraisal ga je op gestructureeerde wijze het artikel bij langs, waarbij je zorgvuldig de kwaliteit van het betreffende paper beoordeelt: welke sterke en zwakke punten heeft de paper: zijn de onderzoekers grondig geweest, is de analyse juist en is de conclusie gebaseerd op de resultaten? Je doet dit aan de hand van een vragenlijst of een ander instrument. Let op: een critical appraisal kan op verschillende niveaus worden uitgevoerd, afhankelijk van het type studie dat je beoordeelt, bijvoorbeeld een primary research artikel, een review artikel, of een review of reviews artikel. Voorbeelden van critical appraisal tools zijn te vinden op de website van het Joanna Briggs Institute. 

Een vast onderdeel van de critical appraisal is de risk of bias assessment. Je beoordeelt de studies dan op de mogelijkheid dat bepaalde kenmerken van de onderzoeksmethode of het uitvoeren van de studie leidt tot misleidende resultaten, bijvoorbeeld door het kiezen van een bepaalde doelgroep of outcome variabele. Gebruik altijd een gedegen risk of bias tool voor dit onderdeel, zoals die van Cochrane Methods. 

Data-extractie

Data-extractie is het onderdeel waarin de onderzoeker in de kenmerken van de geïncludeerde studies nauwgezet in kaart brengt. Zo'n overzicht biedt inzicht in de verschillen tussen de studies, bijvoorbeeld verschillen in effectgrootte en/of welke keuzes er zijn gemaakt m.b.t. de methode en de analyse en kan als verantwoording dienen voor het wel of niet meenemen van een studie in de uiteindelijke analyse. De data-extractie wordt  vaak gerapporteerd in een data-matrix, zie ook onder tabblad rapportage.

Rapporteren van je onderzoek
Heb je al een (wetenschappelijk) tijdschrift in gedachten waar je graag zou publiceren? Lees dan zeker de author’s guide en/of instructions voordat je begint te schrijven, zodat je vooraf weet wat de eisen (bijvoorbeeld maximum aantal woorden, structuur) zijn voor een systematic review publicatie in het betreffende tijdschrift.

Ter inspiratie hebben we in de bronnenlijst hieronder een aantal systematic reviews toegevoegd die door Hanze onderzoekers zijn gepubliceerd. Alle publicaties zijn open access gepubliceerd.

Onderzoeksmethode en PRISMA flow chart
Zoals gezegd, kenmerkt een systematic review zich door het op transparante wijze rapporteren van de zoekstrategie. Je vermeldt o.a. de geraadpleegde databanken, de datum van raadpleging, de hoeveelheid personen die aan de screening hebben meegewerkt, de gehanteerde inclusie- en exclusiecriteria en de wijze waarop de kwaliteit van de papers is bepaald. Geef voor de laatstgenoemde ook aan welk instrument hiervoor is gebruikt. 

De PRISMA flow chart is een standaard visualisatie van je onderzoeksmethode en kan eventueel worden opgenomen als figuur of als bijlage in je paper. 

Datamatrix (rapportage van data-extractie)

Een datamatrix is een overzicht van de papers die zijn opgenomen in de analyse. Dit overzicht bevat de kenmerken van alle geïncludeerde studies. Daarmee verschaft het gebruik van een datamatrix inzicht in de variabiliteit tussen de studies die zijn opgenomen in je review. Zie hier voor een mooi voorbeeld van een datamatrix in een systematic review paper (tabel 1).  

Resultaten

Je kunt op verschillende manieren je resultaten rapporteren, bijvoorbeeld door per thema een overzicht te geven van het aantal studies, de kwaliteit van de studies en mate waarin de resultaten overeenkomen. Idealiter geef je per thema een overzicht van de betreffende studies, waarbij je per studie de resultaten samenvat en de effect estimates en confidence intervals presenteert, bijvoorbeeld in een forest plot.

Een kwantitatieve benadering van het rapporteren van resultaten is het doen van een meta-analyse, oftewel een analyse van de analyses van de geïncludeerde studies. Een online gids over het uitvoeren van meta-analyses vind je hier.

Websites en library guides van andere kennisinstellingen:

• PRISMA
• Joanna Briggs Institute Manual for Systematic Review
• Library Guide van Rijksuniversiteit Groningen

Filmpjes over Systematic Review:

• The steps of a Systematic Review

Hulpmiddelen:

• Logboek
• Online boek: Doing meta-analysis in R: a hands-on guide
• JBI critical appraisal tools

Open Access publicaties van Hanze-onderzoekers:

• Lakke, Sandra, et al. "The added value of therapist communication on the effect of physical therapy treatment in older adults; a systematic review and meta-analysis." Patient Education and Counseling 102.2 (2019): 253-265. DOI: 10.1016/j.pec.2018.09.020
• Wagenaar, M. C., van der Putten, A. A. J., Douma, J. G., van der Schans, C., & Waninge, A. (2022). Definitions, signs, and symptoms of constipation in people with severe or profound Intellectual Disabilities: a systematic review. Heliyon 8(5):e09479. DOI: 10.1016/j.heliyon.2022.e09479
• van der Wal-Huisman, H., Dons, K. S., Smilde, R., Heineman, E., & van Leeuwen, B. L. (2018). The effect of music on postoperative recovery in older patients: A systematic review. Journal of geriatric oncology, 9(6), 550-559. DOI: 10.1016/j.jgo.2018.03.010

Heb je vragen of kom je er niet uit? Neem contact op met de Informatiespecialist Onderzoek van jouw kenniscentrum, of kijk bij support & contact voor meer tips en advies.