In deze rubriek doorloop je de verschillende stappen voor het schrijven van een P-review. Kenmerkend aan de P-reviews is de systematische aanpak van de onderzoeksactiviteiten. Het gebruik van deze schrijfwijzer garandeert dat je geen essentiële stappen over het hoofd ziet.

Het is de wensdroom van het project P-reviews dat er in de toekomst nog meerdere P-reviews worden geschreven omtrent actuele vakdidactische kwesties. Indien je zelf concrete suggesties hebt voor het uitschrijven van een P-review kan je best op voorhand contact opnemen met de editorial board (via het contact-formulier van de website).

Stap 1. PROTOCOL VOOR SCHRIJVEN VAN EEN REVIEW

Bij een systematische aanpak van het schrijven van een review is het wenselijk om voor het uitvoeren van de onderzoeksactiviteiten een helder protocol aan te geven. Via het protocol wordt de schrijver gestimuleerd om te expliciteren:

• wat de precieze onderzoeksvraag is van de review.
• op welke manier de studies en bronnen worden gevonden.
• op basis van welke criteria de studies en bronnen worden geselecteerd of uitgesloten.
• hoe de uiteindelijke analyse wordt uitgevoerd.
• op welke manier de gegevens uiteindelijk samengebracht worden in de review.

Het uitschrijven van een protocol is zinvol om duidelijk aan te geven waar je precies naar toe wil en wat het bereik is van de review. Het is immers vanuit wetenschappelijk oogpunt uiterst belangrijk om enerzijds een duidelijke afbakening te maken en anderzijds om de relevante studies en bronnen in te sluiten in het onderzoek.

Tevens is het protocol een manier om anderen te laten delen in de opzet van het onderzoek. Het dient als basis om feedback te krijgen van de review-board.

1.1. FORMULEREN VAN DE ONDERZOEKSVRAAG (PICO)

Voorafgaand aan het formuleren van de onderzoeksvraag, kan je best een gericht antwoord formuleren op onderstaande deelvragen.

P=populatie
Wie is het doelpubliek? Over welke leerlingen gaat het? (Basisonderwijs? Secundair onderwijs? Buitengewoon onderwijs? Welke leerjaren? Welke studierichtingen? Leerlingen met specifieke (achtergrond)kenmerken? Jongens? Meisjes?)

I = interventie of vakdidactische aanpak
Naar welke educatieve interventies ben je op zoek?

C = vergelijking
Wordt er een vergelijking gemaakt ten opzichte van de interventie of de vakdidactische aanpak?

O = Uitkomst
Wat is de gewenste uitkomst? (bijvoorbeeld: motivatie, prestaties, probleemoplossingsvaardigheden.) Zal het doelpubliek beïnvloed worden of niet?

De verschillende onderdelen van PICO worden samengebracht in de uiteindelijke onderzoeksvraag:

ONDERZOEKSVRAAG:

1.2. TITEL FORMULEREN:

De titel van de review is belangrijk. De titel moet helder zijn en faciliteren dat iemand via gerichte zoekopdrachten bij de review uitkomt. Probeer dan ook geen overbodige woorden te gebruiken die enkel kunnen afleiden van de thematiek.

Een standaardvoorbeeld van de titel:

[interventie] voor {probleem] in [onderwijsdomein] [onderwijsniveau]

[evidentie]

Noteer hier je VOORLOPIGE WERKTITEL

STAP 2. ZOEKTOCHT NAAR STUDIES

In een volgende stap is het noodzakelijk om te onderzoeken of er voldoende relevante studies voorhanden zijn voor de onderzoeksvraag. Er moet ook een verantwoord evenwicht gevonden worden tussen een onhaalbaar aantal studies om te verwerken en een té kleine en onvolledige selectie van studies.

Voor de vakdidactische reviews binnen P-REVIEW lijkt het opnemen van 6 tot 15 studies een haalbaar aantal (Aveyard, 2010, p. 36). Uiteraard hangt het aantal gevonden studies zeer sterk af van de breedte van de onderzoeksvraag en de hoeveelheid studies die over het thema beschikbaar zijn. Bovenstaand aantal moet dus enkel beschouwd worden als richtinggevend.

Volg een systematische wijze om studies op te sporen door:

• op te lijsten welke zoektermen je gebruikt en in welke combinatie (zie 2.1)
• aan te geven via welke kanalen je de studies op het spoor ben gekomen (database, tijdschriften, bronnenvermelding in literatuur, consultatie van domeinexperten, …) (zie 2.3)
• criteria te bepalen voor studies die je wil opnemen (zie 2.2).
  Bijvoorbeeld:
• periode (vb. enkel studies na 2000)
• taal (vb. enkel studies in het Engels of het Nederlands)
• gebied (vb. Europees, focus op specifieke landen)
• gebruikte onderzoeksmethodiek (vb. enkel kwantitatieve studies en bestaande reviewstudies)
• …

Deze systematische aanpak is belangrijk om er voor te zorgen dat je een correct, gefundeerd antwoord biedt op de onderzoeksvraag (Aveyard, 2010). Als je je enkel baseert op studies die je kent of die je toevallig op het spoor bent gekomen, dan riskeer je een foutief en vertekend antwoord te bieden op de onderzoeksvraag.

2.1. LIJST VAN GEBRUIKTE ZOEKTERMEN

Zoekterm	Bredere term (optie)	Smallere term (optie)

2.2. CRITERIA VOOR DE ZOEKTOCHT NAAR STUDIES

Criterium voor de zoektocht (vb. periode)	Invulling van het criterium (vb. 2000-2010)

2.3. GERAADPLEEGDE ZOEKKANALEN

Om dubbel werk te vermijden, kunnen de zoekacties best bijgehouden worden op een consequente manier. Het onderstaande schema kan hierbij hulp bieden. Probeer ook de referenties vanaf het begin zou nauwkeurig mogelijk bij te houden.

Zoekkanaal (vb. Limo (http://limo.libis.be), ERIC, Web of Science, Psychinfo, Google scholar, experten, …)	Gebruikte zoekterm	Referentie van gevonden studies

2.4 HIERARCHIE VAN DE EVIDENTIE

Als de onderzoeksvraag van de review gericht is op de effectiviteit (matter of fact) van een interventie of een didactische aanpak is het fundamenteel om de hiërarchie van de evidentie te respecteren. Vanuit het perspectief van het evidentie-gehalte van studies, is het immers belangrijk om te beseffen dat niet elke onderzoeksmethodologie evenveel harde bewijskracht heeft voor de effectiviteit van een interventie of didactische aanpak.

De onderstaande rangorde (Aveyard, p. 62) betekent dat een methode die hoger staat (bv. 1 > 3, 4>5) ook meer evidentie oplevert.

1.	Systematische reviews en meta-analyse	MEER EVIDENTIE ⇓ MINDER EVIDENTIE
2.	Gerandomiseerd onderzoek met controle groep (Eng.: RCT)
3.	Correlationeel onderzoek
4.	Bevragingen
5.	Casus rapporten
6.	Kwalitatieve studies
7.	Opinies van experten
8.	Anekdotische opinies

Indien de onderzoeksvraag van de review minder gericht is op de effectiviteit van een interventie, dan is nog steeds van belang om bij het rapporteren over de studies de hiërarchie van de evidentie te respecteren en geen overschattende conclusies te trekken uit de studies. Dit betekent echter niet dat er geen zinvolle uitspraken kunnen gedaan worden over een thematiek die gebaseerd zijn op bijvoorbeeld kwalitatieve studies of opinies van experten. De uitspraken kunnen dan getuigen van een sterke relevantie (matter of concern) voor een doelgroep omtrent een thematiek. Er kunnen zo bijvoorbeeld een aantal randvoorwaarden en/of goede praktijkvoorbeelden aangeven worden voor een bepaalde didactische aanpak zonder dat er daarmee hard bewijs geleverd wordt.

STAP 3. SELECTIE VAN DE STUDIES

3.1. DEFINITIEVE SELECTIE VAN DE STUDIES

Een volgende stap in de totstandkoming van de review is een nauwkeurige en verantwoorde selectie van de studies. Na de eerste zoektocht naar studies en bronnen (cf. 2) moet worden beslist welke studies uiteindelijk wel of niet opgenomen zullen worden in de review. Op die manier wordt de definitieve selectie van studies verkregen waar je verder mee aan de slag gaat.

3.2. BEPALING VAN DE SELECTIECRITERIA

Bij een systematische review is het noodzakelijk dat men op voorhand bepaalt welke de selectiecriteria zijn voor het al dan niet insluiten van studies. Op die manier kan gerechtvaardigd worden op welke manier de studies worden afgewogen naar relevantie, kwaliteit, uitkomst van het onderzoek …

Voorbeelden van mogelijke selectiecriteria (= criteria voor inclusie en exclusie):

• Enkel studies met double blind
• Enkel studies over het basisonderwijs
• Enkel kwantitatieve studies of bestaande reviews
• Studies waarin enkel peer-assessment gebruikt wordt en géén self-assessment
• Enkel studies waarin de klasgrootte minstens 15 leerlingen is
• Enkel studies waarin er één klasleerkracht is die de klas begeleidt (niet bijgestaan door een teaching assistant of door een onderzoeker)
• Enkel studies waarin de interventie wordt uitgevoerd door een leerkracht (en dus niet door een externe persoon zoals een onderzoeker
• De klassen mogen geen graadklassen zijn
• Er mogen geen kinderen met bijzondere educatieve maatregelen opgenomen zijn
• Enkel studies uit peer-reviewed tijdschriften
• De assessment van de uitkomsten van het onderzoek werden op een geblindeerde wijze uitgevoerd
• …

Selectie-criterium (Zie hierboven voor voorbeelden)	Korte omschrijving van het selectie-criterium

STAP 4. UITVOEREN VAN DE ANALYSE

Je houdt nu een aantal studies over die kunnen geïncludeerd worden in de review. De volgende belangrijke stap is het uitvoeren van de analyse. Bij deze analyse moet je bepalen welk gewicht de studies uiteindelijk zullen krijgen. Concreet: aan welke studie ga je veel belang hechten en op grond waarvan? Om dit te doen, zal je de geïncludeerde studies grondig moeten (her)lezen. Het is tevens mogelijk dat er na het grondig herlezen toch nog beslist wordt om een bepaalde studie niet op te nemen omdat ze toch niet voldoet aan de inclusiecriteria.

4.1. EVALUATIEFORMULIER VOOR DE STUDIES

Om de analyse te maken kan je best een evaluatieformulier opstellen als hulpmiddel. Het evaluatieformulier zal je naderhand helpen om te bepalen aan welke studies in de uiteindelijke review een groot gewicht zal gegeven worden en aan welke een minder groot gewicht zal gegeven worden.

Er bestaat waarschijnlijk geen perfect voorbeeld van hoe het evaluatieformulier er moet uitzien. Veel zal afhangen van de precieze eigenheid van je review en van de aard van de studies die je opneemt (vb. kwantitatieve, kwalitatieve of literatuurstudies). Je moet het formulier dan ook zelf aanvullen. Het belangrijkste is dat je gepaste informatie over de studies verzamelt die jou in staat stellen om achteraf het belang van de studie voor het onderzoek te bepalen.

Hieronder vind je echter “een” voorbeeld van een evaluatieformulier. Per studie wordt een afzonderlijk evaluatieformulier ingevuld. Het evaluatieformulier voor de studies biedt:

• Een omschrijving van de evaluatiecriteria
• Info: samenvattende en meer getailleerde informatie over hoe het evaluatiecriterium invulling krijgt in de studie
• Conclusie: een woordelijke motivering van de evaluatie van het evaluatiecriterium

Evaluatiecriteria	Info/opmerking
1. Referentie van de studie:	Info:
1.1. Gewicht van de publicatie: Vb. Is de studie gepubliceerd in een vooraanstaand tijdschrift? Vb. Werd relevant vooronderzoek opgenomen in het artikel?	Internationaal peer-reviewed tijdschrift Internationaal tijdschrift Nationaal peer-reviewed tijdschrift Praktijkgericht tijdschrift Info: Conclusie:
2. Steekproef / onderzoeksgroep Vb. Is duidelijk aangegeven wie deelgenomen heeft het onderzoek? Vb. De specifieke doelgroep die ik nodig heb is opgenomen? Vb. Is aangegeven hoe de selectie gebeurde?	Info: Conclusie:
3. Onderzoeksvraag Vb. Is de onderzoeksvraag helder geëxpliciteerd? Vb. Sluit de onderzoeksvraag voldoende aan bij de opzet van mijn review?	Info: Conclusie:
4. Interventie of didactische aanpak Vb. Is de interventie of didactische aanpak op een geblindeerde wijze uitgevoerd? Vb. Is de didactische aanpak breed uitgetest? Vb. Is de didactische aanpak voorgelegd aan een team van experten?	Info: Conclusie:
5. Vergelijking Vb. Is de didactische aanpak consequent vergeleken met een alternatieve aanpak?	Info: Conclusie:
6. Methode Vb. Is de gebruikte (kwantitatieve of kwalitatieve) methode duidelijk omschreven? Vb. Is de gebruikte methode geschikt voor het beantwoorden van de onderzoeksvraag? Vb. Levert de gebruikte methode voldoende evidentie op (cf. hiërarchie van evidentie)	Info: Conclusie:
7. Theorie Vb. Is het theoretisch kader van het onderzoek geëxpliciteerd? Vb. Worden de gebruikte concepten helder gedefinieerd? Vb. Wordt de pro en contra’s van de theorie aangeven?	Info: Conclusie:
8. Dataverzameling Vb. Is duidelijk aangegeven op welke manier de data verzameld werden? Vb. Werden er gevalideerde evaluatie-instrumenten gebruikt?	Info: Conclusie:
9. Data-analyse Is duidelijk aangegeven hoe de data verwerkt werden en hoe men komt tot de conclusies? Werd de analyse correct uitgevoerd?	Info: Conclusie:
10. Resultaten Vb. Zijn er duidelijke resultaten voortgekomen uit de studie? Vb. Werden toepasselijke conclusies getrokken uit het onderzoek? Vb. Zijn de resultaten relevant voor de Vlaamse context? Vb. Werd de evaluatie van de resultaten op een objectieve wijze uitgevoerd?	Info: Conclusie:

STAP 5. SCHRIJFPROCES VAN DE REVIEWS

5.1. HOE BEGINNEN MET SCHRIJVEN

Elke auteur heeft zijn/haar eigen manier om van een stapel geselecteerde studies te komen tot één synthesetekst. Sommige auteurs houden er van om bij elke studie aantekeningen te maken op papier alvorens te beginnen schrijven. Anderen maken eerst een ruwe inhoudstafel en schrijven daarna de paragrafen. Anderen starten bijvoorbeeld met het doorlezen van vijf studies en stellen daarna de ruwe inhoudstafel op. Als er een bestaande review is, is het aan te bevelen om die als eerste te lezen. Het verdient ook aanbeveling om het meest recente artikel als eerste te doorlezen omdat in de inleiding doorgaans een stand van zaken wordt geschetst en wordt verwezen naar oudere studies.

5.2. AFSPRAKEN OMTRENT HET UITSCHRIJVEN EN REDIGEREN VAN DE REVIEWS

Optie 1: eindnoten

Binnen P-REVIEWS wordt er omwille van de vlotte leesbaarheid gekozen om exclusief te werken met eindnoten.

Optie 2: Eenvormige referentie-stijl

De stijl die wordt gehanteerd voor de referenties is APA.

Optie 3: Verschillende tekstversies

Er wordt gekozen om de tekst van de reviews op breed-gelaagde wijze ter beschikking te stellen. Er worden dan ook verschillende tekstversies van de inhoud van de review opgemaakt worden.

Het basisidee is dat de lezer zal gestimuleerd worden om uiteindelijk de volledige review-tekst van de review te consulteren.

Daarnaast zullen er ook korte samenvattingen van de centrale aspecten van de review beschikbaar zijn op de website. Vanuit de korte samenvattingen kan dan doorgeklikt worden naar meer diepgaande informatie.

Lineaire tekst-versie

De review wordt in een eerste fase aangeleverd als een lineaire tekst.

Niet-lineaire tekst-versie

In een tweede fase zal voor het gebruik voor de website gevraagd worden aan de review-schrijvers om de centrale onderdelen van de review te herschrijven in een kortere niet-lineaire versie.

Een niet-lineaire tekst is een zelfstandig stuk tekst waarbij de lezer geen nood heeft aan voorafgaandelijke informatie om de tekst te kunnen begrijpen. De lezer kiest in dit geval zelf welke tekstonderdelen hij/zij wil lezen.

Elk tekstonderdeel wordt voorafgegaan door een korte samenvatting die helder aangeeft wat de lezer mag verwachten. Indien de lezer beslist om verder te lezen, kan hij vervolgens de volledige tekst van het tekstonderdeel openklikken.

Optie 4: Taalgebruik

Binnen P-REVIEWS wordt er belang gehecht aan een toegankelijk taalgebruik omdat het een centrale doelstelling is dat de reviews leesbaar moeten zijn voor het doelpubliek. De concrete invulling van wat verstaan wordt onder taalgebruik is te vinden in het evaluatieformulier voor de reviews.

Optie 5: Structuur van de tekst (lineaire tekst-versie)

De review-schrijver zorgt voor een duidelijke en heldere opbouw van de review met minimaal volgende onderdelen:

• Inleiding
• Corpus:
• De titels geven een duidelijk handvat aan de lezer
• Eenduidige tussentitels
• Lange tekststukken worden opgesplitst in tekstonderdelen via tussentitels
• Conclusie:
• Algemene conclusie omtrent de thematiek
• Praktijkwijzer:
• Concrete suggesties voor het praktijkveld
• Eindnoten

REFERENTIES

Aveyard, H. (2010). Doing a literature Review in Health and Social Care: a practical guide. Berkshire, Maidenhead: Open University Press.

http://www.cochrane-net.org/openlearning/

http://www.pico.nu

BIJLAGE: EVALUATIE-PROCEDURE & INSTRUMENT VAN P-REVIEWS

Tijdens de looptijd van het project P-reviews (2011-2013) werd ook een evaluatie-procedure en evaluatie-instrument opgesteld. Alvorens te beginnen met het uitschrijven van een P-review is het zinvol om de evaluatie-criteria na te lezen.

EVALUATIE-PROCEDURE P-REVIEWS

Binnen het project P-reviews werden 2 review-boards geïnstalleerd: de interne review-board en de externe review-board.

De interne review-board

• Samenstelling: kernpartners van het project P-reviews (Thomas More Kempen, KU Leuven, KHLim, Katholieke Hogeschool VIVES
• Taak: coaching van de auteurs en procesevaluatie, themazetting van de reviews, disseminatiestrategie bepalen.

De externe review board

• Samenstelling: De externe review-board bestaat uit afzonderlijke leden en/of leescomités die worden aangesteld door de interne review-board voor de evaluatie van een specifieke review:
• Voor elke afzonderlijke review worden 2 domein‐experten gezocht die de wetenschappelijke validiteit bewaken. Zij worden geselecteerd op basis van aantoonbare wetenschappelijke expertise op het vlak van de thematiek van de review.
• Eén leescomité voor de reviews voor het basisonderwijs en één leescomité voor de reviews van het secundair onderwijs worden aangesteld. Elk leescomité bestaat uit 5 praktijkexperten per geschreven review (leraren, lerarenopleiders, zorgcoördinatoren, pedagogisch begeleiders, lerarenopleiders) die de praktijkgerichtheid bewaken. Zij worden geselecteerd op basis van de vertrouwdheid met het thema in het specifieke werkveld.
• Taak: De taak van de aanvullende wisselende externe review-board is exclusief gericht op de specifieke reviews als output van het project. De leden evalueren de geschreven reviews op basis van het evaluatie-instrument (cf. 3.3).

EVALUATIE-INSTRUMENT VOOR DE REVIEWS

Het evaluatie-instrument voor de reviews wordt gebruikt door de leden van de externe review-board om feedback te geven op de geschreven reviews.

Er zijn 5 hoofdcriteria die telkens vertaald worden naar concrete indicatoren. Elke indicator kan gescoord worden op een 3-punts-schaal (O - onvoldoende, V: voldoende, G: goed).

Bij elk hoofdcriterium wordt ook een open ruimte voorzien waar de evaluator een woordelijke motivering kan geven van zijn besluit en/of suggesties.

a. Taalgebruik en structuur

TAALGEBRUIK & STRUCTUUR: De review …
… is geschreven in een vlotte en begrijpelijke taal die leesbaar is voor leraren.
… gebruikt geen overdreven lange zinnen.
… heeft een duidelijke structuur.
… vermijdt overbodige specifieke terminologie.
… legt nieuwe begrippen (inclusief vakjargon) uit door middel van concrete en bekende termen.
… biedt een aansprekende inleidingstekst.
Schriftelijke motivering & suggesties:

b. wetenschappelijke validiteit & verantwoording

WETENSCHAPPELIJKE VALIDITEIT & VERANTWOORDING: De review …
… verwijst via eindnoten consequent naar de geraadpleegde bronnen.
… wordt voldoende ondersteund door wetenschappelijke studies.
… expliciteert de centrale onderzoeksvraag.
… geeft een duidelijk omschrijving van de probleemstelling.
… expliciteert helder de afbakening van het onderzoek en de draagwijdte van het onderzoek.
… expliciteert de gevolgde onderzoeksmethode.
… geeft de selectiecriteria aan voor het insluiten en uitsluiten van studies.
… geeft aan hoe de verwerking van de studies is gebeurd.
… formuleert heldere conclusies die voldoende wetenschappelijk verantwoord worden.
Schriftelijke motivering & suggesties:

c. Praktijkrelevantie

PRAKTIJKRELEVANTIE: De review …
… is in de eerste plaats gericht op de klaspraktijk (micro-niveau).
… verwijst naar voldoende concrete voorbeelden uit de klaspraktijk.
… geeft aan waarom de thematiek belangrijk is.
… houdt rekening met de specifieke Vlaamse onderwijscontext.
… is voldoende specifiek gericht op het aangeduide onderwijsniveau (BaO of SO).
… verwijst naar goede praktijkvoorbeelden.
… beschrijft getuigenissen van leraren en praktijkverantwoordelijken omtrent de thematiek.
Schriftelijke motivering & suggesties:

d. Toepasbaarheid van de review (gebruikswijzer)

TOEPASBAARHEID: De review …
… geeft aan hoe een leraar aan de slag kan gaan in de klas met de verworven inzichten.
… expliciteert welke de kansen zijn voor verdere professionalisering van leraren.
… stimuleert de onderzoekende houding van de leraren (vb. door zelf op kleine schaal een klas-experiment uit te voeren omtrent de thematiek, door suggesties te geven voor verdere literatuur, door filmische voorbeelden).
Schriftelijke motivering & suggesties:

e. Disseminatie van de review

Opmerking:

De disseminatie van een review reikt verder dan de eigenlijke looptijd van het project. Dit maakt het moeilijker om de disseminatie finaal te evalueren. Als evaluator wordt u uitgenodigd om suggesties te geven voor een verdere brede verspreiding van de review. Het zou ook een hulp zijn, mocht u extra kanalen en/of contactpersonen kunnen vermelden.

DISSEMINATIE: De review …
Schriftelijke motivering & extra suggesties (eventueel extra contactpersonen en/of kanalen):