Het is best verbazend dat gezien de populariteit van context-geleide benaderingen, er toch slechts zeer beperkt onderzoek gebeurde naar de effecten van die benaderingen (in het bijzonder op leerprestatie), zowel in aantal als in grondigheid.

Bij het opmaken van context-geleide curricula en -cursussen richtte het onderzoek zich immers vaak in de eerste plaats naar het implementatieproces (hoe contexten ontwikkelen, hoe contexten aanbrengen, ontwikkeling van media en organisatie van werkvormen, nascholing van en effecten op leerkrachten,…). Tegelijkertijd verhinderden talloze methodologische belemmering in experimenteel design van deze onderzoeken om uitspraken over effecten van context-geleide benaderingen op attituden en leerprestaties te doen:

a) Validiteit van evaluatieinstrumenten

Bij tal van onderzoeken blijken de evaluatievormen en –items erg divers. Zo varieerden de testen voor het vergelijkend meten van de leerpresatie van zelfontwikkelde diagnostische vragen met open antwoord tot interviews ; deze assesmentvormen maken strikt objectief en/of statistisch vergelijk erg moeilijk. Andere studies hanteerden testitems uit bestaande databanken die enerzijds mogelijk meer gericht zijn op het herinneren en begrijpen van leerinhouden, of anderzijds net toepassingsgericht en contextrijk bevragen. Zo haalden enkele onderzoekers testitems uit databanken die eerder conventionele leerinhouden bevragen, waardoor de controlegroep (met traditionele benadering) voordeel ondervindt (ookal bleek er een duidelijk positief effect van de contextgeleide benadering). Daartegenover staan de onderzoeken die opmerken dat dat leerlingen die context-geleide interventies ondergingen beter scoorden bij testitems met een hoog contextgehalte, in tegenstelling tot leerlingen uit meer traditionele cursussen.

Contextgeleide cursussen vragen in wezen naar wetenschappelijke inhouden, maar ook naar contextuele kennis en het kunnen transfereren van kennis tussen de twee domeinen. Daartoe is vaak voorkennis uit zowel het inhoudelijke domein als het contextdomein nodig. Bovendien lijkt het opportuun de mogelijkheid om informatie te structureren en te relateren ook te bevragen bij de evaluatiemomenten. Bij ontbreken daarvan kan de test naar zijn betrouwbaarheid en validiteit bevraagd worden.

Ook voor het meten van het effect op attituden kan een analoge opmerking gemaakt worden: de variëteit aan gebruikte instrumenten laten ook daar zelden toe directe vergelijking te maken tussen de studies. Als voorbeeld kan hierbij vermeld worden dat enkele studies de perceptie door de leerkracht (van de leerlingenattituden) gebruiken als meetinstrument.

b) Betrouwbaarheid: staalgrootte, beperkte randomisatie, matching van experimentele- en controlegroep

Het garanderen van echte randomisatie binnen experimentele- en controlegroep blijkt bij vele van de bovenstaande onderzoeken een probleem. Een grote meerderheid van de studies werkte immers met een beperkt aantal klasgroepen en tegelijkertijd intacte klasgroepen, die in vele gevallen bovendien reeds betrokken waren in context-geleide onderwijsstrategieën. Dit kan de betrouwbaarheid van de gemeten effecten op verschillende manieren ondermijnen.

• De invloed van leerkrachten(kenmerken) kunnen niet uitgesloten worden: vaak staan geëngageerde, meer competente leerkrachten die binnen (reeds bestaande) context-geleide cursussen werken voor de klas. Een beperkte staalgrootte (een beperkt aantal klasgroepen) kan effecten daarvan niet uitsluiten.
• Ook effecten t.g.v. klasgebonden kenmerken kunnen niet uitgesloten worden bij een beperkt aantal klasgroepen in een studie.
• Daarnaast was het vaak zo dat de beslissing om deel te nemen aan een onderzoek niet altijd door het lot werd bepaald: scholen werden zelden random gecontacteerd. Vele onderzoekers bleken immers al gebruikers van context-geleide cursussen en verzamelden data voor hun studies. Bovendien gebeurt de selectie van proefpersonen niet altijd bij onderzoekers, maar bepalen ook scholen, inrichtende machten en beleidsmakers welke scholen deelnemen.
• Slechts bij enkele studies werden de experimentele- (EG) en controlegroep (CG) leerlingen gematcht naar cognitieve capaciteit. Slechts 2 studies presenteren statistische analyse van hun data.
• Tenslotte blijkt dat tal van onderzoekers betrokken waren bij de ontwikkeling van context-geleide materialen of er fondsen voor verwierven. Allen namen echter stappen om vooringenomenheid te vermijden.
• Opvallend is dat in slechts één van de weerhouden studieseen (gepast) RCT design werd gehanteerd (gerandomiseerd onderzoek met controlegroep). De overigen hielden dus quasi-experimentele studies in.
• Slechts bij enkele studies wordt vermeld waar de specifieke focus van de attitudemeting op ligt: bvb. naar het vak chemie of naar wetenschappen verder studeren. In een enkel geval worden binnen één meting zelfs meerdere focussen bevraagd. Dat laatste sterke punt ontbreekt vaak.

c) Unieke causale verbanden?

Ondanks de vergelijkbare tot positieve invloed van context-geleide benaderingen op leerprestaties werden bij deze vergelijkende studies telkens (onbedoeld) een grote variëteit aan variabelen tegelijkertijd gemanipuleerd. Op die manier is het onmogelijk unieke oorzaak-gevolg relaties te leggen. Telkens werd niet alleen de context, maar ook de kwaliteit van de leerkracht, de mate van zelfsturing, de meer uitgebreide leerlingenactiviteit, de rijkdom aan alternatieve werkvormen, een diversiteit aan media, andere doelen,.. kunnen mogelijk als variabele parameter wegen in, naast de context-geleide benaderingen. Bovendien spelen vermoedelijk ook de aard, duur en omvang van de context een rol.

Om enkel het effect van de factor “context” te kunnen beschrijven, moet men deze variabele meer gecontroleerd kunnen isoleren, variëren en bestuderen. Omwille van de complexe setting is dat in levensechte klassen niet mogelijk.