Nieuws

Archief

Terecht of niet..? Een tentamen waar veel mis aan is

Er schortte volgens een klaagster nogal veel aan een tentamen, afgenomen bij een Vlaamse universiteit: te weinig vragen, een oneerlijke raadcorrectie, een zeer laag slaagpercentage, geen voorbeeldvragen, onduidelijke vragen, te korte examenduur en geen individuele feedback.

Wat er aan vooraf ging
Een uitzonderlijk tentamen
Gezegd moet worden dat het tentamen dat deze klaagster had gemaakt, erg uitzonderlijk was en daardoor de zaak op scherp zette. Het tentamen bestond uit tien vragen, waarvan vier driekeuze vragen, de overige zes hadden twee alternatieven. Van deze zes waren vier vragen van het type juist/onjuist. Een correct antwoord leverde twee punten op en voor een fout antwoord werd een punt afgetrokken.

Tentamens hebben vele vormen en eigenschappen. Een tentamen heeft een eindige hoeveelheid vragen, kent een toetstijd, kent (meestal) een norm, de vragen hebben een vorm en ze worden ge-scoord. Over al deze aspecten van tentamens, en er zijn er veel meer te bedenken, moeten examinatoren een beslissing nemen. Soms schieten de beslissingen bij studenten in het verkeerde keelgat en gaan zij klagen. Zoals de beroepsprocedure voorschrijft, moeten studenten eerst hun klachten indienen bij de examencommissie. Als er dan geen oplossingen wordt gevonden, komt het College van Beroep in beeld. Misschien dat de onderhavige examencommissie al nattigheid rook; ze schakelde twee experts in: een psychometricus (een toetsdeskundige) en een inhoudsdeskundige. Zij bogen zich over de klachten.

De mening van de experts
In het algemeen onderschreven de experts de standpunten van de examencommissie. De psychometricus achtte de scoringswijze fair, oor-deelde dat de formulering van de vragen aan de basisregels voldeed en was ook positief over de vooraf gegeven informatie over het tentamen. Hij had echter zijn twijfels over het geringe aantal vragen, vooral als het slagen van studenten louter zou afhangen van dit tentamen (van tien vragen dus). Hij legde daarbij een relatie met de betrouwbaarheid van het tentamen. Het toeval speelt volgens hem bij tien tentamenvragen een te grote rol bij de uitslagbepaling. De inhoudsdeskundige was van oordeel dat de vragen voldoende duidelijk waren. Maar merkwaardigerwijs plaatste zij toch een aantal kanttekeningen bij haar oordeel. Zij stelde dat vragen bepaalde inter-pretatieproblemen kunnen hebben die pas tijdens een tentamen ‘bij handopsteking’ kunnen worden opgelost. (Overigens bestond tijdens dit tentamen niet de mogelijkheid om vragen te stellen wanneer een student problemen ondervond met de duidelijkheid van een vraag.) Over drie vragen uit dit tentamen was de inhoudsdeskundige van oordeel dat de interpretatie van de collegegever over dit onderwerp van belang was om tot een eenduidige beantwoording van de vraag te komen. Op basis van de oordelen van de experts en het eigen oordeel besloot de examencommissie één vraag achteraf uit het tentamen te verwijde-ren. Deze tegemoetkoming ging de student niet ver genoeg. Zij stapte naar het College van Beroep.

Het College van Beroep aan het woord
De klacht wordt behandeld
Het College begon de behandeling van de klacht met het bepalen of het tentamen aan de vereisten voldeed: een tentamen moet de bereik-te kennis en competenties adequaat meten. Als een tentamen dat niet doet, verklaart het College zich ontvankelijk voor beroepsschriften. Deze stellingname is niet onbelangrijk, omdat alle Colleges van Beroep zich op het standpunt stellen dat het in beginsel aan de examencommissies is om uitspraken te doen over de kennis en competenties van studen-ten en pas als er sprake is van onredelijkheid en/of onzorgvuldigheid het College op de stoel van de examencommissie kan gaan zitten. Naar het oordeel van het College was er in dit geval sprake van, anders had ze het beroepsschrift wel naast zich neergelegd. Het College deed vervolgens een niet zo verrassende uitspraak: een meerkeuze tentamen is in beginsel een geaccepteerde tentamen-vorm. In hoeverre het tentamen voldoet aan het redelijkheids- en zorgvuldigheidsbeginsel, moest worden onderzocht. Daarna ging

het College over tot de weging van de aangedragen argumenten.

Te klein aantal items
De studente stelde dat tien - en uiteindelijk negen - vragen onvol-doende zijn om een betrouwbaar oordeel te geven. De psychome-tricus onderschreef dit. De examencommissie stelde daar tegen-over dat het een klein vak betrof van slechts drie ECTS met 170 bladzijden studiestof[1]. De commissie achtte dit in verhouding tot het aantal vragen. Het College koos hierin de kant van de studente: negen vragen zijn in dit geval onvoldoende om een zak/slaagbeslis-sing op te baseren.

Onduidelijkheid van de vraagstelling
Dan het punt over de onduidelijkheid van sommige vragen. De studente vond een aantal vragen onduidelijk en kon tijdens het ten-tamen geen vragen stellen om die onduidelijkheid weg te nemen. Ook stelde zij dat de inhoudsdeskundige van mening was dat de interpretatie van de collegegever van belang was bij het vaststellen van het correcte alternatief. Volgens de student was de collegegever hierover niet duidelijk geweest. Bovendien was het niet de college-gever die het tentamen had nagekeken. De examencommissie stelde daar tegenover dat het correct interpreteren van een vraag onderdeel is van de te testen kennis en omdat volgens de psychometrische expert de vragen correct waren geformuleerd, de student geen punt had. Bovendien zou de colle-gegever tijdens het college hebben aangegeven welke interpretatie de voorkeur verdiende.

Ongeschiktheid van de vraagvorm
Bovendien vocht de studente de vraagvorm aan: meerkeuze tenta-mens kunnen volgens haar niet toetsen of studenten zich kritisch kunnen opstellen tegenover bepaalde onderwerpen. En dat was wel een van de doelstellingen van dit studieonderdeel.

De uitspraak
Het College oordeelde dat meerkeuze tentamens in beginsel ade-quaat zijn om hogere cognitieve vaardigheiden als kritisch denken te toetsen. Daarover kreeg de examencommissie dus gelijk. Ten aanzien van de multi-interpreteerbaarheid van de opgaven kwam het College met een verrassend standpunt. De inhoudsdeskundige was van mening dat bij twee vragen twee alternatieven correct waren. De examencommissie stelde vervolgens dat de collegegever duidelijk de voorkeur had aangegeven voor een van beide en dat de studenten dus hadden kunnen weten wat het enige correcte alternatief was. Dat argument legde het College naast zich neer: ‘Indien twee alternatieven correct zijn, moeten die ook als correct worden gescoord’. Kennelijk is de mening van de collegegever niet zo maar doorslaggevend. Verder stelde het College dat het feit dat er verhoudingsgewijs veel studenten voor dit tentamen waren gezakt, ook een aanwijzing is dat er wat met het tentamen aan de hand was. Hiermee had de examencommissie rekening moeten houden. De slotconclusie luidde: ‘Het tentamen is niet met de vereiste zorg-vuldigheid ingericht zodat de meting van de kennis van de student niet voldoende betrouwbaar is geweest’.

De consequentie van de uitspraak
De consequentie van deze uitspraak voor de studente is niet bekend. In formele zin vernietigt het College van Beroep de uitslag van het tentamen en draagt de examencommissie op een an-dere uitslag te bepalen met inachtneming van het gestelde in de uitspraak. Het is echter niet zo dat de uitspraak op alle studenten die het betreffende tentamen hebben afgelegd, betrekking heeft. Dan hadden die ook in beroep moeten gaan. Het tentamen zal dus niet ongeldig worden verklaard en, bijvoorbeeld, opnieuw worden afgenomen. Meestal zal de examencommissie in dergelijke situaties bij die ene student een mondeling afnemen of anderszins een aangepast tentamen voorleggen.

Wat zijn de lessen?
Het aantal vragen
Het aantal vragen in de toets stond niet in verhouding tot de omvang van de studiestof, althans was onvoldoende om een betrouwbare zak/slaagbeslissing te nemen. Doorgaans zal pas bij dertig vierkeuze vragen de betrouwbaarheid acceptabele waarden kunnen aannemen.

Duidelijkheid
Een te groot aantal vragen was onduidelijk. De examencommissie stelde correct dat de mate van duidelijkheid geen dichotomie is. Het is niet zo dat een vraag duidelijk dan wel onduidelijk is, het is een glijdende schaal. Wat voor de een duidelijk is, is voor de ander onduidelijk. Het stellen van duidelijke vragen, die studenten op het goede spoor zetten in welke richting zij het correcte antwoord moeten vinden, is een recht. Indien studenten meer duidelijkheid nodig hebben, dienen zij de mogelijkheid te krijgen een inhouds-deskundige een vraag te stellen via handopsteking. Als aanvullende informatie wordt gegeven, hebben alle studenten daar recht op. Dat betekent dat een mededeling wordt gedaan op een aanwezig schoolbord of via een omroepinstallatie. Daarom moet er altijd een inhoudsdeskundige bij de toetsafname aanwezig zijn.                                 

Twee alternatieven correct
In deze beroepszaak komt het interessante aspect van ‘twee alternatieven correct’ aan de orde. Zoiets komt in de toetspraktijk regelmatig voor omdat het moeilijk is alternatieven te bedenken die helemaal fout zijn. Of omdat ‘geleerden’ het niet eens zijn met elkaar. Dit probleem is makkelijk oplosbaar. Ten eerste via het aangeven van de context. Dus niet ‘De definitie van het Oedipus complex is ….’, maar ‘Volgens Freud is de definitie van ….’. Op die manier voorkom je dat een student met een boek van een andere auteur dan Freud in de hand de examencommissie van haar ongelijk kan overtuigen. Ten tweede is het probleem van twee alternatieven correct oplosbaar door in de toetsinstructie te vermelden dat steeds het beste alternatief moet worden aangekruist. In de praktijk volstaat dit meestal. Als er dan toch nog onduidelijkheid optreedt, resteert niets anders dan twee alternatieven correct te rekenen. Tentamenverwerkingsprogramma’s kunnen dit technisch aan.


[1] ECTS = European Credit Transfer System, waarbij een ECTS punt wordt gelijk gesteld aan 28 uur studie,inclusief contacttijd

De heer dr. H.J.M. van Berkel is hoofdredacteur van EXAMENS en werkzaam aan de Universiteit van Maastricht. E-mail. H.vanBerkel@EDUC.unimaas.nl.

BRON: EXAMENS, tijdschrift voor de toetspraktijk september 2010