‘Programmatisch toetsen is een integrale benadering van het ontwerp van een beoordelingsprogramma met als doel om de leer- en beslisfunctie en opleidingskwaliteit te optimaliseren. Individuele beoordelingsmethodes die gericht gekozen zijn omwille van hun overeenstemming met de uitkomsten van het opleidingsprogramma en hun informatiewaarde voor de professional, worden gezien als individuele beoordelingsmomenten. De waarde van deze individuele punten wordt maximaal benut door feedback te geven aan de professional. Er is een duidelijk verschil tussen een beoordelingsmoment en het beslissingsmoment over het al dan niet geslaagd zijn. Tussentijdse en zwaarwegende eindbeoordelingen worden gebaseerd op meerdere beoordelingsmomenten na een zinvolle aggregatie van informatie en onderbouwd door organisatorische procedures om hun betrouwbaarheid te waarborgen. Door de analyse van de beoordelingsinformatie en de daaruit vloeiende leerdoelen wordt zelf- gereguleerd leren ondersteund in een dialoog met de professional, bijvoorbeeld in een mentorsysteem. Programmatisch toetsen kan worden toegepast op elk deel van het opleidingscontinuüm, gegeven dat het onderliggende leerconcept constructivistisch is.’ (https://www.epass.eu/nl/innovatie/academisch-onderzoek/)
 

Van Vleuten, Schuwirth, Driessen en Govaerts (2014) hebben 12 tips ontwikkeld om inhoud te geven aan programmatisch toetsen.

Tip 1: Zorg voor een toetsprogramma (TP)

• Een TP is een overkoepelend framework dat de samenhang laat zien tussen de verschillende toetsmomenten (datapunten)
• In een TP is iedere toetsvorm en inhoud zorgvuldig gekozen (juiste moment/passend bij het geleerde)
• Complexe competenties vragen om longitudinale ontwikkeling en toetsing in real-life settings (met vaak oordeel van deskundigen)
• Een TP bestaat uit mix van toetsinhouden/methodes/ modulair en longitudinale toetsen
• Toetsplan, curriculum en leerproces moet met elkaar in lijn zijn (ideaal is: curriculum en toets = toetsprogamma)
• Objectiviteit moet worden gewaarborgd maar niet assessments overstructureren

Tip 2: Zorg voor een examenreglement dat gericht is op een feedbackcultuur

• Zak- en slaag beslissingen mogen niet gebaseerd zijn op één toets (één datapunt).
• Studiepunten worden alleen gegeven voor belangrijke beslissingen gebaseerd op meerdere datapunten

Tip 3: Zorg voor een robuust systeem voor het verzamelen van informatie

• Het is belangrijk om informatie flexibel te kunnen hanteren
• Portfolio’s (electronisch)
• Portfolio’s voor periodieke analyses ontwikkeling en leerdoelen student
• Gebruikersvriendelijk

Tip 4: Zorg ervoor dat iedere toets betekenisvolle feedback oplevert voor het leren van de studenten

• Zonder rijke informatie geen programmatisch toetsen
• Betekenisvolle feedback kan op verschillende manieren
• Feedback op complexe vaardigheden vraagt om beschrijvende informatie die ook gegeven kan worden op basis van gestandaardiseerde assessment
• Rubrics en cijfers kunnen leiden tot leren voor een cijfer of het afvinken van een lijstje. Ben voorzichtig in het gebruik daarvan.
• Effectieve feedback geven is tijdrovend. Denk ook aan peer-feedback, online feedback
• In programmatisch assessment is leren en toetsing verweven
• Goede feedback is beter dan regelmatig arme feedback

Tip 5: Zorg ervoor dat de studenten begeleid worden

• Iedere student heeft een mentor
• Regelmatig contact
• De mentor heeft kennis van het curriculum.
• Bespreekt met student de prestaties en reflecties en de ontwikkelplannen.
• De mentor is een vertrouwd persoon voor de student en heeft geen rol in het beoordelingsproces.
• De mentor heeft als belangrijkste doel om het beste uit de student te halen

Tip 6: Zorg ervoor dat er sprake is van geloofwaardige besluitvorming

• Om professioneel beoordelen te  waarborgen moeten procedurele maatregelen genomen worden:
• Maak een toetscommissie verantwoordelijk voor besluitvorming (zak-slaag/overgang). Zij moeten volledig toegang hebben tot portfolio. De grootte en de expertise van de toetscommissie is van belang voor geloofwaardigheid
• Voorkomen van belangenverstrengeling en zorgen voor de onafhankelijk van de leden TC
• Het gebruik van beschrijvende mijlpalen
• Trainen van commissieleden
• Organiseren van bijeenkomsten waarin toelichting gegeven kan worden op data
• Een document waarop de TC beslissingen kan toelichten
• Het verkrijgen van input van de mentor en student. Mentor is niet verantwoordelijk voor beslissing maar zijn input is wel van belang
• Duidelijkheid over beroepsprocedures
• Etc

Tip 7: Organiseer tussentijdse beoordelingen

• Belangrijke beslissingen aan het eind geen verrassing
• Kan gezien worden als een procedurele maatregel tbv geloofwaardigheid
• Minder datapunten dan definitieve beoordeling (tussen low-stakes en high-stakes)
• Diagnostisch, therapeutisch en prognostisch
• Ook door de toetscommissie of subcommissie

Tip 8: Moedig gepersonaliseerde remediëring aan en faciliteer

• Geen vervangend examen.
• Gebaseerd op reflecties tussentijdsbeoordelingen, mentor en de student zelf
• Is altijd gepersonaliseerd
• Flexibel curriculum
• Geen kant en klare pakketten noodzakelijk
• Verantwoordelijkheid van de student

Tip 9: Monitor en evalueer het leereffect van het TP en pas aan

• PDCA
• Betrek alle stakeholders
• Belangrijk is de mentor
• Mixed method (kwantitatief en kwalitatief)

Tip 10: Gebruik de informatie uit het assessment proces voor het evalueren van het curriculum

Tip 11: Promoot continue interactie tussen stakeholders

• Programmatisch assessment is de verantwoordelijkheid van de gehele schoolorganisatie
• Voortdurende en regelmatige communicatie tussen stakeholders is essentieel om bijvoorbeeld imperfecties op te sporen, incidenten te bespreken en consequenties voor verbetering van systeem
• Waarschuwing om geen grote muur neer te zetten tussen toetscommissie en mentoren vanwege de objectiviteit en onafhankelijk, soms hebben beslissingen meer informatie nodig over de student.

Tip 12: Ontwikkel een strategie voor implementatie

• Cultuurverandering
• Macro- meso- en micro level
• Macro: beleidsmakers en administrateurs moeten zich ervan bewust worden waarom de verandering noodzakelijk is. Het moet uitgelegd worden in niet-vakjargon
• Meso: curriculum- overkoepelende competenties en toetsing moeten met elkaar in lijn komen, stakeholders en commissies moeten zo vroeg mogelijk betrokken worden, examenreglement aangepast, curriculum moet flexibel worden voor remediering. Projectleiders moeten geloofwaardig zijn en aanzien hebben.
• Micro: van het begin af aan betrokken, draagvlak en medewerking is essentieel.
• een leerproces voor iedereen
• uitspreken van onverwachte problemen
• gezamenlijke inspanning
• Het betrekken van personeel en studenten in het ontwerpproces verhoogt de kans op succes en creëert eigenaarschap en een leergemeenschap.

Vleuten, C.P.M., van., Schuwirth, L.W.T., Driessen, E.W., & Govaerts, M.J.B. (2014). 12 Tips for programmatic assessment. Early Online medical teacher, pp 1-6. doi: 10.3109/0142159X.2014.973388.