In de complexe wereld van het onderwijs spelen toetsen en examens een cruciale rol bij het vaststellen van de kennis en vaardigheden van studenten en examenkandidaten. Maar hoe zorg je ervoor dat deze processen eerlijk, juridisch correct én onderwijskundig verantwoord zijn? Het boek biedt inzicht in de geschiedenis en evolutie van het toetsen, met verwijzingen naar belangrijke theorieën en onderzoeken. Van toetsmatrijzen tot beoordelingsmodellen, en van het vermijden van willekeur tot het bevorderen van transparantie in de uitslagen: dit boek helpt onderwijsprofessionals bij het opzetten en uitvoeren van toets- en examenprocessen die zowel effectief als rechtvaardig zijn. Een van de meest opvallende hoofdstukken in dit boek gaat in op de rol van kunstmatige intelligentie in toetsing. Dit is een nieuw en snel nontwikkelend terrein dat nog niet breed is onderzocht in de toetsliteratuur. Dit boek geeft een inkijk in de mogelijkheden en beperkingen van AI bij het construeren van toetsvragen, wat het extra relevant maakt voor hedendaagse onderwijskundigen en toetsontwikkelaars. De basis van het boek vormen twee eerdere boeken van de auteur: Zicht op toetsen, uit 1999, en Juridisch correct examineren, een proefschrift uit 2019 naar uitspraken van beroepscolleges in het hoger onderwijs. Uiteraard zijn de teksten geactualiseerd, is de literatuur over toetsen uit de onderwijskunde geüpdatet en zijn de uitspraken van beroepscolleges recenter. Maar vooral worden de twee betrokken disciplines, de juridische en de onderwijskundige, geïntegreerd behandeld. INLEIDING 12 HOOFDSTUK 1 HET ONDERWIJSKUNDIGE EN HET JURIDISCHE DOMEIN 16 1.1 De studie van Cohen 18 1.2 Een korte geschiedenis van het examineren 24 1.3 Examinering op universiteiten 27 1.4 Juristen en onderwijskundigen 33 1.5 De verwevenheid van juristen en onderwijskundigen 36 1.6 Samenvatting 38 HOOFDSTUK 2 DE RICHTLIJNEN: INTRODUCTIE 45 2.1 Herkomst 46 2.2 Stappen in het toetsproces 46 2.3 Samenvatting 47 HOOFDSTUK 3 LEERDOELEN 49 3.1 Inleiding 50 3.2 Classificatie 51 3.2.1 Taxonomie 52 3.2.2 Eenvoudige taxonomie 54 3.3 Samenvatting 55 HOOFDSTUK 4 TOETSMATRIJS = BLAUWDRUK + NIVEAU 57 4.1. Blauwdruk 58 4.2 Toetsmatrijs 59 4.3. Samenvatting 61 HOOFDSTUK 5 TOETS- EN VRAAGVORMEN 62 5.1 Traditionele examen- en toetsvormen 63 5.2 Alternatieve toetsvormen 66 5.3 Open en gesloten vragen 69 5.3.1 Open versus gesloten vragen 70 5.3.2 Belangrijke onderwerpen 72 5.3.3 Inspiratiebronnen voor het construeren van toetsvragen 73 5.3.4 Aantal vragen (toetslengte) en toetstijd 75 5.3.5 Gebruikte toetsvragen 81 5.3.6 Meer vragen construeren dan nodig 85 5.3.7 Itembank 86 5.3.8 Plaatjes bij toetsvragen 87 5.4 Samenvatting 88 HOOFDSTUK 6 GESLOTEN TOETSVRAGEN 91 6.1 Juist/onjuist-vragen 93 6.2 Meerkeuzevragen 94 6.2.1 Alternatieven: aantal en volgorde 96 6.2.2 Construeren van gesloten toetsvragen 96 6.3 Checklist gesloten vragen 112 6.4 Samenvatting 113 HOOFDSTUK 7 OPEN TOETSVRAGEN 116 7.1 Werkwoordvormen 117 7.2 Typen open vragen 118 7.3 Sturen van de lengte van het antwoord 119 7.4 Construeren van open vragen 121 7.5 Checklist open vragen 125 7.6 Samenvatting 126 HOOFDSTUK 8 ANTWOORDMODELLEN 128 8.1 Het belang van een antwoordmodel 129 8.2 De vorm en inhoud van een antwoordmodel 131 8.3 Taalfouten 132 8.4 Voorbeeld van een antwoordmodel 133 8.5 Samenvatting 1378 HOOFDSTUK 9 CONTROLEREN 139 9.1 Inleiding 140 9.2 Empirische controle (try-out) 141 9.3 Kwaliteitsbeoordeling vooraf 142 9.3.1 Beoordelaars 142 9.3.2 Beoordelingsaspecten 143 9.3.3 Beoordelingsmethoden 144 9.4 Samenvatting 146 HOOFDSTUK 10 SAMENSTELLEN VAN DE TOETS 148 10.1 Toetsmatrijs 149 10.2 Samenvatting 150 HOOFDSTUK 11 DE AFNAME VAN DE TOETS 152 11.1 Toetsinstructie 155 11.2 Toetstijd 156 11.3 Invulinstructie 156 11.4 Scoring en uitslag 157 11.4.1 Punten per vraag 158 11.4.2 Cijferbepaling 158 11.4.3 Uitslagtermijn 160 11.5 Algemene regelingen 160 11.5.1 Hulpmiddelen 160 11.5.2 Rekenmachientjes 162 11.5.3 Nummering bladzijden 162 11.5.4 Vermelding naam 163 11.5.5 Frauduleus handelen 163 11.5.6 Vragen tijdens de toets 163 11.5.7 Laatkomers en vroege vertrekkers 164 11.5.8 Toiletbezoek 165 11.5.9 Toetsevaluatie 166 11.5.10 Inleveren 168 11.5.11 Voorbeeld van een toetsinstructie 168 11.6 Lay-out van de toets 171 11.7 Toetsorganisatie 172 11.7.1 Toetsruimte 1729 11.7.2 Verstoringen 173 11.7.3 Verstrekking van koffie, thee, et cetera 174 11.7.4 Verantwoordelijkheid tijdens de toets 175 11.7.5 Surveillanten 176 11.8 Maatregelen tegen fraude 177 11.8.1 Controle identiteit 177 11.8.2 Vraagvolgorde 177 11.8.3 Alert surveilleren 178 11.8.4 Fraudereglement 178 11.8.5 Tassen en jassen 178 11.8.6 Oordopjes, horloges, koptelefoons, googlebrillen, et cetera 179 11.8.7 Verplichte plaatsen 179 11.8.8 Algemene maatregelen 179 11.9 Samenvatting 182 HOOFDSTUK 12 BEOORDELEN 185 12.1 Scoren en beoordelen van gesloten vragen 186 12.1.1 Machinaal beoordelen 186 12.1.2 Raadkans 187 12.1.3 Gewichten toekennen aan vragen 188 12.2 Scoren en beoordelen van open vragen 189 12.2.1 Wat er mis kan gaan 189 12.2.2 Oplossingen 191 12.3 Verschillen in beoordelingen 198 12.4 Afronden 198 12.5 Globaal versus analytisch beoordelen 201 12.6. Rubrics 203 12.6.1 Structuur van een rubric 204 12.6.2 De voor- en nadelen 204 12.7 Beoordelingen op schrift en transparant 205 12.8 Samenvatting 206 HOOFDSTUK 13 ANALYSEREN 210 13.1 Bij een combinatietoets: twee analyses 212 13.2 Wie verricht de psychometrische analyse? 212 13.2.1 Hulp van een computer 212 13.2.2 Toetsservicebureau 21310 13.3 Invoer van data 214 13.4 De -1, 0, 1 scoring van meerkeuzevragen 216 13.5 Wat moet worden berekend? 216 13.6 Begrippen 217 13.6.1 Deelscores en eindscore 217 13.6.2 Vraagmoeilijkheid (p-waarde) en toetsmoeilijkheid 218 13.6.3 Afleiders van meerkeuzevragen (a-waarde) 223 13.6.4 Onderscheidingsvermogen van toetsvragen (Rit, Rat, Rar en Rir) 225 13.7 De betrekkelijkheid van een psychometrische analyse 234 13.8 Toetsbetrouwbaarheid 234 13.8.1 Benaderingen voor de test-hertest betrouwbaarheid 235 13.8.2 Hoe hoog moet de toetsbetrouwbaarheid zijn? 239 13.8.3 Bepaling van de toetslengte (Spearman-Brown formule) 243 13.8.4 Reparatiemogelijkheden 245 13.9 Validiteit 248 13.10 Relatie tussen betrouwbaarheid en validiteit 250 13.11 Samenvatting 250 HOOFDSTUK 14 NORMEREN EN HET GEVEN VAN CIJFERS 254 14.1 Normeren en het geven van cijfers is problematisch 255 14.2 Het kiezen van een beoordelingsschaal 258 14.3 Normstelling bij het geven van cijfers 261 14.3.1 Relatief normeren 261 14.3.2 Absoluut normeren 264 14.3.3 Absoluut en relatief normeren vergeleken 265 14.4. B epaling van de zak-/slaaggrens 266 14.4.1 Opvattingen over wenselijke zak-/slaagpercentages 266 14.4.2 Methoden voor het bepalen van de zak-/slaaggrens 269 14.5 Enkele algemene eisen aan het normeren 283 14.6 Samenvatting 286 HOOFDSTUK 15 RAPPORTEREN 289 15.1 R apportage aan studenten 291 15.1.1 A nonimiteit en feedback 291 15.1.2 Tijdstip van feedback 29211 15.1.3 Inhoudelijke feedback 294 15.2 Rapportage aan de opleiding 294 15.3 Samenvatting 297 HOOFDSTUK 16 INZAGE EN NABESPREKING 299 16.1 Inzage en nabespreking 300 16.2 Wat zijn de voor- en nadelen? 301 16.3 De organisatie 303 16.4 Hoe te voorkomen dat studenten er met de vragen vandoor gaan? 307 16.5 Samenvatting 307 HOOFDSTUK 17 TOETSVRAGEN CONSTRUEREN MET ARTIFICIËLE INTELLIGENTIE? Vraag het ChatGPT, of toch maar niet? 310 17.1 De door ChatGPT geconstrueerde toetsvragen 312 17.1.1 Meerkeuzevragen: Feitenkennis 312 17.1.2 Meerkeuzevragen: Toepassing 313 17.1.3 Meerkeuzevragen: Inzicht 315 17.2.1 Kort-open toetsvragen: Feitenkennis 316 17.2.2 Kort-open toetsvragen: Toepassing 317 17.2.3 Kort-open toetsvragen: Inzicht 319 17.2.4 Reflectievragen 320 17.3 Conclusie 321 17.4 Samenvatting 322 HOOFDSTUK 18 SAMENVATTING 324 Referenties 328 Uitspraken van Beroepscolleges 336 Index 337 Bijlage 1: Begrippen 242 Bijlage 2: Curriculum Vitae van Henk van Berkel 358