itembanken

Een itembank van vijf hogescholen op #T2D2016

Ik bezoek vandaag en morgen de Tweedaagse over Digitaal Toetsen. Surf organiseert het, waarvoor dank, in Eindhoven KennispoortSander Schenk (HR) praat ons bij over de ervaringen met het aanleggen van een itembank voor 5 hogescholen. Even de schaal: 5.492 studenten maakten 66.502 toetsen en beantwoorden 875.576 vragen …

Randvoorwaardelijk stelt Sander

  • Laagdrempelige toegang: De toegevoegde waarde, aangezien een itembank aanleggen nogal wat tijd kost, zit in hergebruik en analyse. Bijvoorbeeld welke vragen wel en niet goed lopen. Dat moet dan wel toegankelijk zijn.
  • Een enigszins doordachte inrichting: je kunt een jaar discussiëren, maar belangrijker is om te beginnen. Hoorde ik net ook al: metadata bijvoorbeeld wordt weinig gebruikt, terwijl je er aan de voorkant uren over kunt praten.
  • Enthousiaste auteurs (hier ook al): Laat voorbeelden zien, dwing niet en laat studenten er om vragen (“Bij docent X krijgen we wel oefenvragen uit de itembank … “).
  • Een goede ondersteuning.

Eigenlijk kom je daarna pas goed aan kwaliteit toe: zijn de vragen inhoudelijk juist, toetstechnisch in orde en hebben ze per stuk feedback? Het zegt denk ik wel iets over de cultuur als docenten in een team elkaar feedback hier op geven en constructief samen de kwaliteit verhogen. De balans tussen streng en soft is soms delicaat: leg je de lat te hoog dan werkt het ontmoedigend en sla je elk initiatief dood met een wijzende vinger, leg je de lat te laag dan krijg je slechte toetsen. Blijft natuurlijk mensenwerk. Vandaar dat Silvester Draaijer de nadruk legt op sociale innovatie (hoe werken onderwijzers samen).

Plug voor de leverancier: de vragen worden gemaakt en afgenomen met Remindo.

Sander zijn presentatie is hier terug te vinden.

Ervaringen met gezamenlijke toetsbanken op #T2D2016

Ik bezoek vandaag en morgen de Tweedaagse over Digitaal Toetsen. Surf organiseert het, waarvoor dank, in Eindhoven KennispoortHans Cuypers (TU/e) toont hoe zijn wiskunde vakgroep een itembank heeft opgezet.

De database bestaat uit ongeveer 1000 geparametriseerde vragen (daardoor kunnen vragen soms miljoenen varianten genereren). De items worden gegenereerd en nagekeken door Computer Algebra Software. De vragen zijn als Scorm-packages in toetsafname- of leersystemen te ‘hangen’.

Waarom wilde men een itembank en digitaal toetsen? Ze zochten naar nieuwe vormen van blended onderwijs en manieren om een goede aansluiting bij de moderne student te vinden, zijn voorkennis te verbeteren en deze gelijk te trekken. Tegelijkertijd kan het de werkdruk verlagen door items te delen en makkelijk toegankelijk te maken.

Is het de investering waard:

  • Ja: als er een duidelijk beeld is, de docenten enthousiast zijn, er ruimte is voor innovatie en als er voldoende technische ondersteuning is.
  • Nee: als er slechts kleine experimenten gepland zijn, als projectleden zelf geen onderwijs geven, als men bang is voor verandering en als de techniek dichtgetimmerd is.

De vakgroep Wiskunde sloot vervolgens aan bij een andere verandering: voor Calculus begon men met een nieuw blended onderwijsmodel. Deze bevatte Introductie (college en video), bestudering (boek en digitaal), samenwerking en discussie (tutorgroepen) en tot slot toetsing. Dit voor 2400 studenten organiseren was nogal een uitdaging, daarom hebben ze de aanleg van een itembank gelijk er in meegenomen.

Lessons learned voor het werken met dit blended onderwijsmodel: Er is korter maar intensiever contact, de ingangstoets is een goede indicatie voor slagingskans en feedback op huiswerk wordt gewaardeerd. Het aantal studenten dat in één keer het examen haalde nam toe van 39% naar 65%. Wat veel aandacht kostte was om de verschillende docenten ‘uit te lijnen’. Als je de studenten van 10 docenten op één manier toetst dan vergt dit afstemming op de inhoud van het onderwijs. Lijkt me dat als er hele sterke accentverschillen zijn, dit de standaardisatie van de toets tegenwerkt.

Volgens Hans is samenvattend belangrijk: Heb een duidelijk onderwijsplan, enthousiast team van docenten, een goede overdekking van de stof, vertrouwen in elkaars werk, een goede en flexibele technische infrastructuur en een open houding voor innovatie.

Knap, of typisch voor een wiskundevakgroep, vond ik dat ze ‘engine’ voor dit systeem zelf ontwikkeld hebben, o.a. op basis van Mathematica.

Itembanking, the ultimate battle? op #T2D2016

Ik bezoek vandaag de Tweedaagse over Digitaal Toetsen. Surf organiseert het, waarvoor dank, in Eindhoven Kennispoort. Silvester Draaijer praat over de moeizaamheid waarmee itembanken tot standkomen. Voor meer uitleg wat een itembank kan inhouden, klik hier. Makkelijk gezegd: een bak met gemetadateerde toetsvragen. Silvester stelt:

Itembanken is de grote belofte van digitale toetsing die niet is uitgekomen. De flower-power gedachte dat docenten fijn samenwerken aan toetsen en deze uitwisselen is geen werkelijkheid.

Itembanken zouden ontzettend veel voordelen bieden, maar er spelen allerlei barrières, psychologisch, sociologisch, organisatorisch of financieel. Concreter:

  • Er is een grote afstand tussen de productie van de toetsvragen en de ‘resultaten’ ervan.
  • De ‘opbrengst’ van toetsen met gesloten vragen is niet bijzonder groot.
  • Toetsvragen moeten na afname vrijgegeven worden (HO/WO).
  • Er is vaak wel geld voor de ontwikkeling van itembanken, maar niet voor de exploitatie ervan.
  • De itembank sluit net niet aan bij het specifieke onderwijs van de opleiding die ze nodig heeft (not invented here).
  • Veel oplossingen werden gezocht in de techniek en standaarden (QTI).

Wat werkt wel: wettelijk verplichten om een gedeelde kennisbasis te onderhouden of toetsing bij een externe instantie onderbrengen.

Zijn ideeën omtrent itembanken:

  • Het vraagt om sociale innovatie (hoe werken onderwijzers samen).
  • Het bereiken van de bestuurlijke professional (omdat standaardisatie soms botst met de autonomie op de werkvloer).
  • Het vormen van horizontale beroepsverbanden, over instellingen heen.

Zijn presentatie is hier te vinden.