Dag: 09/12/2016

Een itembank van vijf hogescholen op #T2D2016

Ik bezoek vandaag en morgen de Tweedaagse over Digitaal Toetsen. Surf organiseert het, waarvoor dank, in Eindhoven KennispoortSander Schenk (HR) praat ons bij over de ervaringen met het aanleggen van een itembank voor 5 hogescholen. Even de schaal: 5.492 studenten maakten 66.502 toetsen en beantwoorden 875.576 vragen …

Randvoorwaardelijk stelt Sander

  • Laagdrempelige toegang: De toegevoegde waarde, aangezien een itembank aanleggen nogal wat tijd kost, zit in hergebruik en analyse. Bijvoorbeeld welke vragen wel en niet goed lopen. Dat moet dan wel toegankelijk zijn.
  • Een enigszins doordachte inrichting: je kunt een jaar discussiëren, maar belangrijker is om te beginnen. Hoorde ik net ook al: metadata bijvoorbeeld wordt weinig gebruikt, terwijl je er aan de voorkant uren over kunt praten.
  • Enthousiaste auteurs (hier ook al): Laat voorbeelden zien, dwing niet en laat studenten er om vragen (“Bij docent X krijgen we wel oefenvragen uit de itembank … “).
  • Een goede ondersteuning.

Eigenlijk kom je daarna pas goed aan kwaliteit toe: zijn de vragen inhoudelijk juist, toetstechnisch in orde en hebben ze per stuk feedback? Het zegt denk ik wel iets over de cultuur als docenten in een team elkaar feedback hier op geven en constructief samen de kwaliteit verhogen. De balans tussen streng en soft is soms delicaat: leg je de lat te hoog dan werkt het ontmoedigend en sla je elk initiatief dood met een wijzende vinger, leg je de lat te laag dan krijg je slechte toetsen. Blijft natuurlijk mensenwerk. Vandaar dat Silvester Draaijer de nadruk legt op sociale innovatie (hoe werken onderwijzers samen).

Plug voor de leverancier: de vragen worden gemaakt en afgenomen met Remindo.

Sander zijn presentatie is hier terug te vinden.

Ervaringen met gezamenlijke toetsbanken op #T2D2016

Ik bezoek vandaag en morgen de Tweedaagse over Digitaal Toetsen. Surf organiseert het, waarvoor dank, in Eindhoven KennispoortHans Cuypers (TU/e) toont hoe zijn wiskunde vakgroep een itembank heeft opgezet.

De database bestaat uit ongeveer 1000 geparametriseerde vragen (daardoor kunnen vragen soms miljoenen varianten genereren). De items worden gegenereerd en nagekeken door Computer Algebra Software. De vragen zijn als Scorm-packages in toetsafname- of leersystemen te ‘hangen’.

Waarom wilde men een itembank en digitaal toetsen? Ze zochten naar nieuwe vormen van blended onderwijs en manieren om een goede aansluiting bij de moderne student te vinden, zijn voorkennis te verbeteren en deze gelijk te trekken. Tegelijkertijd kan het de werkdruk verlagen door items te delen en makkelijk toegankelijk te maken.

Is het de investering waard:

  • Ja: als er een duidelijk beeld is, de docenten enthousiast zijn, er ruimte is voor innovatie en als er voldoende technische ondersteuning is.
  • Nee: als er slechts kleine experimenten gepland zijn, als projectleden zelf geen onderwijs geven, als men bang is voor verandering en als de techniek dichtgetimmerd is.

De vakgroep Wiskunde sloot vervolgens aan bij een andere verandering: voor Calculus begon men met een nieuw blended onderwijsmodel. Deze bevatte Introductie (college en video), bestudering (boek en digitaal), samenwerking en discussie (tutorgroepen) en tot slot toetsing. Dit voor 2400 studenten organiseren was nogal een uitdaging, daarom hebben ze de aanleg van een itembank gelijk er in meegenomen.

Lessons learned voor het werken met dit blended onderwijsmodel: Er is korter maar intensiever contact, de ingangstoets is een goede indicatie voor slagingskans en feedback op huiswerk wordt gewaardeerd. Het aantal studenten dat in één keer het examen haalde nam toe van 39% naar 65%. Wat veel aandacht kostte was om de verschillende docenten ‘uit te lijnen’. Als je de studenten van 10 docenten op één manier toetst dan vergt dit afstemming op de inhoud van het onderwijs. Lijkt me dat als er hele sterke accentverschillen zijn, dit de standaardisatie van de toets tegenwerkt.

Volgens Hans is samenvattend belangrijk: Heb een duidelijk onderwijsplan, enthousiast team van docenten, een goede overdekking van de stof, vertrouwen in elkaars werk, een goede en flexibele technische infrastructuur en een open houding voor innovatie.

Knap, of typisch voor een wiskundevakgroep, vond ik dat ze ‘engine’ voor dit systeem zelf ontwikkeld hebben, o.a. op basis van Mathematica.

Itembanking, the ultimate battle? op #T2D2016

Ik bezoek vandaag de Tweedaagse over Digitaal Toetsen. Surf organiseert het, waarvoor dank, in Eindhoven Kennispoort. Silvester Draaijer praat over de moeizaamheid waarmee itembanken tot standkomen. Voor meer uitleg wat een itembank kan inhouden, klik hier. Makkelijk gezegd: een bak met gemetadateerde toetsvragen. Silvester stelt:

Itembanken is de grote belofte van digitale toetsing die niet is uitgekomen. De flower-power gedachte dat docenten fijn samenwerken aan toetsen en deze uitwisselen is geen werkelijkheid.

Itembanken zouden ontzettend veel voordelen bieden, maar er spelen allerlei barrières, psychologisch, sociologisch, organisatorisch of financieel. Concreter:

  • Er is een grote afstand tussen de productie van de toetsvragen en de ‘resultaten’ ervan.
  • De ‘opbrengst’ van toetsen met gesloten vragen is niet bijzonder groot.
  • Toetsvragen moeten na afname vrijgegeven worden (HO/WO).
  • Er is vaak wel geld voor de ontwikkeling van itembanken, maar niet voor de exploitatie ervan.
  • De itembank sluit net niet aan bij het specifieke onderwijs van de opleiding die ze nodig heeft (not invented here).
  • Veel oplossingen werden gezocht in de techniek en standaarden (QTI).

Wat werkt wel: wettelijk verplichten om een gedeelde kennisbasis te onderhouden of toetsing bij een externe instantie onderbrengen.

Zijn ideeën omtrent itembanken:

  • Het vraagt om sociale innovatie (hoe werken onderwijzers samen).
  • Het bereiken van de bestuurlijke professional (omdat standaardisatie soms botst met de autonomie op de werkvloer).
  • Het vormen van horizontale beroepsverbanden, over instellingen heen.

Zijn presentatie is hier te vinden.

Is jouw instelling klaar voor digitaal toetsen? Maturityscan op #T2D2016

Michiel van Geloven presenteert de beta-versie van de volwassenheidsmeter op het gebied van digitaal toetsen. Over het algemeen vind ik maturity-modellen praktisch omdat ze veel aanknopingspunten bieden om geleidelijk te groeien. Als een onderwerp complex en breed is om aan te pakken, dan werkt het wel eens ontmoedigend, zo’n gevoel dat je overladen wordt. Enfin, nu eentje voor digitaal toetsen dus.

Deze raakt 5 concrete gebieden en door hier systematisch naar te kijken krijg je inzicht in de huidige situatie (0-meting) en je zou kunnen bepalen waar je over 3 jaar wilt staan. ‘Basis-op-orde’ is dan het onderste niveau. Die zou je meestal direct willen bereiken natuurlijk. De 5 gebieden met hun indicatoren (deels eigen interpretatie):

  • Beleid en Visie: Is er zichtbaar leiderschap? Is er een gedragen visie op digitaal toetsen? Is er een (digitaal)toetsbeleid? Is er een heldere business case?
  • Organisatie: Is de tentamenorganisatie op orde? Loopt de logistiek, planning en roostering soepel? Zijn de beheersprocessen van de ICT afdeling voor dit onderwerp efficiënt? Is de afstemming van onderwijs en ICT volwassen? Voer je regie over je leveranciers van toetsen en toetssoftware? Hoe goed kun je met ze partneren? Denken ze mee?
  • Deskundigheid: Op managementniveau (motiverend, proactief of alleen risicomijdend reactief), kent de portefeuillehouder voldoende zijn onderdelen? Op docentenniveau (zijn ze toetsdeskundig en bewust van de veiligheidsaspecten en gaan ze daar verantwoordelijk mee om?). Op het niveau van de tentamenorganisatie en ondersteunende diensten etc.
  • Voorzieningen: Is de toetssoftware gekozen, ingekocht, geïmplementeerd? Zijn de faciliteiten voor toetsafname passend? Is de toetsveiligheid geborgd? Voldoet de archivering?
  • Implementatiestrategie: wat zijn de doelstellingen? Wat is de stijl en vorm van aansturing? Welke vorm van projectorganisatie kies je? Hoe goed is het plan van aanpak? Welk budget is er?

Per gebied vul je de maturity-waarde in, de scores worden bepaald door gesprekken met betrokkenen of door metingen, als indicatoren te kwantificeren zijn. Een opper-maturity-scan heeft doorgaans niveaus zoals ‘Greenfield’, ‘Ad-Hoc’, ‘Managed’ en ‘Optimized’. In deze variant werkt het met percentages waarbij 100% de gewenste situatie zou zijn.

We gingen daarna er zelf mee aan de slag. Door het ‘naar eer en geweten’ in te vullen. Volwassenheid meten is overigens geen exacte wetenschap, maar de dialoog er om heen kan heel waardevol zijn. Vooral een collectief beeld krijgen helpt later bij implementaties lijkt me. Ik zie het daarom als een praktisch hulpmiddel om met stakeholders het gesprek aan te gaan. Uit de zaal kwamen nog wat suggesties, o.a. om het dieper uit te werken, het is ook niet voor niets beta. Per indicator zou er een soort ‘bewijslast’ gedefinieerd kunnen worden, waaruit concreet blijkt dat je een bepaald niveau hebt.

De scan is hier terug te vinden.

maturity

De presentatie is hier terug te vinden.

Beleid voor digitaal toetsen op #T2D2016

Ik bezoek vandaag de Tweedaagse over Digitaal Toetsen. Surf organiseert het, waarvoor dank, in Eindhoven Kennispoort. Annette Peet opent dag twee met het onderdeel beleid. Veel instellingen worstelen er mee, als je links ergens aan trekt, komt er rechts een hele kluwen gedoe mee. Software? Grote toetszaal? Summatief of ook formatief? BYOD? Weet je wat het kost? Mag dat wel? Keurt de examencommissie dit wel goed? etc…. Dat vraagt dus om beleid.

Surf startte daarom een denktank om scholen hier handreikingen voor te bieden. Deze is samengevat in een Stappenplan Digitaal Toetsbeleid. De uitgebreidere versie “Beleid Digitaal Toetsen” is hier te vinden.

surf-2016-handreikingbeleid-voor-digitaal-toetsen_4b