Tag Archives: Examinering

Netwerk Examinering en Digitalisering

Ik ben vandaag online te gast op de 44ste en laatste saMBO-ICT Conferentie. ROC van Amsterdam is gastheer. In de vierde workshopronde vertellen Nelleke Lafeber, Ilse Hofman (MBO Raad) Martijn Bijleveld, Rob Vos (saMBO-ICT) over “Het netwerk examinering en digitalisering (NED)”

De aanleiding voor het ontstaan van netwerk was het ‘rondzweven’ van allerlei vragen binnen de context van examinering. Deze gaan dan over beveiliging, audits, inkoopovereenkomsten, wet- en regelgeving etc, maar dan steeds met een digitale component.

De situatie in Nederland is grofweg dat 60 ROC/AOC instellingen met 20 examenleveranciers en stichtingen te maken hebben die 10 verschillende toetsbank- en afnamesystemen vergen. Achterkant bierviltje niveau hoor maar breng hier maar eens eenduidigheid in. Wat het wel illustreert is de verspilling in dubbel werk, collectief.

Vanuit mijn eigen werk merk ik ook dubbel werk als individu, omdat we al die afname-systemen en toetsbanken steeds per stuk moeten beoordelen op beveiliging en technische eisen, per stuk moeten inkopen en implementeren, per stuk moeten koppelen etc. Het gekke is dat alle ROC’s natuurlijk min of meer zelf aan het roer staan van deze stichtingen. Waarschijnlijk krijgen we dus het huiswerk deels zelf terug.

Het netwerk met de 4 werkgroepen ziet er schematisch zo uit:

Het doel van het netwerk is dus om samen concreet met vraagstukken aan de slag te gaan, zoals een goed netwerk betaamd.

Disclaimer: ik ben lid van het NED, zit in werkgroep 3 (informatiemanagement en architectuur) en erg blij met dit initiatief omdat collectief optrekken erg in mijn aard ligt.

Netwerk Informatiemanagers MBO: Examinering

Ik ben vandaag bij de netwerkbijeenkomst Informatiemanagers en het thema van vandaag is Examinering. Eerder bezocht ik de twee dagen over Digitaal Toetsen dus ik was benieuwd hoe we dit thema verder kunnen uitwerken.

Jan Bartling opent met het onderdeel Procesarchitectuur Examinering en het Referentiekader voor PvE voor Examineringsprocessen (2014). Zijn conclusie: sinds 2013 is er niet heel veel verandert sinds het rapport dat Berenschot maakte.

Hij vervolgt met Facet, nu voor de afname Taal en Rekenen. De vraag is echter of het niet breder ingezet kan worden voor meer vakken. Hiervoor is samengewerkt met de examenleveranciers van ExSamen. Echter, zit je dan de markt een beetje te verstoren of kan dat überhaupt wel want Facet is van de overheid? Blinklane heeft dit onderzocht en beadviseerd. Het rapport is hier te vinden. Het advies samengevat:

  1. Maak geen wijzigingen aan de ontwikkelagenda van Facet tot 2018.
  2. Ontwikkel een breed gedragen visie op digitaal toetsen.
  3. Start met het ontwikkelen van een backlog voor het mbo.

Rianne Slöetjes (Procesregisseur Digitaal Toetsen) vervolgd met de ervaringen van de VU met Digitaal Tentamineren. De uitdaging zat in het uniformeren van de processen voor Digitaal Toetsen, de software en PC-Zalen en de ondersteuning erop. Hun motivatie om te digitaliseren:

  • Efficiëntie: samen toetsvragen maken, reviewen en het voor bereiden vanuit een itembank. Ook organisatorisch moesten zaken vlotter.
  • De mogelijkheid voor multimedia in examens.
  • Ze hopen meer data te kunnen genereren over het leerproces (learning analytics).

Tipje van de volwassenheid-sluier: behalve hun procesarchitectuur beschreven en gemodelleerd is deze aangevuld met de andere lagen á la Archimate (functionaliteiten/applicatie/infrastructuur) met BizzDesign. Kan natuurlijk ook met Mavim. 😉

Enkele cijfers om er gevoel bij te krijgen: de zaal voor afname heeft nu 385 werkplekken die ze gaan uitbreiden naar 600, daarvoor hebben ze 2,7 FTE ondersteuners.

Ze tipt ook de nieuwe versie van het Werkboek Veilig Toetsen!

Rien Bakker van ExSamen vervolgt met een uitleg wat het collectief doet:
“ExSamen is de vereniging van samenwerkende examenleveranciers. Als samenwerkende examenleveranciers inspireren en informeren we elkaar en delen we kennis en zorgen we voor onderlinge afstemming. We werken gezamenlijk aan kwaliteit om onze gezamenlijke passie uit te dragen: het werken aan goede examens voor iedere mbo-opleiding.”

Op zich een goed initiatief lijkt me, omdat de diversiteit qua systemen en eisen vanuit leveranciers ook verwarrend is voor opleidingen. Andersom, hand in eigen boezem, alle onderwijsinstellingen stellen ook weer eisen die super divers zijn. Daar kunnen leveranciers onmogelijk allemaal aan voldoen. Dus standaardisering in randvoorwaarden, instrumentkeuze, ontsluiting en koppelingen naar studentadministraties zou fijn zijn. Maar krijg op dit terrein examenleveranciers en tientallen onderwijsinstellingen maar eens op één lijn ….

Wat ik nou gek vind is dat het theoretische grondwerk al lang verzet is: standaarden voor examencontent, metadata voor repositories en de uitwisseling van de examenresultaten, het is er allemaal. Het is dan onhandig als een leverancier hier geen gebruik van maakt en behalve de toets(banken) ook maar tegelijk het systeem voor afname aanlevert. Als elke branche van beroepen dat gaat doen dan hebben we als instelling een koppelhel (tien keer identiteiten en resultatenstroom koppelen). Ik zie dus het liefst toetsinhoud gescheiden van het systeem dat de toets afneemt.
Waarschijnlijk ‘zit’ een toetsleverancier het liefst op zijn toetsen omdat je anders niet weet of ze elders een eigen leven gaan leiden? Dikke muur om je eigen toetsen staat een beetje haaks op standaarden voor uitwisseling ervan? Zou het anders mogelijk zijn om net als bij de educatieve contentketen de inhoud wel bij de ‘uitgever’ van de toets te laten en tegelijkertijd toegang te regelen?

Michiel van Geloven vervolgt met de nieuwe versie van het werkboek Veilig Toetsen. Op de vraag: “Wie gaat er over toetsveiligheid?” komen verschillende reacties. Michiel stelt dat CVB te flauw is, want die zijn voor alles verantwoordelijk. Ook de centrale examencommissie gaat er niet over want die moet toezicht kunnen houden. EN toezicht houden EN veiligheid organiseren is een verstrengeling van belangen. Daarnaast is het complex vanwege alle betrokkenen: onderwijsmanagers, examencommissies, surveillanten, toetsbureaus, security officers, etc. Zijn pleidooi: stel een ketenregisseur aan en geef deze mandaat. Meer in het werkboek natuurlijk, waarvoor dank!

Een itembank van vijf hogescholen op #T2D2016

Ik bezoek vandaag en morgen de Tweedaagse over Digitaal Toetsen. Surf organiseert het, waarvoor dank, in Eindhoven KennispoortSander Schenk (HR) praat ons bij over de ervaringen met het aanleggen van een itembank voor 5 hogescholen. Even de schaal: 5.492 studenten maakten 66.502 toetsen en beantwoorden 875.576 vragen …

Randvoorwaardelijk stelt Sander

  • Laagdrempelige toegang: De toegevoegde waarde, aangezien een itembank aanleggen nogal wat tijd kost, zit in hergebruik en analyse. Bijvoorbeeld welke vragen wel en niet goed lopen. Dat moet dan wel toegankelijk zijn.
  • Een enigszins doordachte inrichting: je kunt een jaar discussiëren, maar belangrijker is om te beginnen. Hoorde ik net ook al: metadata bijvoorbeeld wordt weinig gebruikt, terwijl je er aan de voorkant uren over kunt praten.
  • Enthousiaste auteurs (hier ook al): Laat voorbeelden zien, dwing niet en laat studenten er om vragen (“Bij docent X krijgen we wel oefenvragen uit de itembank … “).
  • Een goede ondersteuning.

Eigenlijk kom je daarna pas goed aan kwaliteit toe: zijn de vragen inhoudelijk juist, toetstechnisch in orde en hebben ze per stuk feedback? Het zegt denk ik wel iets over de cultuur als docenten in een team elkaar feedback hier op geven en constructief samen de kwaliteit verhogen. De balans tussen streng en soft is soms delicaat: leg je de lat te hoog dan werkt het ontmoedigend en sla je elk initiatief dood met een wijzende vinger, leg je de lat te laag dan krijg je slechte toetsen. Blijft natuurlijk mensenwerk. Vandaar dat Silvester Draaijer de nadruk legt op sociale innovatie (hoe werken onderwijzers samen).

Plug voor de leverancier: de vragen worden gemaakt en afgenomen met Remindo.

Sander zijn presentatie is hier terug te vinden.

Ervaringen met gezamenlijke toetsbanken op #T2D2016

Ik bezoek vandaag en morgen de Tweedaagse over Digitaal Toetsen. Surf organiseert het, waarvoor dank, in Eindhoven KennispoortHans Cuypers (TU/e) toont hoe zijn wiskunde vakgroep een itembank heeft opgezet.

De database bestaat uit ongeveer 1000 geparametriseerde vragen (daardoor kunnen vragen soms miljoenen varianten genereren). De items worden gegenereerd en nagekeken door Computer Algebra Software. De vragen zijn als Scorm-packages in toetsafname- of leersystemen te ‘hangen’.

Waarom wilde men een itembank en digitaal toetsen? Ze zochten naar nieuwe vormen van blended onderwijs en manieren om een goede aansluiting bij de moderne student te vinden, zijn voorkennis te verbeteren en deze gelijk te trekken. Tegelijkertijd kan het de werkdruk verlagen door items te delen en makkelijk toegankelijk te maken.

Is het de investering waard:

  • Ja: als er een duidelijk beeld is, de docenten enthousiast zijn, er ruimte is voor innovatie en als er voldoende technische ondersteuning is.
  • Nee: als er slechts kleine experimenten gepland zijn, als projectleden zelf geen onderwijs geven, als men bang is voor verandering en als de techniek dichtgetimmerd is.

De vakgroep Wiskunde sloot vervolgens aan bij een andere verandering: voor Calculus begon men met een nieuw blended onderwijsmodel. Deze bevatte Introductie (college en video), bestudering (boek en digitaal), samenwerking en discussie (tutorgroepen) en tot slot toetsing. Dit voor 2400 studenten organiseren was nogal een uitdaging, daarom hebben ze de aanleg van een itembank gelijk er in meegenomen.

Lessons learned voor het werken met dit blended onderwijsmodel: Er is korter maar intensiever contact, de ingangstoets is een goede indicatie voor slagingskans en feedback op huiswerk wordt gewaardeerd. Het aantal studenten dat in één keer het examen haalde nam toe van 39% naar 65%. Wat veel aandacht kostte was om de verschillende docenten ‘uit te lijnen’. Als je de studenten van 10 docenten op één manier toetst dan vergt dit afstemming op de inhoud van het onderwijs. Lijkt me dat als er hele sterke accentverschillen zijn, dit de standaardisatie van de toets tegenwerkt.

Volgens Hans is samenvattend belangrijk: Heb een duidelijk onderwijsplan, enthousiast team van docenten, een goede overdekking van de stof, vertrouwen in elkaars werk, een goede en flexibele technische infrastructuur en een open houding voor innovatie.

Knap, of typisch voor een wiskundevakgroep, vond ik dat ze ‘engine’ voor dit systeem zelf ontwikkeld hebben, o.a. op basis van Mathematica.

Itembanking, the ultimate battle? op #T2D2016

Ik bezoek vandaag de Tweedaagse over Digitaal Toetsen. Surf organiseert het, waarvoor dank, in Eindhoven Kennispoort. Silvester Draaijer praat over de moeizaamheid waarmee itembanken tot standkomen. Voor meer uitleg wat een itembank kan inhouden, klik hier. Makkelijk gezegd: een bak met gemetadateerde toetsvragen. Silvester stelt:

Itembanken is de grote belofte van digitale toetsing die niet is uitgekomen. De flower-power gedachte dat docenten fijn samenwerken aan toetsen en deze uitwisselen is geen werkelijkheid.

Itembanken zouden ontzettend veel voordelen bieden, maar er spelen allerlei barrières, psychologisch, sociologisch, organisatorisch of financieel. Concreter:

  • Er is een grote afstand tussen de productie van de toetsvragen en de ‘resultaten’ ervan.
  • De ‘opbrengst’ van toetsen met gesloten vragen is niet bijzonder groot.
  • Toetsvragen moeten na afname vrijgegeven worden (HO/WO).
  • Er is vaak wel geld voor de ontwikkeling van itembanken, maar niet voor de exploitatie ervan.
  • De itembank sluit net niet aan bij het specifieke onderwijs van de opleiding die ze nodig heeft (not invented here).
  • Veel oplossingen werden gezocht in de techniek en standaarden (QTI).

Wat werkt wel: wettelijk verplichten om een gedeelde kennisbasis te onderhouden of toetsing bij een externe instantie onderbrengen.

Zijn ideeën omtrent itembanken:

  • Het vraagt om sociale innovatie (hoe werken onderwijzers samen).
  • Het bereiken van de bestuurlijke professional (omdat standaardisatie soms botst met de autonomie op de werkvloer).
  • Het vormen van horizontale beroepsverbanden, over instellingen heen.

Zijn presentatie is hier te vinden.

Is jouw instelling klaar voor digitaal toetsen? Maturityscan op #T2D2016

Michiel van Geloven presenteert de beta-versie van de volwassenheidsmeter op het gebied van digitaal toetsen. Over het algemeen vind ik maturity-modellen praktisch omdat ze veel aanknopingspunten bieden om geleidelijk te groeien. Als een onderwerp complex en breed is om aan te pakken, dan werkt het wel eens ontmoedigend, zo’n gevoel dat je overladen wordt. Enfin, nu eentje voor digitaal toetsen dus.

Deze raakt 5 concrete gebieden en door hier systematisch naar te kijken krijg je inzicht in de huidige situatie (0-meting) en je zou kunnen bepalen waar je over 3 jaar wilt staan. ‘Basis-op-orde’ is dan het onderste niveau. Die zou je meestal direct willen bereiken natuurlijk. De 5 gebieden met hun indicatoren (deels eigen interpretatie):

  • Beleid en Visie: Is er zichtbaar leiderschap? Is er een gedragen visie op digitaal toetsen? Is er een (digitaal)toetsbeleid? Is er een heldere business case?
  • Organisatie: Is de tentamenorganisatie op orde? Loopt de logistiek, planning en roostering soepel? Zijn de beheersprocessen van de ICT afdeling voor dit onderwerp efficiënt? Is de afstemming van onderwijs en ICT volwassen? Voer je regie over je leveranciers van toetsen en toetssoftware? Hoe goed kun je met ze partneren? Denken ze mee?
  • Deskundigheid: Op managementniveau (motiverend, proactief of alleen risicomijdend reactief), kent de portefeuillehouder voldoende zijn onderdelen? Op docentenniveau (zijn ze toetsdeskundig en bewust van de veiligheidsaspecten en gaan ze daar verantwoordelijk mee om?). Op het niveau van de tentamenorganisatie en ondersteunende diensten etc.
  • Voorzieningen: Is de toetssoftware gekozen, ingekocht, geïmplementeerd? Zijn de faciliteiten voor toetsafname passend? Is de toetsveiligheid geborgd? Voldoet de archivering?
  • Implementatiestrategie: wat zijn de doelstellingen? Wat is de stijl en vorm van aansturing? Welke vorm van projectorganisatie kies je? Hoe goed is het plan van aanpak? Welk budget is er?

Per gebied vul je de maturity-waarde in, de scores worden bepaald door gesprekken met betrokkenen of door metingen, als indicatoren te kwantificeren zijn. Een opper-maturity-scan heeft doorgaans niveaus zoals ‘Greenfield’, ‘Ad-Hoc’, ‘Managed’ en ‘Optimized’. In deze variant werkt het met percentages waarbij 100% de gewenste situatie zou zijn.

We gingen daarna er zelf mee aan de slag. Door het ‘naar eer en geweten’ in te vullen. Volwassenheid meten is overigens geen exacte wetenschap, maar de dialoog er om heen kan heel waardevol zijn. Vooral een collectief beeld krijgen helpt later bij implementaties lijkt me. Ik zie het daarom als een praktisch hulpmiddel om met stakeholders het gesprek aan te gaan. Uit de zaal kwamen nog wat suggesties, o.a. om het dieper uit te werken, het is ook niet voor niets beta. Per indicator zou er een soort ‘bewijslast’ gedefinieerd kunnen worden, waaruit concreet blijkt dat je een bepaald niveau hebt.

De scan is hier terug te vinden.

maturity

De presentatie is hier terug te vinden.

Beleid voor digitaal toetsen op #T2D2016

Ik bezoek vandaag de Tweedaagse over Digitaal Toetsen. Surf organiseert het, waarvoor dank, in Eindhoven Kennispoort. Annette Peet opent dag twee met het onderdeel beleid. Veel instellingen worstelen er mee, als je links ergens aan trekt, komt er rechts een hele kluwen gedoe mee. Software? Grote toetszaal? Summatief of ook formatief? BYOD? Weet je wat het kost? Mag dat wel? Keurt de examencommissie dit wel goed? etc…. Dat vraagt dus om beleid.

Surf startte daarom een denktank om scholen hier handreikingen voor te bieden. Deze is samengevat in een Stappenplan Digitaal Toetsbeleid. De uitgebreidere versie “Beleid Digitaal Toetsen” is hier te vinden.

surf-2016-handreikingbeleid-voor-digitaal-toetsen_4b

 

 

Werkboek Veilig Toetsen op #t2d2016

Ik bezoek vandaag en morgen de Tweedaagse over Digitaal Toetsen. Surf organiseert het, waarvoor dank, in Eindhoven Kennispoort. Jenny de Werk introduceert het Werkboek Veilig Toetsen. Reden voor dit werkboek is de steeds grotere aandacht voor toetsveiligheid en de complexiteit ervan. Overigens de belangrijkste vraag blijft: Wie gaat er over toetsveiligheid?

Als uitgangspunt voor veilig toetsen geldt in ieder geval dat je ‘baseline informatiebeveiliging’ op orde moet zijn (zie MBO Normenkader).

Grofweg bestaat de ‘methodiek’ uit 5 stappen:

  • Benoem opdrachtgever en -nemer.
  • Analyser je toetsbeleid, proces en informatiebeveiliging.
  • Voer een gap-analyse uit.
  • Maak en voer een actieplan uit.
  • Laat tot slot een assesment uitvoeren.

surf-2016-werkboek-veilig-toetsen-webversie_13b

De presentatie is hier te downloaden.

Hans Frederik van de Hogeschool van Amsterdam vervolgt met zijn ervaringen met het werkboek Veilig Toetsen. Intrinsiek is hij voorstander van digitaal toetsen, alhoewel de problematiek wordt onderschat volgens hem. Het uit de grond stampen van grote centrale toetszalen gaat volgend hem in tegen alle huidige ontwikkelingen. Een greep uit z’n verhaal:

  • Examencommissies: zo mogen veel zeggen maar gaan uiteindelijk ‘nergens’ over.
  • Het CVB stimuleert digitalisering, maar de opleidingsmanager bepaalt zijn eigen ambitieniveau.

Overigens ben ik zelf niet principieel tegen grote toetszalen, maar ergens voelt het vreemd als je je onderwijs vormgeeft in individuele trajecten met kleine groepen en flexibiliteit zoekt en tegelijkertijd een ‘toetsfabriek’ uit de grond stampt. Qua kosten kan het denk ik soms niet anders.

Ludo van Meeuwen van TU/e herhaalt zijn motto: “Beveiliging is voorkomen, detecteren en reageren”. Hij toont de RACI tabel van hun examenproces. Het beantwoord dan wie er (eind)verantwoordelijk is, geraadpleegd en geïnformeerd wordt. Voorbeelden hiervan zijn in de Surf publicatie terug te vinden op bladzijde 38. Ook Ludo hamert op opdrachtgeverschap. Overigens gebruikten ze de gelegenheid om het analoge proces ook kritisch te bekijken op veiligheid. Het verplaatsen, vermenigvuldigen en overdragen van papier kent ook veel beveiligingsaspecten.

Monica Buijinck van Saxion vertelt over haar ervaringen met het project “Beveiligen van Toetsen”. Wat ik daar uit meeneem is dat er iemand moet zijn met het mandaat om in de hele keten zaken te controleren en mensen aan te spreken. Met (digitaal) toetsen loop je zo’n keten van examencommissies, ondersteunende diensten en ICT in, dat iemand een algeheel overzicht en regie moet hebben. In de ‘awareness’ campagne hebben ze overigens leuke filmpjes gemaakt.

Haar leerpunten:

  • Vertaal het werkboek naar je eigen situatie!
  • Zoek balans tussen veiligheid en tijdsinvestering!
  • Zoek de grootste risico’s en pak die aan!

Chromebooks voor Digitaal Toetsen op #T2D2016

Ik bezoek vandaag en morgen de Tweedaagse over Digitaal Toetsen. Surf organiseert het, waarvoor dank, in Eindhoven KennispoortGerdine Slot praat ons bij over 20 maanden ervaring met Chromebooks op de UU.

Even wat getallen om de schaal te illustreren: 24.000 individuele toetsafnames, 198 digitale toetsen, 480 centrale en 80 decentrale toetsplekken. De keus voor Chromebooks heeft vooral met accuduur (13 uur) en kosten te maken.

Ze hebben de volgende veiligheidsmaatregelen: een separaat wifi-netwerk, gebruik van “Chromebook Management Console” en een zelf ontwikkelde kiosk app voor beveiligde afname. De ruimte met de ‘karren’ (20x) is ook beveiligd.

Organisatorisch: De aanvraag en roostering sluit gewoon aan bij het reguliere roosterproces. Ze hebben een e-surveillantenpool van circa 25 studenten. Zij helpen bij op- en afbouw en assisteren bij technische problemen.

Lessons Learned

  • Van project naar lijnorganisatie is een uitdaging.
  • Geef aandacht aan lifecyle van Chromebooks. Na anderhalf jaar begaven ongeveer gelijktijdig 50 accu’s het. Dus ze worden nu proactief vervangen. Afschrijvingstermijn is nu ingekort.
  • De inzet van een e-surveillantenpool plannen en aansturen is veel werk, maar ontkom je bijna niet aan.
  • Ze willen nog voorzieningen doorontwikkelen voor blinden/slechtzienden en verder het aantal toetsplekken opschalen.

Overigens, goes without saying, Chromebooks werkt alleen voor webbased toetsafnames, niet voor andere toetssoftware.

Kosten

Wat kengetallen, gerekend per device: aanschaf Chromebook €280, €23 voor de management console, opslag €45. Dit schrijft af in 3 jaar.

De presentatie hier te vinden.

Open vragen sessie op #T2D2016

Ik bezoek vandaag en morgen de Tweedaagse over Digitaal Toetsen. Surf organiseert het, waarvoor dank, in Eindhoven Kennispoort. Er was apart ruimte voor vragen:

  • Wie is verantwoordelijk voor Digitaal Toetsen? Grofweg is steeds de IT afdeling verantwoordelijk voor de ondersteuning, maar anderen natuurlijk voor de inhoud. Lijkt me oud verhaal: IT kan alleen goed ondersteunen als andere stakeholders precies weten wat ze willen.
  • Zijn er ook oplossingen die werken met VDI in plaats van USB? Tot nu toe weinig, wel op instellings-PC’s maar niet in BYOD.
  • Kunnen er tablets gebruikt worden? Android en iOS doorgaands niet, Surface Pro met Windows en USB wel.
  • Kun je lock-down browsers gebruiken? Daar zijn wisselende ervaringen mee. Daarnaast is een lock-down browser alhoewel goed, nooit alleen voldoende.
  • Zijn er initiatieven om toetszalen in verbouwingen mee te nemen? Of juist het tegenovergestelde? Het inrichten van grote zalen met PC’s voor piektijden druist eigenlijk in tegen de ontwikkelingen met BYOD die zijn ingezet. Vaak stuurt men juist op een afname van het aantal PC’s.