Category Archives: Conferentie

Kick Off van #kdo365

Ik ben vandaag te gast bij Microsoft voor de Kennisdeling Office365 zoals saMBO-ICT deze organiseert. Hans Bos is Microsoft ambassadeur voor Nederland en opent met een verhaal over de technologische ontwikkelingen en maatschappelijke gevolgen.

Zijn definitie van technologie is “Alles dat is uitgevonden nadat je bent geboren.”, aangezien de rest je als vanzelfsprekend aanneemt. Als voorbeeld noemt hij assistenten zoals Siri en Cortana. Zelf denkt hij “hoe werkt dat, hoe weet het dit van me, hoe kan dat etc.” … zijn dochters nemen gewoon aan dat het werkt en eindigen het gesprek met de virtuele assistent met “Dank je wel …”

Vervolgens vraagt Hans zich net als Charlie Chaplin af of technologie wel de mensheid ten goede komt. Racen we met of tegen de machine? Hij verwijst naar onderzoek hierover [pdf] met de conclusie:

Technologie vernietigt inderdaad beroepen, terwijl het netto effect op werk positief is.
De verdwijning van beroepen wordt gecompenseerd door de toegenomen vraag naar producten en diensten.
De beroepen die verdwijnen zitten juist op het middenkader niveau, wat niet intuïtief lijkt. Lager niveau beroepen lijken nu eenmaal makkelijker te automatiseren.

Hans sluit af met het motto van Microsoft “Empower every person to achieve more …” en verbindt deze handig met het doel van economische groei: de kwaliteit van het leven verhogen en ecologische duurzaamheid. 😉

De strijd om de identiteiten

Vandaag was ik bij de Netwerkbijeenkomst MBO Informatiemanagers. Jan Bartling doet deel 2. Deel 1 is hier te vinden. Hij opent met 5 problemen … en nou niet opperen dat ‘t uitdagingen zijn ja. 😉

De sleutelbos: je bent bekend in verschillende domeinen: school, sociaal, werk, overheid, etc. Moet dat allemaal ontsloten worden met één sleutel?
Natuurlijke personen: systemen gaan er vanuit dat je een natuurlijk persoon bent. Wellicht heb je een rol, maar het is niet de rol die inlogt. Zodat je ‘namens’ een bedrijf of organisatie iets uitvoert zonder dat het uitmaakt wie dat was. Voor de ontvanger van de dienst althans.
Sterke authenticatie: gebruiken we dat bij alle processen, wanneer hoge of lage ‘mate van vertrouwen’? Wat worden de kosten als we ‘per tik’ gaan afrekenen?
Meenemen tussen organisaties: een leerling die verandert van opleiding A bij school X naar opleiding B bij school Y. Wat gaat er mee? Of juist niet en het ‘recht om vergeten te worden’?
Internationaal: Hoe kunnen we omgaan met buitenlandse studenten, vluchtelingen, BPV in het buitenland en docent uitwisseling?

Vervolgens hebben we in groepen gekeken wat we op deze terreinen al doen, de knelpunten die we zien en wat er aan gedaan zou moeten worden.

IAA: Strijd om de identiteit

Vandaag was ik bij de Netwerkbijeenkomst MBO Informatiemanagers. Het thema is “Identiteiten en IAA”. Om even op gang te komen de definities:

Identificatie – Wie je bent – “Ik ben Henk de Boer”.
Authenticatie – Aantonen dat je bent wie je zegt – Kan ik aantonen met m’n rijbewijs.
Autorisatie – Toegang tot datgene waar je recht op hebt – Dus kan ik een auto huren.

IAA

Roel Rexwinkel opent met de vraag “De Digitale Sleutelbos” en hoe houden we deze zo klein mogelijk? Technisch kan dit door de zogenaamde “Federatie” waarmee anderen aansluiten op één systeem met je accountgegevens. De complexiteit wordt hoger als je rekening moet houden met privacy en extra authenticatie naast wachtwoord, zoals SMS etc. Voorbeelden:

DigiD: Tussen overheid/DUO en studielink voor HO/WO. Dit wordt gebruikt in het proces van inschrijven, bekostigen en diplomeren.
SurfConext: inloggen op ELO, digitaal lesmateriaal en andere diensten (nu zo’n 140 identiteiten-providers en 450 service-providers).
Entree: de Kennisnet-federatie, meer in gebruik bij VO/MBO.

Ondertussen is het IAA veld sterk in beweging:

DigiD (werkt vanuit een natuurlijk persoon) versus het ID van de instelling/KVK (eHerkenning) of van de banken (iDIN).
Wetgeving zoals GDI, AVG en eIDAS.

H.P. Köhler vervolgt met het onderdeel “Leermiddelen”, in dit verband logisch omdat het goed koppelen van identiteiten van studenten randvoorwaardelijk is voor makkelijke toegang tot lesmateriaal. Privacy en beveiliging zijn hier hot natuurlijk, helemaal als je wilt differentiëren tussen leerlingen. Daarnaast moet alles ‘het gewoon doen’ op ontelbare netwerken, devices en instellingen. Er zijn 2 belangrijke ketens:

Leermiddelen maken, verkopen, distribueren en uitleveren. Grotendeels commerciële wereld dus.
Leermiddelen samenstellen, plannen, gebruiken en verwerken. Grotendeels de wereld van het onderwijs zelf dus.

Om nou niet ongebreideld alles uit de onderwijs-wereld warm over te dragen aan de commerciële wereld (mijn woorden) is er een zogenaamde nummervoorziening bedacht. Zodat niet alles van de leerling overgedragen wordt maar een minimale set gegevens. Overigens best complex als meerdere leveranciers (uitgeverijen) samen één uitlevering verzorgen aan een leerling.

Aanvullend op wetgeving:

eIDAS: een europese verordering met als doel meer vertrouwen in elektronische transacties, een gemeenschappelijk kader en toezicht erop. Praktische toepassing is bijvoorbeeld die van het ‘zetten’ van digitale handtekeningen.
GDI: de Nederlandse invulling van eIDAS, waarvoor een internetconsultatie loopt. Het wordt in beginsel verplicht voor alle bestuursorganen, waarbij eerst het BSN domein aangehaakt wordt en die waarbij de burger te maken heeft met publieke diensten.

Overigens zijn de initiatieven, afspraken, wetten, regels en systemen voor publieke diensten, private diensten, werken vanuit bedrijven en vanuit de burger weer verschillend. Vandaar dat we met z’n allen veel expertise uitwisselen 😉

Een itembank van vijf hogescholen op #T2D2016

Ik bezoek vandaag en morgen de Tweedaagse over Digitaal Toetsen. Surf organiseert het, waarvoor dank, in Eindhoven Kennispoort. Sander Schenk (HR) praat ons bij over de ervaringen met het aanleggen van een itembank voor 5 hogescholen. Even de schaal: 5.492 studenten maakten 66.502 toetsen en beantwoorden 875.576 vragen …

Randvoorwaardelijk stelt Sander

Laagdrempelige toegang: De toegevoegde waarde, aangezien een itembank aanleggen nogal wat tijd kost, zit in hergebruik en analyse. Bijvoorbeeld welke vragen wel en niet goed lopen. Dat moet dan wel toegankelijk zijn.
Een enigszins doordachte inrichting: je kunt een jaar discussiëren, maar belangrijker is om te beginnen. Hoorde ik net ook al: metadata bijvoorbeeld wordt weinig gebruikt, terwijl je er aan de voorkant uren over kunt praten.
Enthousiaste auteurs (hier ook al): Laat voorbeelden zien, dwing niet en laat studenten er om vragen (“Bij docent X krijgen we wel oefenvragen uit de itembank … “).
Een goede ondersteuning.

Eigenlijk kom je daarna pas goed aan kwaliteit toe: zijn de vragen inhoudelijk juist, toetstechnisch in orde en hebben ze per stuk feedback? Het zegt denk ik wel iets over de cultuur als docenten in een team elkaar feedback hier op geven en constructief samen de kwaliteit verhogen. De balans tussen streng en soft is soms delicaat: leg je de lat te hoog dan werkt het ontmoedigend en sla je elk initiatief dood met een wijzende vinger, leg je de lat te laag dan krijg je slechte toetsen. Blijft natuurlijk mensenwerk. Vandaar dat Silvester Draaijer de nadruk legt op sociale innovatie (hoe werken onderwijzers samen).

Plug voor de leverancier: de vragen worden gemaakt en afgenomen met Remindo.

Sander zijn presentatie is hier terug te vinden.

Ervaringen met gezamenlijke toetsbanken op #T2D2016

Ik bezoek vandaag en morgen de Tweedaagse over Digitaal Toetsen. Surf organiseert het, waarvoor dank, in Eindhoven Kennispoort. Hans Cuypers (TU/e) toont hoe zijn wiskunde vakgroep een itembank heeft opgezet.

De database bestaat uit ongeveer 1000 geparametriseerde vragen (daardoor kunnen vragen soms miljoenen varianten genereren). De items worden gegenereerd en nagekeken door Computer Algebra Software. De vragen zijn als Scorm-packages in toetsafname- of leersystemen te ‘hangen’.

Waarom wilde men een itembank en digitaal toetsen? Ze zochten naar nieuwe vormen van blended onderwijs en manieren om een goede aansluiting bij de moderne student te vinden, zijn voorkennis te verbeteren en deze gelijk te trekken. Tegelijkertijd kan het de werkdruk verlagen door items te delen en makkelijk toegankelijk te maken.

Is het de investering waard:

Ja: als er een duidelijk beeld is, de docenten enthousiast zijn, er ruimte is voor innovatie en als er voldoende technische ondersteuning is.
Nee: als er slechts kleine experimenten gepland zijn, als projectleden zelf geen onderwijs geven, als men bang is voor verandering en als de techniek dichtgetimmerd is.

De vakgroep Wiskunde sloot vervolgens aan bij een andere verandering: voor Calculus begon men met een nieuw blended onderwijsmodel. Deze bevatte Introductie (college en video), bestudering (boek en digitaal), samenwerking en discussie (tutorgroepen) en tot slot toetsing. Dit voor 2400 studenten organiseren was nogal een uitdaging, daarom hebben ze de aanleg van een itembank gelijk er in meegenomen.

Lessons learned voor het werken met dit blended onderwijsmodel: Er is korter maar intensiever contact, de ingangstoets is een goede indicatie voor slagingskans en feedback op huiswerk wordt gewaardeerd. Het aantal studenten dat in één keer het examen haalde nam toe van 39% naar 65%. Wat veel aandacht kostte was om de verschillende docenten ‘uit te lijnen’. Als je de studenten van 10 docenten op één manier toetst dan vergt dit afstemming op de inhoud van het onderwijs. Lijkt me dat als er hele sterke accentverschillen zijn, dit de standaardisatie van de toets tegenwerkt.

Volgens Hans is samenvattend belangrijk: Heb een duidelijk onderwijsplan, enthousiast team van docenten, een goede overdekking van de stof, vertrouwen in elkaars werk, een goede en flexibele technische infrastructuur en een open houding voor innovatie.

Knap, of typisch voor een wiskundevakgroep, vond ik dat ze ‘engine’ voor dit systeem zelf ontwikkeld hebben, o.a. op basis van Mathematica.

Itembanking, the ultimate battle? op #T2D2016

Ik bezoek vandaag de Tweedaagse over Digitaal Toetsen. Surf organiseert het, waarvoor dank, in Eindhoven Kennispoort. Silvester Draaijer praat over de moeizaamheid waarmee itembanken tot standkomen. Voor meer uitleg wat een itembank kan inhouden, klik hier. Makkelijk gezegd: een bak met gemetadateerde toetsvragen. Silvester stelt:

“Itembanken is de grote belofte van digitale toetsing die niet is uitgekomen. De flower-power gedachte dat docenten fijn samenwerken aan toetsen en deze uitwisselen is geen werkelijkheid.”

Itembanken zouden ontzettend veel voordelen bieden, maar er spelen allerlei barrières, psychologisch, sociologisch, organisatorisch of financieel. Concreter:

Er is een grote afstand tussen de productie van de toetsvragen en de ‘resultaten’ ervan.
De ‘opbrengst’ van toetsen met gesloten vragen is niet bijzonder groot.
Toetsvragen moeten na afname vrijgegeven worden (HO/WO).
Er is vaak wel geld voor de ontwikkeling van itembanken, maar niet voor de exploitatie ervan.
De itembank sluit net niet aan bij het specifieke onderwijs van de opleiding die ze nodig heeft (not invented here).
Veel oplossingen werden gezocht in de techniek en standaarden (QTI).

Wat werkt wel: wettelijk verplichten om een gedeelde kennisbasis te onderhouden of toetsing bij een externe instantie onderbrengen.

Zijn ideeën omtrent itembanken:

Het vraagt om sociale innovatie (hoe werken onderwijzers samen).
Het bereiken van de bestuurlijke professional (omdat standaardisatie soms botst met de autonomie op de werkvloer).
Het vormen van horizontale beroepsverbanden, over instellingen heen.

Zijn presentatie is hier te vinden.

Is jouw instelling klaar voor digitaal toetsen? Maturityscan op #T2D2016

Michiel van Geloven presenteert de beta-versie van de volwassenheidsmeter op het gebied van digitaal toetsen. Over het algemeen vind ik maturity-modellen praktisch omdat ze veel aanknopingspunten bieden om geleidelijk te groeien. Als een onderwerp complex en breed is om aan te pakken, dan werkt het wel eens ontmoedigend, zo’n gevoel dat je overladen wordt. Enfin, nu eentje voor digitaal toetsen dus.

Deze raakt 5 concrete gebieden en door hier systematisch naar te kijken krijg je inzicht in de huidige situatie (0-meting) en je zou kunnen bepalen waar je over 3 jaar wilt staan. ‘Basis-op-orde’ is dan het onderste niveau. Die zou je meestal direct willen bereiken natuurlijk. De 5 gebieden met hun indicatoren (deels eigen interpretatie):

Beleid en Visie: Is er zichtbaar leiderschap? Is er een gedragen visie op digitaal toetsen? Is er een (digitaal)toetsbeleid? Is er een heldere business case?
Organisatie: Is de tentamenorganisatie op orde? Loopt de logistiek, planning en roostering soepel? Zijn de beheersprocessen van de ICT afdeling voor dit onderwerp efficiënt? Is de afstemming van onderwijs en ICT volwassen? Voer je regie over je leveranciers van toetsen en toetssoftware? Hoe goed kun je met ze partneren? Denken ze mee?
Deskundigheid: Op managementniveau (motiverend, proactief of alleen risicomijdend reactief), kent de portefeuillehouder voldoende zijn onderdelen? Op docentenniveau (zijn ze toetsdeskundig en bewust van de veiligheidsaspecten en gaan ze daar verantwoordelijk mee om?). Op het niveau van de tentamenorganisatie en ondersteunende diensten etc.
Voorzieningen: Is de toetssoftware gekozen, ingekocht, geïmplementeerd? Zijn de faciliteiten voor toetsafname passend? Is de toetsveiligheid geborgd? Voldoet de archivering?
Implementatiestrategie: wat zijn de doelstellingen? Wat is de stijl en vorm van aansturing? Welke vorm van projectorganisatie kies je? Hoe goed is het plan van aanpak? Welk budget is er?

Per gebied vul je de maturity-waarde in, de scores worden bepaald door gesprekken met betrokkenen of door metingen, als indicatoren te kwantificeren zijn. Een opper-maturity-scan heeft doorgaans niveaus zoals ‘Greenfield’, ‘Ad-Hoc’, ‘Managed’ en ‘Optimized’. In deze variant werkt het met percentages waarbij 100% de gewenste situatie zou zijn.

We gingen daarna er zelf mee aan de slag. Door het ‘naar eer en geweten’ in te vullen. Volwassenheid meten is overigens geen exacte wetenschap, maar de dialoog er om heen kan heel waardevol zijn. Vooral een collectief beeld krijgen helpt later bij implementaties lijkt me. Ik zie het daarom als een praktisch hulpmiddel om met stakeholders het gesprek aan te gaan. Uit de zaal kwamen nog wat suggesties, o.a. om het dieper uit te werken, het is ook niet voor niets beta. Per indicator zou er een soort ‘bewijslast’ gedefinieerd kunnen worden, waaruit concreet blijkt dat je een bepaald niveau hebt.

De scan is hier terug te vinden.

De presentatie is hier terug te vinden.

Beleid voor digitaal toetsen op #T2D2016

Ik bezoek vandaag de Tweedaagse over Digitaal Toetsen. Surf organiseert het, waarvoor dank, in Eindhoven Kennispoort. Annette Peet opent dag twee met het onderdeel beleid. Veel instellingen worstelen er mee, als je links ergens aan trekt, komt er rechts een hele kluwen gedoe mee. Software? Grote toetszaal? Summatief of ook formatief? BYOD? Weet je wat het kost? Mag dat wel? Keurt de examencommissie dit wel goed? etc…. Dat vraagt dus om beleid.

Surf startte daarom een denktank om scholen hier handreikingen voor te bieden. Deze is samengevat in een Stappenplan Digitaal Toetsbeleid. De uitgebreidere versie “Beleid Digitaal Toetsen” is hier te vinden.

Werkboek Veilig Toetsen op #t2d2016

Ik bezoek vandaag en morgen de Tweedaagse over Digitaal Toetsen. Surf organiseert het, waarvoor dank, in Eindhoven Kennispoort. Jenny de Werk introduceert het Werkboek Veilig Toetsen. Reden voor dit werkboek is de steeds grotere aandacht voor toetsveiligheid en de complexiteit ervan. Overigens de belangrijkste vraag blijft: Wie gaat er over toetsveiligheid?

Als uitgangspunt voor veilig toetsen geldt in ieder geval dat je ‘baseline informatiebeveiliging’ op orde moet zijn (zie MBO Normenkader).

Grofweg bestaat de ‘methodiek’ uit 5 stappen:

Benoem opdrachtgever en -nemer.
Analyser je toetsbeleid, proces en informatiebeveiliging.
Voer een gap-analyse uit.
Maak en voer een actieplan uit.
Laat tot slot een assesment uitvoeren.

De presentatie is hier te downloaden.

Hans Frederik van de Hogeschool van Amsterdam vervolgt met zijn ervaringen met het werkboek Veilig Toetsen. Intrinsiek is hij voorstander van digitaal toetsen, alhoewel de problematiek wordt onderschat volgens hem. Het uit de grond stampen van grote centrale toetszalen gaat volgend hem in tegen alle huidige ontwikkelingen. Een greep uit z’n verhaal:

Examencommissies: zo mogen veel zeggen maar gaan uiteindelijk ‘nergens’ over.
Het CVB stimuleert digitalisering, maar de opleidingsmanager bepaalt zijn eigen ambitieniveau.

Overigens ben ik zelf niet principieel tegen grote toetszalen, maar ergens voelt het vreemd als je je onderwijs vormgeeft in individuele trajecten met kleine groepen en flexibiliteit zoekt en tegelijkertijd een ‘toetsfabriek’ uit de grond stampt. Qua kosten kan het denk ik soms niet anders.

Ludo van Meeuwen van TU/e herhaalt zijn motto: “Beveiliging is voorkomen, detecteren en reageren”. Hij toont de RACI tabel van hun examenproces. Het beantwoord dan wie er (eind)verantwoordelijk is, geraadpleegd en geïnformeerd wordt. Voorbeelden hiervan zijn in de Surf publicatie terug te vinden op bladzijde 38. Ook Ludo hamert op opdrachtgeverschap. Overigens gebruikten ze de gelegenheid om het analoge proces ook kritisch te bekijken op veiligheid. Het verplaatsen, vermenigvuldigen en overdragen van papier kent ook veel beveiligingsaspecten.

Monica Buijinck van Saxion vertelt over haar ervaringen met het project “Beveiligen van Toetsen”. Wat ik daar uit meeneem is dat er iemand moet zijn met het mandaat om in de hele keten zaken te controleren en mensen aan te spreken. Met (digitaal) toetsen loop je zo’n keten van examencommissies, ondersteunende diensten en ICT in, dat iemand een algeheel overzicht en regie moet hebben. In de ‘awareness’ campagne hebben ze overigens leuke filmpjes gemaakt.

Haar leerpunten:

Vertaal het werkboek naar je eigen situatie!
Zoek balans tussen veiligheid en tijdsinvestering!
Zoek de grootste risico’s en pak die aan!

Chromebooks voor Digitaal Toetsen op #T2D2016

Ik bezoek vandaag en morgen de Tweedaagse over Digitaal Toetsen. Surf organiseert het, waarvoor dank, in Eindhoven Kennispoort. Gerdine Slot praat ons bij over 20 maanden ervaring met Chromebooks op de UU.

Even wat getallen om de schaal te illustreren: 24.000 individuele toetsafnames, 198 digitale toetsen, 480 centrale en 80 decentrale toetsplekken. De keus voor Chromebooks heeft vooral met accuduur (13 uur) en kosten te maken.

Ze hebben de volgende veiligheidsmaatregelen: een separaat wifi-netwerk, gebruik van “Chromebook Management Console” en een zelf ontwikkelde kiosk app voor beveiligde afname. De ruimte met de ‘karren’ (20x) is ook beveiligd.

Organisatorisch: De aanvraag en roostering sluit gewoon aan bij het reguliere roosterproces. Ze hebben een e-surveillantenpool van circa 25 studenten. Zij helpen bij op- en afbouw en assisteren bij technische problemen.

Lessons Learned

Van project naar lijnorganisatie is een uitdaging.
Geef aandacht aan lifecyle van Chromebooks. Na anderhalf jaar begaven ongeveer gelijktijdig 50 accu’s het. Dus ze worden nu proactief vervangen. Afschrijvingstermijn is nu ingekort.
De inzet van een e-surveillantenpool plannen en aansturen is veel werk, maar ontkom je bijna niet aan.
Ze willen nog voorzieningen doorontwikkelen voor blinden/slechtzienden en verder het aantal toetsplekken opschalen.

Overigens, goes without saying, Chromebooks werkt alleen voor webbased toetsafnames, niet voor andere toetssoftware.

Kosten

Wat kengetallen, gerekend per device: aanschaf Chromebook €280, €23 voor de management console, opslag €45. Dit schrijft af in 3 jaar.

De presentatie hier te vinden.