Tag Archives: Examinering

BYOD, kan het veilig? op #T2D2016

Ik bezoek vandaag en morgen de Tweedaagse over Digitaal Toetsen. Surf organiseert het, waarvoor dank, in Eindhoven Kennispoort. Mike Baarslag (Fontys), Ludo van Meeuwen en Kees Goossens (TU/e), Martijn Meefout (Unteso) geven de presentaties over het toetsen met eigen devices. Inhoudelijk duikt het de techniek in.

Fontys: USB + Windows to Go = Digitale Toetsinfrastructuur

Het borgen van veiligheid gebeurt op verschillende niveaus: de computer moet een bekende zijn (authenticatie apparaat), de internetverbinding is beperkt (whitelist proxy), een monitorfunctie (virtueel opstarten vanaf USB stick met encryptie) en met policies worden zaken uitgeschakeld. Het daadwerkelijk inleveren is natuurlijk vanaf een inlog met juiste gebruikersnaam en wachtwoord (SSO). Het voorkomen van afkijken wordt o.a. gedaan door steeds in U-vorm de tafels op te stellen (in verder regulier lokaal).

Ze zijn voornemens om het gebruik van “Windows to Go” verder door te ontwikkelen, security audits te doen (interne ethical hacks bijv.)

Vragen uit de zaal:

Je mag overigens niet een student verplichten zijn eigen laptop te gebruiken voor een toets. Ze hebben voor die studenten die dat niet willen ‘leen-laptops’.
Als de student zijn gebruikersnaam en inlog kwijt is: Dan kan hij niet meedoen aan het examen.

TU/e

BYOD heeft een slechte reputatie voor het gebruik tijdens digitale examens. Ludo geeft aan dat 100% veiligheid een illusie is en dat je op drie niveaus maatregelen moet treffen: Prevent, Monitor en React.
Kees vertelt over de implementatie van een “Examinator Stick”. Een speciale USB stick met daarop, jawel, Ubuntu. Op eigen laptops worden deze gebruikt om een speciale omgeving op te starten, specifiek voor bepaalde examens. De toegang tot netwerk, andere computers, bluetooth etc wordt geblokkeerd. Daarnaast draait het een speciale browser.

Student-tevredenheid varieert: sommigen zijn er blij mee want er kan minder fout gaan. Of dat je per ongeluk programma’s op de achtergrond aan hebt staan, die als frauduleus gezien worden. Studenten die de stick niet willen gebruiken krijgen extra surveillance.

TU/e ‘trackt’ het gebruik, wie-heeft-welke-stick etc. Ze verliezen 1% van de sticks en ze worden door nieuwsgierige studenten ook gekopieerd om te proberen ze te hacken. 😉

Unteso

Martijn toont hun oplossing, die bestaat uit een combinatie van een USB stick (linux) en BYOD. De stick is geen toetssoftware maar maakt van alle machines een ‘managed werkplek’.

In de toetszaal wordt bij de start en aan het einde de sticks gescand, zodat ze weten wie-welke-heeft of had. En dat dezelfde student dezelfde stick weer inlevert.
Toegang tot overige USB, bluetooth en het netwerk wordt geblokkeerd. Al het verkeer gaat door een centrale proxy die bronnen whitelist in een gesloten subnet. Mocht er iets doorheen komen, dan is het in ieder geval gemonitord en achteraf is fraude aan te tonen.
Voorsprong wordt voorkomen door bij elke toets een verse image op de stick te zetten. Praktisch: hier zit een bureaublad achtergrond in die wisselt per toets. Als je de zaal rondkijkt zie je direct wie er een stick zou hebben van een ‘vorige’ toets.
Toegang tot specifieke zaken is beperkt in de tijd.
Ze monitoren voortdurend dat het aantal laptops dat ‘meedoet’ klopt met de aanwezigen in de zaal.
Er is een apart traject voor de surveillanten om ze in dit alles wegwijs te maken.
Het ‘securitytheater’ element is ook nuttig om iedereen een veilig gevoel te geven en fraude te ontmoedigen.

Toetsafnamerevue op #t2d2016

Ik bezoek vandaag en morgen de Tweedaagse over Digitaal Toetsen. Surf organiseert het, waarvoor dank, in Eindhoven Kennispoort. Michiel van Geloven opent met een overzicht van verschillende manieren om digitale toetsafname te organiseren. Overigens meer vragen dan antwoorden. Doet recht aan de diversiteit denk ik en de afwezigheid van één ei van Columbus voor digitaal toetsen.

Het aantal vragen over “Hoe kunnen we grootschalig digitaal toetsen” neemt nog niet af. Vaak wordt de oplossing gezocht in grote digitale toetszalen. Het aantal instellingen dat grootschalige digitale toetszalen heeft ingericht is niet meer aan het groeien. Het aantal plekken wat deze in totaal aanbieden wel. Daarnaast is er nergens één ideale oplossing. Grofweg zijn er de volgende varianten:

Oplossingen in meubels: Standaardtafels met desktop-pc’s, varianten van meubels die PC’s verzinkt of opgeborgen kunnen bewaren. Soms vaste toetszalen maar ook tijdelijk aangelegde zalen met overal kabelgoten enzo.
Laptops op laptopkarren of Chromebooks (zie verderop in het programma).
BYOD in combinatie met een speciale USB stick.
Surveillance op afstand (online proctoring).

Wat te kiezen?

Er zijn allerlei afwegingen, Michiel neemt ons er in mee:

Is er binnen je school überhaupt een grote tentamenzaal? Is er toevallig een verbouwing waarin je dit kunt meenemen? Ga je over een paar jaar verbouwen en moet je ‘even’ improviseren? Is het erg als studenten moeten reisen voor een toets? Of is het niet bespreekbaar dat ze naar een andere plek in de stad gaan?
Organiseer je afname op 4 piekmomenten? Of wil je voortdurend afnemen? Hoeveel studenten tegelijk doen de afname?
Wil je naast digitaal ook schriftelijke afnames in dezelfde ruimte?
Welke toetsvormen moeten mogelijk zijn? Zijn er daardoor hoge resolutie schermen nodig of andere speciale hardware? Te denken valt aan technische tekeningen of simulaties.

Samengevat: Er zijn 2 uitersten aan flexibiliteit. Wil je op elk moment overal kunnen toetsen met elk apparaat… of wil je specifieke inrichtingen hebben voor bepaalde examenvormen?

Hoe zit het met de kosten?

Afhankelijk van de examenvorm kan dit ontzettend uiteenlopen. Bouwkundige kosten, hardware en beheerslast kun ontzettend divers zijn. Overigens los van de kosten van de examenorganisatie die je toch al hebt.

Michiel sluit met wat adviezen:

Regel ondersteuning goed in!
Test alles goed door!
Blijft alert op veiligheidsissues.
Denk na over fallback-scenario’s.

De presentatie is hier te downloaden.

Ondersteuning examenprocessen

Ik ben vandaag te gast bij MBO Amersfoort om te kijken naar hun oplossingen voor examenprocessen en ondersteunende systemen. Op zich is dit een breed terrein, vandaag zoomen we in op het deel “Van Examenplan naar vastgestelde examens”. Dat is een deel van het rode en het gele perceel van de Procesarchitectuur Examinering.

Hoe ‘eenvoudig’ en overzichtelijk de architectuur ook is, voor een instelling is goed examineren geen sinecure. Het aantal kwalificaties, verschillen in cohorten, het aantal rollen/functionarissen, het scheiden van uitvoerend werk en controle erop etc. maken implementatie wel degelijk complex. Maar hé, je bent van onderwijs of niet, toch?

Praktisch laat de problematiek zich samenvatten:

Niet weten wie wat moet doen en wanneer.
Geen monitoring en waarschuwingssysteem.
Onvoldoende menskracht om regie op kwalititeit te realiseren.

MBO Amersfoort is op zoek gegaan naar een partner die op dit gebied een systeem kan leveren. De uitgangspunten waren:

Afgestemd op bovenstaande architectuur.
Voldoet aan wettelijke eisen.
Monitoring door één persoon mogelijk.
Afgestemd op andere systemen.
Kwalitatieve kenmerken als efficiënt, betrouwbaar, gebruiksvriendelijk en flexibel.

Zij denken deze partner gevonden te hebben in Nubiko. Hun product nu laat zich grofweg onderscheiden in het deel Examenconstructie en Examenlogistiek. Nubiko vervolgt daarom met een overzicht van functionaliteiten/productdemonstratie.

Procesinrichting: het laat voor examinering stappen, statussen en overdracht van verantwoordelijkheden inrichten.
Monitoring: op deadlines, statussen opvragen, verantwoordelijke personen.
Backward planning: deadlines worden teruggerekend vanaf het moment van afname, van het individuele examen. Alle voorliggende stappen van examenplan, constructie, inkoop, review en vaststelling worden dan als deadline ‘ingeboekt’.
Triggers: als iets niet loopt zoals gepland, in de voorbereidingen, dan krijgen betrokkenen signalen.

Vragen uit het publiek gingen onder andere over uitzonderingen, zoals versnellers die je backward planning overhoop halen of EVC-ers die een apart proces doorlopen. Het lijkt me echter niet dat je het goed inregelen van bulkwerk kunt afhouden, omdat je nog niet weet hoe met uitzonderingen om te gaan. Oftwel: regel het voor de grote massa eerst goed, dan hou je daarna toch meer energie over voor de uitzonderingen.

Ik vroeg me af of rollen zijn in te richten, te verzinnen van grond af aan. Tot op zekere hoogte, is het antwoord. Nu zou ik ook het liefst teruggrijpen op rollen uit de referentiearchitectuur, maar in de uitvoering wil nog wel eens detailverschil zijn. Echt nieuwe rollen wordt als maatwerk gezien.

De indruk van het systeem is dat het de bovenstaande examenprocessen handig en overzichtelijk ondersteunt. Het wordt als SAAS aangeboden, is gebouwd in .NET, praat tegen Active Directory en koppelbaar middels XML. MBO Amersfoort gaat ‘live’ in oktober. Zij vragen wie er interesse heeft om mee te ontwikkelen? Op 17 oktober is daarvoor een ontwikkeldag bij Nubiko Amersfoort.

Vragen die het bij mij oproept, zijn deels dezelfde als bij elke applicatie:

Logisch dat we IETS moeten op dit terrein en super initiatief, maar krijgen we weer een systeem erbij dat zelf workflow, zelf monitoring en zelf een portal naar binnen rijdt? Die zou ik eerder generiek willen hebben.
Integraliteit met andere systemen: welke overlap in informatie zou er zijn? Waarbij dit systeem geen ‘dubbele boekhouding’ moet voeren maar gekoppeld moet worden? Te denken valt aan identiteiten van examenfunctionarissen, producten in je onderwijscatalogus en (voor zover het logistiek wordt) onderwijsactiviteiten in het rooster.
De vereiste cultuuromslag, vooral voor backward-planning, lijkt me groot. De tijdgeest is er wel naar. Maar hoe je ga je om met onderwijsteams die het moeilijk vinden twee jaar vooruit te kijken?
Eigenlijk lijkt het me één grote workflow systeem dat specifiek ingericht is voor examenprocessen. Als je al workflow doet of hebt, hoe nuttig is deze oplossing dan?
Wat doe je met archivering? Nubiko belooft archivering te kunnen, inclusief wettelijke bewaartermijnen. Maar hoe verhoudt zich dat tot een reeds aanwezige DMS?

Overigens gastvrij ontvangen door MBO Amersfoort!

ExamenTester 2.8

Paul Schuitman is namens het College van Examens betrokken bij de ICT aspecten van examinering. Samen met Nick Harmsen van Cito gaven zij de workshop ICT op de werkconferentie Examinering Taal en Rekenen.

Eerst kwamen de stappen van de implementatie:

De IT manager en examensecretaris bezoeken regiobijeenkomsten over installatie en inrichting van ExamenTester.
De cdroms met examensoftware worden geïnstalleerd en er wordt een systeemcheck en “Functionaliteiten Test Examens” uitgevoerd.
De instelling krijgt een fiat voor het maximaal aantal tegelijk in te zetten computers tijdens afname. Dit is op basis van de resultaten van de systeemcheck.
De instelling ontvangt packages met examens en wachtwoorden voor de installatie ervan. Deze packages worden geïnstalleerd.
Het examenbureau voert kandidaten in en koppelt deze aan toets en afnamemomenten.
Het examenbureau voert een corrector in voor de open vragen. Deze wordt gekoppelt aan toets en kandidaat.
De toets en correctie worden gedaan en het examenbureau voert een ‘dataretour’ uit van gegevens naar Cito.

Infrastructuur:

Het betreft een client/server applicatie. De client bevat een module TestCenter voor de uitvoering van het examen, een module Testmanager (voor functioneel beheer) en een module CorrectionManager. De eerste 2 synchroniseren data met de lokale server. Deze synchroniseert op zijn beurt met de “GlobalServer” van Cito.
Het is niet perse nodig dat er tijdens afname internet verbinding is. Zolang er maar verbinding is met de lokale server.
De correctionmanager communiceert rechtstreeks met Cito.
Technische bottle-neck: als een examen opgestart wordt, wordt de content ervan (tekst, audio, video) naar de lokale pc gekopieerd. Op zich logisch, omdat de afspeler het dan zonder haperingen weergeeft. De omvang kan 100 of 200 MB zijn. Als 50 studenten dan tegelijk dit examen opstarten, dan moet er vrij veel data verplaatst worden op het lokale netwerk. Dit kan lang duren. Vandaar de systeemcheck waaruit blijkt hoeveel keer een examen simultaan opgestart mag worden.

Verdere ICT vragen kunnen hier gesteld worden: coeprogrammatuur@cve.nl

Werkconferentie “Examineren taal en rekenen”

Ik ben vandaag op de werkconferentie “Examineren taal en rekenen”. De aanleiding voor deze conferentie was de ontwikkelingen voor centrale examinering en de implicaties naar ICT. De organisatie (Herontwerp MBO) beloofde praktische handreikingen inhoudelijk, logistiek en technisch. Echter geen blauwdrukken, “want elke organisatie is verschillend”. Dacht ik toch dat blauwdrukken een generiek karakter konder hebben 😉 .

Achtergrond door Akke Vos:
De wettelijke achtergrond is de recent aangenomen wet “Referenteniveaus Nederlandse taal en rekenen”. Hieruit volgde een gelijknamig “Besluit” en een wijziging in WEB. Omdat het onderwerp Examinering buiten mijn expertise valt kan ik er weinig overzeggen. Alleen een indruk: de kaders, inrichting en regels omtrent examinering zijn erg complex en roepen zelfs voor ingewijden veel vragen op. Generieke eisen, beroepsspecifieke eisen, worden afhankelijk van niveau en het onderzoeksjaar tijdens pilot anders behandeld. Er zijn ook weer allerlei onderverdelingen naar “Instellingsexamen” en “Centrale examen”, met per stuk weer eigen regels. Die dan weer “dwingend” zijn of als “handreiking” dienen. Daarnaast is verdere invulling van sommige onderdelen afhankelijk van politieke beslissingstrajecten. Voor mij teveel variabelen om het duidelijk te krijgen met alleen maar bullet-lijstjes. Ik wens alle examenbureau’s binnen MBO veel succes met het snappen hiervan en nog meer met de uitvoering.
Dus, mijn subjectieve indruk als leek: het polder-resultaat van inzoomen op een relatief klein terrein is een explosie van complexe regels.

Jan Paul de Vries volgde met een toelichting op de implementatie. De “technische partner” is Cito, als leverancier van de software voor het afnemen van examens. Voor 2012-2012 voor niveau 4 wordt gestreefd naar 3 periodes van 2 weken waarin de examens moeten plaatsvinden. Een instelling krijgt een set van equivalente examens en kan zelf een rooster voor afname maken. Per periode kan een student 1x examen afleggen. Een herkansing komt dan automatisch in de volgende periode. De programmatuur heet ExamenTester en Jan vindt deze “bewezen stabiel”.

Wat komt er bij implementatie kijken?

Inhoudelijk: goede toetsen en cesuur.
Logistiek: ICT infrastructuur en organisatorische maatregelen.
Procedures: regels over afnamen, protocollen, tijdvakken, beoordeling en normering.

Examentester is nu een lokaal geïnstalleerd pakket, met koppelingen naar het netwerk van Cito. De examens zelf moeten daarna geïnstalleerd worden en gebruikers moeten toegang verleend worden. In de toekomst hoeft dit niet zo te blijven en er komt een aanbestedingstraject voor examenprogrammatuur.

Fasering:

Februari 2011: In een pre-pilot wordt bij een gecontroleerde groep een digitaal examen als steekproef afgenomen.
Februari 2012: Alle instellingen kunnen meedoen aan de pilot, met 1 locatie, gedurende 2 periodes.
2012 – 2013: Alle instellingen kunnen meedoen voor alle deelnemers.

Gedurende deze fases wil men langzaam opschalen, evalueren en bijstellen. Vanaf maart 2011 kunnen alle onderwijsinstellingen een voorbeeldexamen installeren en naar eigen wens afnemen. Dit kan gebruikt worden om ervaring op te doen, met alle aspecten hiervan. Opgave voor pre-pilot verloopt via Cito.

Op de hoogte blijven? Steunpunt!