Examinering

Ondersteuning examenprocessen

Ik ben vandaag te gast bij MBO Amersfoort om te kijken naar hun oplossingen voor examenprocessen en ondersteunende systemen. Op zich is dit een breed terrein, vandaag zoomen we in op het deel “Van Examenplan naar vastgestelde examens”. Dat is een deel van het rode en het gele perceel van de Procesarchitectuur Examinering.

Procesarchitectuur Examinering

Hoe ‘eenvoudig’ en overzichtelijk de architectuur ook is, voor een instelling is goed examineren geen sinecure. Het aantal kwalificaties, verschillen in cohorten, het aantal rollen/functionarissen, het scheiden van uitvoerend werk en controle erop etc. maken implementatie wel degelijk complex. Maar hé, je bent van onderwijs of niet, toch?

Praktisch laat de problematiek zich samenvatten:

  • Niet weten wie wat moet doen en wanneer.
  • Geen monitoring en waarschuwingssysteem.
  • Onvoldoende menskracht om regie op kwalititeit te realiseren.

MBO Amersfoort is op zoek gegaan naar een partner die op dit gebied een systeem kan leveren. De uitgangspunten waren:

  • Afgestemd op bovenstaande architectuur.
  • Voldoet aan wettelijke eisen.
  • Monitoring door één persoon mogelijk.
  • Afgestemd op andere systemen.
  • Kwalitatieve kenmerken als efficiënt, betrouwbaar, gebruiksvriendelijk en flexibel.

Zij denken deze partner gevonden te hebben in Nubiko. Hun product nu laat zich grofweg onderscheiden in het deel Examenconstructie en Examenlogistiek. Nubiko vervolgt daarom met een overzicht van functionaliteiten/productdemonstratie.

  • Procesinrichting: het laat voor examinering stappen, statussen en overdracht van verantwoordelijkheden inrichten.
  • Monitoring: op deadlines, statussen opvragen, verantwoordelijke personen.
  • Backward planning: deadlines worden teruggerekend vanaf het moment van afname, van het individuele examen. Alle voorliggende stappen van examenplan, constructie, inkoop, review en vaststelling worden dan als deadline ‘ingeboekt’.
  • Triggers: als iets niet loopt zoals gepland, in de voorbereidingen, dan krijgen betrokkenen signalen.

Vragen uit het publiek gingen onder andere over uitzonderingen, zoals versnellers die je backward planning overhoop halen of EVC-ers die een apart proces doorlopen. Het lijkt me echter niet dat je het goed inregelen van bulkwerk kunt afhouden, omdat je nog niet weet hoe met uitzonderingen om te gaan. Oftwel: regel het voor de grote massa eerst goed, dan hou je daarna toch meer energie over voor de uitzonderingen.

Ik vroeg me af of rollen zijn in te richten, te verzinnen van grond af aan. Tot op zekere hoogte, is het antwoord. Nu zou ik ook het liefst teruggrijpen op rollen uit de referentiearchitectuur, maar in de uitvoering wil nog wel eens detailverschil zijn. Echt nieuwe rollen wordt als maatwerk gezien.

De indruk van het systeem is dat het de bovenstaande examenprocessen handig en overzichtelijk ondersteunt. Het wordt als SAAS aangeboden, is gebouwd in .NET, praat tegen Active Directory en koppelbaar middels XML. MBO Amersfoort gaat ‘live’ in oktober. Zij vragen wie er interesse heeft om mee te ontwikkelen? Op 17 oktober is daarvoor een ontwikkeldag bij Nubiko Amersfoort.

Vragen die het bij mij oproept, zijn deels dezelfde als bij elke applicatie:

  • Logisch dat we IETS moeten op dit terrein en super initiatief, maar krijgen we weer een systeem erbij dat zelf workflow, zelf monitoring en zelf een portal naar binnen rijdt? Die zou ik eerder generiek willen hebben.
  • Integraliteit met andere systemen: welke overlap in informatie zou er zijn? Waarbij dit systeem geen ‘dubbele boekhouding’ moet voeren maar gekoppeld moet worden? Te denken valt aan identiteiten van examenfunctionarissen, producten in je onderwijscatalogus en (voor zover het logistiek wordt) onderwijsactiviteiten in het rooster.
  • De vereiste cultuuromslag, vooral voor backward-planning, lijkt me groot. De tijdgeest is er wel naar. Maar hoe je ga je om met onderwijsteams die het moeilijk vinden twee jaar vooruit te kijken?
  • Eigenlijk lijkt het me één grote workflow systeem dat specifiek ingericht is voor examenprocessen. Als je al workflow doet of hebt, hoe nuttig is deze oplossing dan?
  • Wat doe je met archivering? Nubiko belooft archivering te kunnen, inclusief wettelijke bewaartermijnen. Maar hoe verhoudt zich dat tot een reeds aanwezige DMS?

Overigens gastvrij ontvangen door MBO Amersfoort!

ExamenTester 2.8

Paul Schuitman is namens het College van Examens betrokken bij de ICT aspecten van examinering. Samen met Nick Harmsen van Cito gaven zij de workshop ICT op de werkconferentie Examinering Taal en Rekenen.

Eerst kwamen de stappen van de implementatie:

  • De IT manager en examensecretaris bezoeken regiobijeenkomsten over installatie en inrichting van ExamenTester.
  • De cdroms met examensoftware worden geïnstalleerd en er wordt een systeemcheck en “Functionaliteiten Test Examens” uitgevoerd.
  • De instelling krijgt een fiat voor het maximaal aantal tegelijk in te zetten computers tijdens afname. Dit is op basis van de resultaten van de systeemcheck.
  • De instelling ontvangt packages met examens en wachtwoorden voor de installatie ervan. Deze packages worden geïnstalleerd.
  • Het examenbureau voert kandidaten in en koppelt deze aan toets en afnamemomenten.
  • Het examenbureau voert een corrector in voor de open vragen. Deze wordt gekoppelt aan toets en kandidaat.
  • De toets en correctie worden gedaan en het examenbureau voert een ‘dataretour’ uit van gegevens naar Cito.

Infrastructuur:

  • Het betreft een client/server applicatie. De client bevat een module TestCenter voor de uitvoering van het examen, een module Testmanager (voor functioneel beheer) en een module CorrectionManager. De eerste 2 synchroniseren data met de lokale server. Deze synchroniseert op zijn beurt met de “GlobalServer” van Cito.
  • Het is niet perse nodig dat er tijdens afname internet verbinding is. Zolang er maar verbinding is met de lokale server.
  • De correctionmanager communiceert rechtstreeks met Cito.
  • Technische bottle-neck: als een examen opgestart wordt, wordt de content ervan (tekst, audio, video) naar de lokale pc gekopieerd. Op zich logisch, omdat de afspeler het dan zonder haperingen weergeeft. De omvang kan 100 of 200 MB zijn. Als 50 studenten dan tegelijk dit examen opstarten, dan moet er vrij veel data verplaatst worden op het lokale netwerk. Dit kan lang duren. Vandaar de systeemcheck waaruit blijkt hoeveel keer een examen simultaan opgestart mag worden.

Verdere ICT vragen kunnen hier gesteld worden: coeprogrammatuur@cve.nl

Werkconferentie “Examineren taal en rekenen”

Ik ben vandaag op de werkconferentie “Examineren taal en rekenen”. De aanleiding voor deze conferentie was de ontwikkelingen voor centrale examinering en de implicaties naar ICT. De organisatie (Herontwerp MBO) beloofde praktische handreikingen inhoudelijk, logistiek en technisch. Echter geen blauwdrukken, “want elke organisatie is verschillend”. Dacht ik toch dat blauwdrukken een generiek karakter konder hebben 😉 .

Achtergrond door Akke Vos:
De wettelijke achtergrond is de recent aangenomen wet “Referenteniveaus Nederlandse taal en rekenen”. Hieruit volgde een gelijknamig “Besluit” en een wijziging in WEB. Omdat het onderwerp Examinering buiten mijn expertise valt kan ik er weinig overzeggen. Alleen een indruk: de kaders, inrichting en regels omtrent examinering zijn erg complex en roepen zelfs voor ingewijden veel vragen op. Generieke eisen, beroepsspecifieke eisen, worden afhankelijk van niveau en het onderzoeksjaar tijdens pilot anders behandeld. Er zijn ook weer allerlei onderverdelingen naar “Instellingsexamen” en “Centrale examen”, met per stuk weer eigen regels. Die dan weer “dwingend” zijn of als “handreiking” dienen. Daarnaast is verdere invulling van sommige onderdelen afhankelijk van politieke beslissingstrajecten. Voor mij teveel variabelen om het duidelijk te krijgen met alleen maar bullet-lijstjes. Ik wens alle examenbureau’s binnen MBO veel succes met het snappen hiervan en nog meer met de uitvoering.
Dus, mijn subjectieve indruk als leek: het polder-resultaat van inzoomen op een relatief klein terrein is een explosie van complexe regels.

Jan Paul de Vries volgde met een toelichting op de implementatie. De “technische partner” is Cito, als leverancier van de software voor het afnemen van examens. Voor 2012-2012 voor niveau 4 wordt gestreefd naar 3 periodes van 2 weken waarin de examens moeten plaatsvinden. Een instelling krijgt een set van equivalente examens en kan zelf een rooster voor afname maken. Per periode kan een student 1x examen afleggen. Een herkansing komt dan automatisch in de volgende periode. De programmatuur heet ExamenTester en Jan vindt deze “bewezen stabiel”.

Wat komt er bij implementatie kijken?

  • Inhoudelijk: goede toetsen en cesuur.
  • Logistiek: ICT infrastructuur en organisatorische maatregelen.
  • Procedures: regels over afnamen, protocollen, tijdvakken, beoordeling en normering.

Examentester is nu een lokaal geïnstalleerd pakket, met koppelingen naar het netwerk van Cito. De examens zelf moeten daarna geïnstalleerd worden en gebruikers moeten toegang verleend worden. In de toekomst hoeft dit niet zo te blijven en er komt een aanbestedingstraject voor examenprogrammatuur.

Fasering:

  • Februari 2011: In een pre-pilot wordt bij een gecontroleerde groep een digitaal examen als steekproef afgenomen.
  • Februari 2012: Alle instellingen kunnen meedoen aan de pilot, met 1 locatie, gedurende 2 periodes.
  • 2012 – 2013: Alle instellingen kunnen meedoen voor alle deelnemers.

Gedurende deze fases wil men langzaam opschalen, evalueren en bijstellen. Vanaf maart 2011 kunnen alle onderwijsinstellingen een voorbeeldexamen installeren en naar eigen wens afnemen. Dit kan gebruikt worden om ervaring op te doen, met alle aspecten hiervan. Opgave voor pre-pilot verloopt via Cito.

Op de hoogte blijven? Steunpunt!