Learning analytics: infrastructuur en voorspellende stuurinformatie op #samboict

Willem-Jan Swiebel, Gijs Gons (ROC Nova College) en Jocelyn Manderveld (SURF) nemen ons mee in hun verhaal over Learning Analytics in de derde workshopronde van de 34ste saMBO-ICT conferentie.

Jocelyn opent met de hoeveelheid data die we uit ons zelf verzamelen (quantified self) en de vraag of we deze data(verzameling) ook voor het onderwijs kunnen aanwenden. Als praktisch voorbeeld haalt ze de studenten-dashboards aan van Purdue University en Rob Koper.

coursesignals six-dimensions-of-learning-analytics

Jocelyn bakent de data bij Learning Analytics wel af: het betreft dynamische data op microniveau.

Willem-Jan vervolgt met een praktische Use-Case: voorkomen van uitval van studenten. Deze vertrekt vanuit profilering (studenteigenschappen, opleidingseigenschappen en onderwijshistorie) en bekijkt erna het gedrag en eigenschappen tijdens de opleiding. Ongestructureerde data vormt hierbij een uitdaging. Gingen ze als volgt te lijf:

  • Extractie van relevantie formulieren: deze werden gescand op specifieke trefwoorden.
  • Random Forest Classificatie: Huh, bent u er nog? Voor de statistiek liefhebbers even hier klikken.
  • Logistische Regressie op best-fit … ja dan ben je mij ook kwijt, wikipedia niet. 😉

Ze vonden 11 correlaties tussen kenmerken en voorspellingen op uitval. Geslacht, etniciteit, leeftijd, type en niveau vooropleiding, leerweg, postcodegebied, instroomniveau, school van herkomst, leerstoornissen en domein van opleiding. Overigens leidde dit tot nogal wat vragen over verschil tussen correlatie en causaliteit, mitigerende maatregelen, stigmatisering en self-fulfilling prophecy.

Sterk vond ik wel dat zij met 72% zekerheid kunnen zeggen of een specifieke student een diploma zal halen. Dat ligt frappant dicht bij het gemiddelde rendement dat we vanuit jaarresultaat etc kennen.

Al deze inzichten leiden ook tot keuzes: waar focus je je op in de begeleiding, wat gebeurt er als ik extra moeite doet of juist niet? Daarom stelt Willem-Jan: data-gedreven beslissen is mensenwerk. De kennis en kunde om data te interpreteren zijn niet standaard aanwezig.

Jocelyn vermeldt de mogelijkheid om bij Surf zelf een experiment te starten. Dat begint altijd met de vraag “Wat wil je weten?”. Voorbeelden zijn “Heeft de student zijn opdracht ingeleverd?” of “Welk materiaal wordt vaak gebruikt?”. Ook hier komt het menselijke aspect terug: “Voorspellen kan nooit zomaar zonder visie op wat voorspellend is.”

Het gesprek met docenten kan spannend zijn. Positioneer Learning Analytics daarom niet als vergrootglas op wat de docent niet goed doet, maar als hulpmiddel om inzicht te krijgen.

Keynote #samboict door Erno Mijland

Erno opent met de stelling “ICT werkt als … het het leven ontzorgt en verrijkt.” Dat geldt dus ook voor onderwijs. Hij vervolgt met de veranderende rol van de docent versus alle mogelijkheden die techniek biedt. Zijn aanmoediging is om er mee te leren om te gaan. De media-veerkracht verhogen dus. Om dit te ordenen heeft hij de ‘taxonomie van bloem’ verzonnen. Deze kent de volgende aspecten:

  • Multimediaal
  • Zichtbaar
  • Activerend
  • Sociaal
  • Docent-onafhankelijk
  • Tijd- en plaatsonafhankelijk
  • Op maat
  • Digitale didactiek: deze staat centraal in zijn bloem.

Erno illustreerde elk aspect heel praktisch met allerlei tools. Al deze aspecten verdienen aandacht, de mate waarin verschilt per context natuurlijk. Hij heeft wel oog voor verschillende belangen: de beheerder vanuit de school, de docent en de leerling verwachten van ICT verschillende dingen. Dit botst wel eens, vandaar dat regie nodig is.

Tot slot mooie oneliner: Als je kunt vergeten dat het technologie is … dan werkt het.

Portalen: Aanpak en Resultaten bij ROC Midden Nederland op #samboict

In de eerste workshopronde van de 34ste saMBO-ICT conferentie bezoek ik de presentatie van René van der Mark. In hun visie staat het portaal tussen de kernsystemen aan de ene kant en de gebruikers aan de andere kant. Logisch dat je een soort one-stop-shop wilt lijkt me. Tegelijkertijd is er wel spraken van portalen, meervoud. Dat klinkt pragmatisch en is wel begrijpelijk. Je kunt nu eenmaal niet alle ‘ingangen’ of ‘startpagina’s’ in 1 klap vervangen, vandaar dat de term DLWO ontstaan is. (“De digitale leer- en werkomgeving is het geheel van systemen dat studenten ondersteunt bij het leren en docenten bij het onderwijzen.”, als definitie vond ik hier goed bij passen.)

  • EduArte portalen voor studenten, docenten, praktijkopleiders en ouders. Deze zijn ook beschikbaar in de apps voor mobiel. Ze gebruiken ook nog Blackboard. 😉
  • Intranet naar Office365.

René vertelt over hun implementatiestappen met pilots voor BPV-urenregistratie, ouderportaal, toegang voor praktijkopleiders etc. Over toegang voor ouders kwamen wel wat vragen: wat doe je met 18+, moet je controleren dat gegevens van ouders allemaal wel kloppen en kun je niet de student laten bepalen wat ze delen met anderen? Dat laatste zou echter nieuwe functionaliteit zijn. Scholen en hun administraties staan wel voor een enorme berg werk als je van 10.000 studenten dus 20.000 ouders of verzorgers toegang wilt geven. Het gedoe met wachtwoorden zou je kunnen voorkomen als ouders kunnen inloggen met bijvoorbeeld OpenID (OAuth protocol). Zouden ze zo kunnen inloggen met hun Facebook account bijvoorbeeld. De administratie van ouder-gegevens blijft bestaan natuurlijk.

René vervolgde met een demonstratie van EduArte studentenportaal, wat ik interessant vond omdat we een aanbesteding hebben lopen op deze functionaliteit.

Tips van René:

  • Kleine maar duidelijke stappen zetten.
  • Verlies niet teveel energie aan mensen die niet willen.
  • Niet alle functionaliteit in één klap voor iedereen.

Wij Waterdragers: IT driving the unknown economy

Daan Quakernaat trapt de 34ste saMBO-ICT conferentie af met de keynote. Zijn stelling is dat we in een ‘Unknown Economy” leven. Hij doelt denk ik op een hoge mate van onvoorspelbaarheid. Wel illustreert hij de veranderingen met enkele gapminders. Ben Hans Rosling nog altijd dankbaar voor het verzinnen ervan.

Hij prikkelt ons door te zeggen dat we al 34x met 60 MBO’s bij elkaar komen terwijl heel de wereld 60.000 ‘MBO’s’ heeft. De transitie die plaats vindt in die wereld komt op ons af. “Geen tijd voor strategie” volgens Daan. Succesvol veranderen werkt op basis van scenario’s, niet op basis van strategie. Zodat je tussentijds kunt reageren, want bijsturen moet snel i.v.m. risico’s zoals datalekken en hackers etc.

Hij hekelt de rol van architecten en consultants die alles willen controleren en beheersen, loslaten is zijn devies. De complexiteit van IT illustreert hij met alle services ‘lagen’ die uiteindelijk veroorzaken dat … werknemers excel opstarten.

Zijn stelling is dat standaardsoftware en open standaarden je flexibeler maakt en maatwerk je vast zet. Het proces vooropzetten en vervolgens maatwerk vragen is op langere termijn niet te onderhouden. Processen veranderen namelijk steeds.

Hij maakt een sprongetje naar zijn filosofische achtergrond met een soort yin-yang:

  • Zwart is het deel dat gaat over structuur, checklisten, regels, procedures, controles, iso en feiten etc.
  • Wit gaat over visie, intuïtie, inzicht, bezieling, vertrouwen, geluk, onzekerheid, geloof en onmacht.

Beiden zijn volgens hem nodig, terwijl IT traditioneel op het eerste deel zit.

Daan zijn roots liggen in harde IT, kun je prettig merken omdat hij tegelijkertijd technologie fenomenen kritisch tegen het licht houdt. De kreet “Alle bedrijven zijn IT-bedrijven” is voor mij echter hetzelfde als “Geen enkel bedrijf is een IT-bedrijf”.

 

Twitter Accounts Blokkeren in Bulk

Even iets anders dan Office365. 😉

Ik heb zo’n hekel aan advertenties dat ik er steeds meer energie in steek om ze te blokken. Voor surfen langs sites gebruik ik Adblock Plus en Ghostery.  Het recordaantal adware-scripts dat ik ooit op 1 site vond met Ghostery was bij TechRepublic: meer dan 90! Bah.

Sites die geen toegang verlenen tot hun content als deze plugins aanstaan, laat ik links liggen. Overigens zou ik best onafhankelijke nieuwssites en blogs willen steunen als het maar op een andere manier is dan door te kijken naar reclame. Een mogelijke manier is Flattr. Hiermee kun je een totaalbudget toekennen dat je wilt besteden aan content. Flattr betaalt dan op basis van je surfgedrag de sites naar rato micro-betalingen uit. Een beetje zoals Blendle voor kranten. Hoeven de media-magnaten ‘alleen maar’ deze techniek over te nemen, of een standaard af te spreken met elkaar. 😉

Wat Twitter betreft: daar komen de advertenties als ‘uitgelichte tweets’ voorbij. Deze kunnen in Chrome geblokkeerd worden met ‘extensions’ zoals deze. Maar dat voorkomt niet dat ze in de app op de smartphone verschijnen. Om er toch iets aan te doen hanteer ik de volgende “one-strike-out” regel:

Als een uitgelichte tweet me niet interesseert blokkeer ik het account dat deze aanbiedt.

Wellicht streng, maar dan had je maar intelligenter naar mijn interesses moeten kijken of me de mogelijkheid bieden van een ‘betaalde-pro-reclamevrije-twitter’. Ze krijgen wel een ere-vermelding in deze pagina met Blocked Tweeps. Daar staat ook uitgelegd hoe je in in bulk kunt importeren van een ander.

Het individueel blokkeren kost trouwens 3x tappen. Volgen en Liken maar 1x. 😉 Dat zou nog eens een handige service zijn: een site waarin je op onderwerp blokkeer-lijsten kunt samenstellen en downloaden. Zodat je je eigen blokkades proactief kunt aanvullen met de importfunctie. Of met een variant: lijsten met blokkeer-accounts onderhouden met een community.

Mijn tijdlijn wordt al rustiger, terwijl ik nog onder de 200 accounts zit. Ik ervaar wel dezelfde voldoening als hier omschreven … met de vraag: als je maar doorgaat, belandt je dan vanzelf in een advertentieloos Twitter paradijs? Of in de “limbo” laag van onze Social Media Inception?

Office365 Lessons Learned: Er is geen IK in TEAM

iInTeam

Op de laatste saMBO-ICT Conferentie gaf ik een presentatie met de titel “Office365 – Lessons Learned”. De hele presentatie is hier terug te vinden. Ondertussen komt er nog wel een ander besef dingetje bij. Open deur wellicht, maar je merkt het keer op keer: op SharePoint staat het team centraal en niet het individu.

  • Toelichting: Op één plek je informatie vinden die voor jou van toepassing is, waarbij het individu wél centraal staat is een veelgehoorde belofte. Dat geldt dan wellicht voor je OneDrive, aangezien je deze zelf vult, of voor een intranet-site die gepersonaliseerd is, maar voor bibliotheken in teamsites geldt het niet. De structuur van een site-collectie, subsites en bibliotheken is een team-aangelegenheid.
  • Keus: We zetten de samenwerking op een onderwerp centraal, niet het organogram. Alhoewel een eenheid in het organogram (een school, een team, een dienst) het eerste logische samenwerkingsverband is, ordenen we veel sites op onderwerp. Het is aan teams zelf om een voorkeur uit te spreken voor ordening daar binnen.
  • Hoe: Onderwerpen die voor een groot aantal mensen gelden worden ondergebracht op het hoogste niveau van sitecollecties. Bijvoorbeeld van een hele school of dienst. Groepen die samenwerken op één onderwerp, bijvoorbeeld BPV, Exameninering, Begeleiding krijgen eigen subsites.
  • Reactie:Wat is handiger, ordenen op schooljaar en dan op onderwerp of andersom?” “Mensen slaan bestanden voor BPV op zowel bij de site voor BPV, als bij de map van hun klas, op leerjaar.
  • Gevolg: Wildgroei aan mappen met dezelfde naam en inconsequent gebruik van de opslag.
  • Hoe nu verder: Eigenlijk zouden we meer moeten doen met metadata, site-kolommen, content-types etc. Om vervolgens af te stappen van het gebruik van meerdere bibliotheken en mappen. Tegelijkertijd komen er dan bestanden bij elkaar te staan waarop je verschillende autorisaties voor verschillende groepen wilt uitdelen. Deze zijn juist weer makkelijk in te richten als je separate bibliotheken gebruikt …
    Het alternatief is terugvallen op duidelijke afspraken. Waarbij er evenwicht gezocht wordt tussen het belang van het individu en die van het team. Bijvoorbeeld: ben je op een school BPV-Coördinator dan wil jij voor jou eigenlijk alles dat met BPV te maken heeft op één plek. Ben je mentor van een klas dan wil je voor jouw klas alles bij elkaar, ook dat wat over de BPV gaat. Hier is voor alle types/soorten informatie geen eenduidige keus in te maken. Belangrijker is dat er binnen het team IETS gekozen wordt en dan iedereen zich daar aan houdt en een collega aanspreekt als hij eigen structuurtjes gaat verzinnen.

Office365 Lessons Learned: wat te doen met backup?

Op de laatste saMBO-ICT Conferentie gaf ik een presentatie met de titel “Office365 – Lessons Learned”. De hele presentatie is hier terug te vinden. Ik wil de afzonderlijke punten echter wel verder toelichten, aan de hand van de keus die we maakten, de reacties en gevolgen en hoe het verder moet.

  • Toelichting: In de standaard licentie voor onderwijs zit geen Backup/Restore. Hier zijn wel alternatieven voor bij derden. Wat kan wel:
    Gooi je iets weg dan komt het in de prullenbak van de site. 90 dagen later verhuist het naar de prullenbak van de collectie. Weer 90 dagen later is het echt weg. Let wel: dit geldt voor gewiste bestanden. Voor gewijzigde bestanden moet versiegeschiedenis aan staan wil je terug kunnen naar een vorige versie. Voor gevallen dat iets fout aangepast is en netjes wordt opgeslagen heb je niets aan prullenbak natuurlijk.
  • Keus:
    We bieden geen backup/restore.
  • Hoe:
    Bij per ongeluk verwijderen haal je het bestand uit de prullenbak.
    Bij per ongeluk aanpassen zet je vorige versie terug.
  • Reactie: Dit leidde tot nu toe nauwelijks tot reacties. We kregen wel incidentele vragen maar dat blijken dan mislukte zoekacties te zijn. Dat men vermoedt dat iets gewist was, maar het bestand stond dan gewoon ergens anders opgeslagen. We hebben wel een ransomware-incident gehad. Daar helpt geen prullenbak tegen, aangezien het bestand niet weg is.
  • Gevolg: In het geval van ransomware was de vorige versie niet terug te halen, het bestand was niet weg, maar wel ontoegankelijk geworden.
  • Hoe verder: We zijn nog aan het oriënteren of we backup echt noodzakelijk vinden en of het opweegt tegen de kosten. Er is wel een initiatief van James van den Berg hierover en hij vraagt andere Microsoft klanten om hiervoor te stemmen.

Office365 Lessons Learned: geen scheiding tussen studenten en medewerkers

Op de laatste saMBO-ICT Conferentie gaf ik een presentatie met de titel “Office365 – Lessons Learned”. De hele presentatie is hier terug te vinden. Ik wil de afzonderlijke punten echter wel verder toelichten, aan de hand van de keus die we maakten, de reacties en gevolgen en hoe het verder moet.

  • Toelichting: Dit betreft vooral de intranet toepassing van SharePoint en dan niet zozeer de ‘inhoudelijke’ kant als wel de ‘sociale’ aspecten. In teamsites is inhoud natuurlijk prima te scheiden maar in Exchange / Outlook / Newsfeed / Yammer is standaard iedereen bereikbaar voor iedereen.
  • Keus:
    Zowel medewerkers als deelnemers zitten op één tenant. De complicaties van 2 tenants zou alles alleen maar verergeren. Voorlopig zetten we Newsfeed of Yammer uit en we koppelen telefoonnummers niet door naar Exchange/Outlook en de profielpagina’s. Veel collega’s beschouwen hun werk 06 toch niet als een openbaar gegeven. Als we Yammer standaard aan zouden zetten geven we de hele organisatie een chatroom waar 15.000 studenten en +1000 medewerkers door elkaar berichten uitwisselen.
  • Hoe: Iedereen is bereikbaar in hetzelfde adresboek en profielpagina.
  • Reactie: “Hé, iedereen kan elkaar zien.” “Waarom kan ik mijn 06 niet alleen geven aan collega’s?”
  • Gevolg: We hebben nog geen interne social media voor kennis en expertisedeling, geen integratie voor telefoonnummers en geen automatische vulling voor profielen. Op telefoons zijn alleen je eigen contactpersonen terug te vinden, niet de nummers van je andere collega’s. Ons medewerker smoelenboek blijft nog op het oude intranet systeem (niet in Office365).
  • Hoe verder: Ik vermoed dat het telefonie aspect overbodig wordt als we Skype groot gaan inzetten. Want dan is iedereen bereikbaar wanneer hij/zij wil, of je nu zijn telefoonnummer nu kent of niet. Overigens kun je ook als beleid voeren dat werktelefoonnummers bekend mogen/moeten zijn bij studenten. Veel docenten geven hun nummer ook weg als ze zelf Whatsapp groepen starten met deelnemers toch?
    Toch zit ik nog te dubben over Yammer, het heeft groepen enzo en het wordt waarschijnlijk onderdeel van Office Groups dus er is afscherming mogelijk. Maar op het hoogste niveau is er een open plaats waar iedereen alles kan posten. Moeten we dan ook maar gelijk cyberpesters en trollers gaan modereren? Gelukkig kan het niet anoniem, maar toch…

Office365 Lessons Learned: hoe houd je het innovatie-tempo van Microsoft bij?

Op de laatste saMBO-ICT Conferentie gaf ik een presentatie met de titel “Office365 – Lessons Learned”. De hele presentatie is hier terug te vinden. Ik wil de afzonderlijke punten echter wel verder toelichten, aan de hand van de keus die we maakten, de reacties en gevolgen en hoe het verder moet.

  • Toelichting: De tijden waarin iets 1x per 2 of 3 jaar een nieuwe versie kreeg zijn voorbij. Microsoft pompt met hoge frequentie nieuwe functionaliteit of aanpassingen er door. Kudos voor Satya. De diversiteit aan gereedschappen binnen Office365 is ontzettend hoog, met soms verwante of overlappende functionaliteit. Bijvoorbeeld het bijhouden van taken: gebruik je Outlook taken, taken in OneNote, een SharePoint takenlijst of de nieuwe Planner?
  • Keus:
    Ons beleid: Nieuwe functionaliteit gaat aan, tenzij … en we dwingen niet één manier van gebruik af. Daarvoor is onze organisatie te divers. Zeker op niet-formele processen, zoals voor bekostiging etc.
    Microsofts beleid: Nieuwe functionaliteit kan niet uit, tenzij …
  • Hoe: In de browser wordt de laatste technologie gebruikt, applicaties op beheerde desktops lopen achter, apps op laptops en devices gaan mee in de automatische update/grade.
  • Reactie: “Jullie communiceren niet duidelijk, wanneer wat beschikbaar komt.” of  “Geef eens een duidelijke visie op wat we gaan gebruiken”
  • Gevolg: Tja, das in dit geval een moeilijke. Microsoft vertelt niet tot op de dag precies wanneer iets beschikbaar is voor je eigen tenant. Hoogstens in welk kwartaal. Communicatie-deskundigen hebben liever dat je iets vertelt op het moment dat het nodig is en aan de personen die het treft. Dat is echter nauwelijks in de plannen.
  • Hoe verder: We ondernemen een paar zaken tegelijk:
    • Ongeveer 1x in de 6 weken sturen we een nieuwsbrief naar collega’s die zich abonneren. Hierin worden o.a. aangekondigde functionaliteiten bekend gemaakt.
    • We hebben een zogenaamde “First Release” groep ingericht. Microsoft ondersteunt dit door de leden hiervan de nieuwe functionaliteiten eerder te geven dan aan de collega’s. Hierdoor kun je al kennismaken en vooral de impact van de wijzigingen inschatten. De lengte van deze periode is niet in te stellen of zo en ook voor de first-release groep is niet exact te voorspellen wanneer iets aangaat. Wel handig dat het er is.
    • We volgen de openbare Office Roadmap en het (gesloten) Admin Messagecenter. Hierin komen alle kleine en grote aankondigingen in terecht. Per item schatten we de impact in en definiëren acties. Soms is het iets voor de nieuwsbrief, soms voor het intranet, soms voor een specifieke doelgroep. Het kan leiden tot aangepaste handleidingen of nieuwe inrichtingsvraagstukken.
    • Bewustwording: “verandering is enige constante“. Beetje open deur, maar als mantra herhaal ik het vaak.
    • We hebben een Expertisegroep die bovenstaande organiseert en tweewekelijks bij elkaar komt. Daarin onderzoeken we alles, bekijken mogelijke use-cases en ontwikkelen toepassingen met belanghebbenden. We proberen als het enigszins kan de diversiteit aan gereedschappen te ondersteunen middels best-practices, FAQ, nieuws en handleidingen.