learning analytics

Keynote #owd17 Learning Analytics: Harnessing Data Science to Transform Education

Ik ben vandaag aan het bloggen op de Onderwijsdagen. De conferentie opent met de keynote van Timothy McKay. Zelf is hij een data-scientist, waar hij, letterlijk, astronomische hoeveelheden van heeft.

Hij opent met wat kengetallen van z’n werkplek: Universiteit van Michigan met “Education at Scale” als missie. Bijna 7000 medewerkers en een budget van 7 miljard, waarvan 1,4 in research zit. Ja poeh, groot hoor. Mooi is wel zijn opmaat naar Learning Analytics. Eerst deed hij onderzoek naar sterrenstelsels, in de 100 miljoenen. Vervolgens keek hij naar z’n studenten en besefte dat hij daar minder van wist dan van het heelal. Vind het zelf altijd fijn als een onderzoeker soort van nederig blijft beseffen wat hij nog niet weet.

Hij vermeld het ‘2 sigma Probleem‘ oftwel hoe vergroot je het effect van het leren afhankelijk van de manier van onderwijzen? En vervolgt met de vraag: “Hoe personaliseer je op grote schaal?”. Het antwoord hierop is een socio-technologische uitdaging. Onderdeel hiervan zijn principes als welke data is relevant, wat zijn de normen bij het vergaren van data in relatie tot autonomie, toestemming en privacy? Hij werkt een paar terreinen uit:

  • Respecteer de rechten en waardigheid van studenten. Hij is tegen ‘predictive analytics’ en moedigt aan niet te kijken naar wat er in de toekomst mis kan gaan maar kijk hoe je kunt oplossen wat niet goed gaat. Verder is hij heel kritisch naar het labelen en categoriseren van individuen. Het schiet altijd te kort omdat de plek van een kenmerk in een tabel lang niet altijd de complexiteit van de werkelijkheid goed weergeeft.
    Daarnaast wil je met de data kunnen spelen zonder dat je de specifieke data van een individu ziet.
  • Weet wat je wilt verzamelen: ze meten vanzelfsprekend examens en aanwezigheid etc. Wat er ‘ontploft’ is de hoeveelheid digitaal vastgelegde zaken zoals ‘clickstreams’ en chats etc. Wat ze eigenlijk willen is een soort portret kunnen samenstellen en dus alleen de data verzamelen die daar aan bijdragen.
    Nog verder gedacht, veel interessanter zijn bijvoorbeeld intellectuele breedte en diepgang in een vakgebied.
  • Analyse: Timothy illustreert heel mooi allerlei vormen van analyses. Welke vakken geven lagere cijfers? Welke groepen (bijvoorbeeld naar geslacht) hebben daar het meest last van? Welke extra lessen geven in welke mate betere cijfers in het vervolg van de leerroute?

Een universiteit waardig, stoppen ze het onderzoek naar hun eigen onderwijs in een volwaardig programma waar meerdere wetenschappers zich mee bezig houden. Het uiteindelijke doel is hun onderwijs gepersonaliseerd waardevoller en effectiever maken.

Timothy vertelt veel en snel zonder onaangenaam te ratelen. Inhoudelijk zou zijn verhaal wel een dag op zich kunnen vullen omdat het zo vol zit met aanwijzingen, waarschuwingen en best-practices.

Learning analytics: infrastructuur en voorspellende stuurinformatie op #samboict

Willem-Jan Swiebel, Gijs Gons (ROC Nova College) en Jocelyn Manderveld (SURF) nemen ons mee in hun verhaal over Learning Analytics in de derde workshopronde van de 34ste saMBO-ICT conferentie.

Jocelyn opent met de hoeveelheid data die we uit ons zelf verzamelen (quantified self) en de vraag of we deze data(verzameling) ook voor het onderwijs kunnen aanwenden. Als praktisch voorbeeld haalt ze de studenten-dashboards aan van Purdue University en Rob Koper.

coursesignals six-dimensions-of-learning-analytics

Jocelyn bakent de data bij Learning Analytics wel af: het betreft dynamische data op microniveau.

Willem-Jan vervolgt met een praktische Use-Case: voorkomen van uitval van studenten. Deze vertrekt vanuit profilering (studenteigenschappen, opleidingseigenschappen en onderwijshistorie) en bekijkt erna het gedrag en eigenschappen tijdens de opleiding. Ongestructureerde data vormt hierbij een uitdaging. Gingen ze als volgt te lijf:

  • Extractie van relevantie formulieren: deze werden gescand op specifieke trefwoorden.
  • Random Forest Classificatie: Huh, bent u er nog? Voor de statistiek liefhebbers even hier klikken.
  • Logistische Regressie op best-fit … ja dan ben je mij ook kwijt, wikipedia niet. 😉

Ze vonden 11 correlaties tussen kenmerken en voorspellingen op uitval. Geslacht, etniciteit, leeftijd, type en niveau vooropleiding, leerweg, postcodegebied, instroomniveau, school van herkomst, leerstoornissen en domein van opleiding. Overigens leidde dit tot nogal wat vragen over verschil tussen correlatie en causaliteit, mitigerende maatregelen, stigmatisering en self-fulfilling prophecy.

Sterk vond ik wel dat zij met 72% zekerheid kunnen zeggen of een specifieke student een diploma zal halen. Dat ligt frappant dicht bij het gemiddelde rendement dat we vanuit jaarresultaat etc kennen.

Al deze inzichten leiden ook tot keuzes: waar focus je je op in de begeleiding, wat gebeurt er als ik extra moeite doet of juist niet? Daarom stelt Willem-Jan: data-gedreven beslissen is mensenwerk. De kennis en kunde om data te interpreteren zijn niet standaard aanwezig.

Jocelyn vermeldt de mogelijkheid om bij Surf zelf een experiment te starten. Dat begint altijd met de vraag “Wat wil je weten?”. Voorbeelden zijn “Heeft de student zijn opdracht ingeleverd?” of “Welk materiaal wordt vaak gebruikt?”. Ook hier komt het menselijke aspect terug: “Voorspellen kan nooit zomaar zonder visie op wat voorspellend is.”

Het gesprek met docenten kan spannend zijn. Positioneer Learning Analytics daarom niet als vergrootglas op wat de docent niet goed doet, maar als hulpmiddel om inzicht te krijgen.