Willem-Jan Swiebel, Gijs Gons (ROC Nova College) en Jocelyn Manderveld (SURF) nemen ons mee in hun verhaal over Learning Analytics in de derde workshopronde van de 34ste saMBO-ICT conferentie.
Jocelyn opent met de hoeveelheid data die we uit ons zelf verzamelen (quantified self) en de vraag of we deze data(verzameling) ook voor het onderwijs kunnen aanwenden. Als praktisch voorbeeld haalt ze de studenten-dashboards aan van Purdue University en Rob Koper.
Jocelyn bakent de data bij Learning Analytics wel af: het betreft dynamische data op microniveau.
Willem-Jan vervolgt met een praktische Use-Case: voorkomen van uitval van studenten. Deze vertrekt vanuit profilering (studenteigenschappen, opleidingseigenschappen en onderwijshistorie) en bekijkt erna het gedrag en eigenschappen tijdens de opleiding. Ongestructureerde data vormt hierbij een uitdaging. Gingen ze als volgt te lijf:
- Extractie van relevantie formulieren: deze werden gescand op specifieke trefwoorden.
- Random Forest Classificatie: Huh, bent u er nog? Voor de statistiek liefhebbers even hier klikken.
- Logistische Regressie op best-fit … ja dan ben je mij ook kwijt, wikipedia niet. 😉
Ze vonden 11 correlaties tussen kenmerken en voorspellingen op uitval. Geslacht, etniciteit, leeftijd, type en niveau vooropleiding, leerweg, postcodegebied, instroomniveau, school van herkomst, leerstoornissen en domein van opleiding. Overigens leidde dit tot nogal wat vragen over verschil tussen correlatie en causaliteit, mitigerende maatregelen, stigmatisering en self-fulfilling prophecy.
Sterk vond ik wel dat zij met 72% zekerheid kunnen zeggen of een specifieke student een diploma zal halen. Dat ligt frappant dicht bij het gemiddelde rendement dat we vanuit jaarresultaat etc kennen.
Al deze inzichten leiden ook tot keuzes: waar focus je je op in de begeleiding, wat gebeurt er als ik extra moeite doet of juist niet? Daarom stelt Willem-Jan: data-gedreven beslissen is mensenwerk. De kennis en kunde om data te interpreteren zijn niet standaard aanwezig.
Jocelyn vermeldt de mogelijkheid om bij Surf zelf een experiment te starten. Dat begint altijd met de vraag “Wat wil je weten?”. Voorbeelden zijn “Heeft de student zijn opdracht ingeleverd?” of “Welk materiaal wordt vaak gebruikt?”. Ook hier komt het menselijke aspect terug: “Voorspellen kan nooit zomaar zonder visie op wat voorspellend is.”
Het gesprek met docenten kan spannend zijn. Positioneer Learning Analytics daarom niet als vergrootglas op wat de docent niet goed doet, maar als hulpmiddel om inzicht te krijgen.