Tag Archives: learning analytics

Learning analytics: Maak het leren zichtbaar.

Vandaag ben ik te gast bij het KW1C voor de 39ste saMBO-ICT Conferentie. JaapJan Vroom van Deltion vertelt over hun initiatieven op het gebied van Learning Analytics. Ze begonnen met een verkenning naar wat ze konden meten om pas erna te kijken wat ze wilden. De vraag “Waar moet Learning Analytics een antwoord op geven?” was volgend. JaapJan was de eerste om toe te geven dat je normaal gesproken daar mee moet starten maar begrijpelijk dat je tijdens een verkenning andersom aanpakt.

Ze werken met Xerte als auteurstool voor online lesmateriaal. Ze investeerden om Xerte te voorzien van xAPI en aan te sluiten op een LRS (Learning Record Store). In de pre-pilot gebruikten ze deze voor professionaliseringsmodule voor docenten (slim want geen studentengegevens en AVG ‘gedoe’).

Wat ik frappant vindt, is dat tijdens het leren een soort ‘activiteiten-stroom’ ontstaat die in gewone taal te begrijpen is. Bijvoorbeeld: pagina X is gestart, beëindigt, opdracht Y is gescored, video Z is bekeken etc. Per ‘statement’ is dit niet zo relevant, maar over het totaal zijn interessante rapportages te maken.

Het roep veel vragen op maar voor dit stadium (verkenning in een pre-pilot) is dat logisch, tegelijk kom je dan op ideeën. Bijvoorbeeld: een uitgever geeft nu alleen een eindresultaat terug aan de school, maar met deze techniek zou ook het leerproces daar naar toe, inzichtelijk gemaakt kunnen worden. In de volgende stap willen ze wel degelijk naar studenten-gegevens kijken natuurlijk. JaapJan heeft daarom ideeën over gebruiksvriendelijke manieren om ‘consent’ vast te leggen.

Overigens zie ik dat wel vaker bij innovatieve trajecten: eerst praktisch ervaring opdoen over wat er kan en aan beeldvorming doen en dan pas kijken hoe en of dit nuttig is. En niet andersom door vaak lang bezig te zijn met mooie doelen en de ‘waarom’ vraag, terwijl je eigenlijk niet op gang komt. Leren door doen dus.

Datagestuurd onderwijs op #samboict

Ik ben vandaag te gast bij het Zadkine voor de 37ste saMBO-ICT conferentie. In de laatste ronde nemen Jacob Poortstra (Noorderpoort), Nynke de Boer (SURF) en Marius Zandwijk
(Kennisnet) ons mee in de ontwikkelingen.

Marius opent met de kennissessies “Met en van elkaar leren” en “Van inspiratie naar doen” van vorig jaar. De focus lag op data uit de intake- en begeleidingsprocessen, analyses, ethiek en IBP. In 2018 staat een bootcamp gepland, ontwikkelen ze een praktisch instrument voor het bespreken van ethische vragen, worden use cases beschreven en komt er een werkconferentie in juni. Meer gegevens zijn bij Marius op te vragen.

Jacob vervolgt met hun ervaringen bij Noorderpoort. De motieven op een rij:

Steeds meer e-learning modules.
Online leren verschilt van klassikaal leren. Een deel van het inzicht dat je terloops opdoet valt weg vermoed ik.
Inzicht nodig in gebruik van leermateriaal.
Betere begeleiding van de student en zijn voortgang.

Hij stemde dit af met zijn studenten waarbij hij oprecht vroeg of ze kunnen presteren als er online ergens een les staat met af en toe een Skype gesprek. Frappant was dat studenten daar niet zomaar blij van werden. 😉

Ze zijn gestart met zowel lessen in de klas als online voor 17 studenten van MBO 3/4. Wat ik zelf echt heel goed vind: niet zomaar denken dat je dit big-bang kunt doen met honderden studenten. Realistisch klein beginnen en ervan leren dus. Ook geeft Jacob aan het onverantwoordelijk te vinden om studenten voor een examen de dupe te laten worden van iets dat experimenteel is. Eens!

De voortgang wordt technisch gemeten door ‘trackers’. Die vanuit de advertentiewereld natuurlijk een slechte naam hebben. De studenten (ouder dan 16) die meededen waren wel akkoord gegaan op het verzamelen van de data. Ze hadden ook altijd een knop om ‘uit te stappen’. Intern werd de data niet verder gedeeld met collega’s van Jacob.

Hij ziet wie er gebruik maakten van het materiaal, hoe ver ze zijn en hoe ze scoren op een zelftoets. Jacob gebruikt deze informatie voor de begeleiding van zijn studenten. Om metingen wat concreter te maken verzon hij een “inspanningscoëfficiënt”, een soort kpi die aangaf hoeveel online acties een student deed. Vervolgens spiegelde hij dit aan toetsresultaten. De student zelf ziet zijn eigen activiteit t.o.v. de andere studenten en een vergelijking van eigen uitgevoerde activiteiten.

De stand van de technologie is wel dusdanig dat het niet zomaar plug-and-play is. Niet erg, want anders kom je nooit verder maar je moet daar wel tegen kunnen.

Keynote #owd17 Learning Analytics: Harnessing Data Science to Transform Education

Ik ben vandaag aan het bloggen op de Onderwijsdagen. De conferentie opent met de keynote van Timothy McKay. Zelf is hij een data-scientist, waar hij, letterlijk, astronomische hoeveelheden van heeft.

Hij opent met wat kengetallen van z’n werkplek: Universiteit van Michigan met “Education at Scale” als missie. Bijna 7000 medewerkers en een budget van 7 miljard, waarvan 1,4 in research zit. Ja poeh, groot hoor. Mooi is wel zijn opmaat naar Learning Analytics. Eerst deed hij onderzoek naar sterrenstelsels, in de 100 miljoenen. Vervolgens keek hij naar z’n studenten en besefte dat hij daar minder van wist dan van het heelal. Vind het zelf altijd fijn als een onderzoeker soort van nederig blijft beseffen wat hij nog niet weet.

Hij vermeld het ‘2 sigma Probleem‘ oftwel hoe vergroot je het effect van het leren afhankelijk van de manier van onderwijzen? En vervolgt met de vraag: “Hoe personaliseer je op grote schaal?”. Het antwoord hierop is een socio-technologische uitdaging. Onderdeel hiervan zijn principes als welke data is relevant, wat zijn de normen bij het vergaren van data in relatie tot autonomie, toestemming en privacy? Hij werkt een paar terreinen uit:

Respecteer de rechten en waardigheid van studenten. Hij is tegen ‘predictive analytics’ en moedigt aan niet te kijken naar wat er in de toekomst mis kan gaan maar kijk hoe je kunt oplossen wat niet goed gaat. Verder is hij heel kritisch naar het labelen en categoriseren van individuen. Het schiet altijd te kort omdat de plek van een kenmerk in een tabel lang niet altijd de complexiteit van de werkelijkheid goed weergeeft.
Daarnaast wil je met de data kunnen spelen zonder dat je de specifieke data van een individu ziet.
Weet wat je wilt verzamelen: ze meten vanzelfsprekend examens en aanwezigheid etc. Wat er ‘ontploft’ is de hoeveelheid digitaal vastgelegde zaken zoals ‘clickstreams’ en chats etc. Wat ze eigenlijk willen is een soort portret kunnen samenstellen en dus alleen de data verzamelen die daar aan bijdragen.
Nog verder gedacht, veel interessanter zijn bijvoorbeeld intellectuele breedte en diepgang in een vakgebied.
Analyse: Timothy illustreert heel mooi allerlei vormen van analyses. Welke vakken geven lagere cijfers? Welke groepen (bijvoorbeeld naar geslacht) hebben daar het meest last van? Welke extra lessen geven in welke mate betere cijfers in het vervolg van de leerroute?

Een universiteit waardig, stoppen ze het onderzoek naar hun eigen onderwijs in een volwaardig programma waar meerdere wetenschappers zich mee bezig houden. Het uiteindelijke doel is hun onderwijs gepersonaliseerd waardevoller en effectiever maken.

Timothy vertelt veel en snel zonder onaangenaam te ratelen. Inhoudelijk zou zijn verhaal wel een dag op zich kunnen vullen omdat het zo vol zit met aanwijzingen, waarschuwingen en best-practices.

Update: de sessie is hier na te kijken als video.

Learning analytics: infrastructuur en voorspellende stuurinformatie op #samboict

Willem-Jan Swiebel, Gijs Gons (ROC Nova College) en Jocelyn Manderveld (SURF) nemen ons mee in hun verhaal over Learning Analytics in de derde workshopronde van de 34ste saMBO-ICT conferentie.

Jocelyn opent met de hoeveelheid data die we uit ons zelf verzamelen (quantified self) en de vraag of we deze data(verzameling) ook voor het onderwijs kunnen aanwenden. Als praktisch voorbeeld haalt ze de studenten-dashboards aan van Purdue University en Rob Koper.

Jocelyn bakent de data bij Learning Analytics wel af: het betreft dynamische data op microniveau.

Willem-Jan vervolgt met een praktische Use-Case: voorkomen van uitval van studenten. Deze vertrekt vanuit profilering (studenteigenschappen, opleidingseigenschappen en onderwijshistorie) en bekijkt erna het gedrag en eigenschappen tijdens de opleiding. Ongestructureerde data vormt hierbij een uitdaging. Gingen ze als volgt te lijf:

Extractie van relevantie formulieren: deze werden gescand op specifieke trefwoorden.
Random Forest Classificatie: Huh, bent u er nog? Voor de statistiek liefhebbers even hier klikken.
Logistische Regressie op best-fit … ja dan ben je mij ook kwijt, wikipedia niet. 😉

Ze vonden 11 correlaties tussen kenmerken en voorspellingen op uitval. Geslacht, etniciteit, leeftijd, type en niveau vooropleiding, leerweg, postcodegebied, instroomniveau, school van herkomst, leerstoornissen en domein van opleiding. Overigens leidde dit tot nogal wat vragen over verschil tussen correlatie en causaliteit, mitigerende maatregelen, stigmatisering en self-fulfilling prophecy.

Sterk vond ik wel dat zij met 72% zekerheid kunnen zeggen of een specifieke student een diploma zal halen. Dat ligt frappant dicht bij het gemiddelde rendement dat we vanuit jaarresultaat etc kennen.

Al deze inzichten leiden ook tot keuzes: waar focus je je op in de begeleiding, wat gebeurt er als ik extra moeite doet of juist niet? Daarom stelt Willem-Jan: data-gedreven beslissen is mensenwerk. De kennis en kunde om data te interpreteren zijn niet standaard aanwezig.

Jocelyn vermeldt de mogelijkheid om bij Surf zelf een experiment te starten. Dat begint altijd met de vraag “Wat wil je weten?”. Voorbeelden zijn “Heeft de student zijn opdracht ingeleverd?” of “Welk materiaal wordt vaak gebruikt?”. Ook hier komt het menselijke aspect terug: “Voorspellen kan nooit zomaar zonder visie op wat voorspellend is.”

Het gesprek met docenten kan spannend zijn. Positioneer Learning Analytics daarom niet als vergrootglas op wat de docent niet goed doet, maar als hulpmiddel om inzicht te krijgen.