OEB16: Learning analytics call out for action

Article first published on SeOppi 2/2016

Text: Lasse Seppänen, Häme University of Applied Sciences (HAMK)

Learning analytics is becoming a popular function in learning management. Learning analytics targets a multitude of matters such as tracking course evaluations and students’ progress in their courses as well as even monitoring potential drop-out students. This presentation deals with the monitoring of potential drop-outs. Can we detect them from their LMS data before they actually leave?

The study we report in this presentation is being performed at Häme University of Applied Sciences (HAMK). The target group is the first year students in the Degree Programme in Business Information Technology (Business IT). Annually, the intake is tens of students to both daytime and online studies. We can estimate that about 10 students will leave during or after their first year or later, particularly when they find it difficult to complete their theses. It would be important to learn if there were possibilities for helping the first year students and thus preventing the interruption of their studies.

In Business IT, Moodle LMS is in heavy use. That fact forms the background for the algorithms that we created during this study. The use of Moodle should be constant during the first two years of studies. Moodle is used in every course, and students cannot perform well if they do not use it every day.

An academic year at HAMK is divided into four periods of eight weeks. Each school day is divided into two sections: 8:45-12:00 and 12:45-16:00 with lunch in between. It would be natural to think that the students would log in into Moodle at least twice a day, making the total number of their logins 10 per week per person. But the students do quite a lot of group work and it is possible that they follow their peers’ work in Moodle. It is the school custom that one student returns the group tasks on behalf of the whole group. This could lower the login frequency even if the students are appropriately active in their schoolwork.

For the purposes of this study, we selected a threshold value of four weekly logins. We consider this selection a logical one as we know that if a student logs in into Moodle only 0-3 times a week, there is something wrong. That student would be logging in into Moodle for only 30% of studies or less.

The reduction of a student’s activity level during studies would be detected much later in a traditional environment. In the worst case, a student having dropped out might be detected only the following year when the student failed to enroll for the year. In our study, we monitor the first-year daytime students’ logins into Moodle on a weekly basis.

The study was started by analyzing the data of the first year students in 2014. We were able to construct an algorithm and methods that gave us reliable results: we could pinpoint all students at the end of November who would later interrupt their studies. Some students continued their studies past Christmas, but dropped out eventually. The algorithm also detected a student who had taken an unauthorized one-week holiday in Greece.
We have built a login follow-up system during autumn 2016. It sends weekly reports of students with a low login rate to the student counsellor. The system is being introduced as this article is being written. We will make more information available later.

Poluttamo-artikkeleita SeOppi-lehdessä

Poluttamo-hanke on mukana Suomen eOppimiskeskus ry:n uunituoreessa SeOppi-lehdessä kolmella artikkelilla:

  • Merja Saarela: Multimodality and learning: Increasing understandability and accessibility
  • Kari A. Hintikka: Oman opintopolun visualisointia tiekartaksi – Personal learning paths as visual roadmaps
  • Lasse Seppänen: Oppimisanalytiikka hälyttää toimimaan – Learning analytics call out for action

Lehti on selattavissa sähköisesti Slidesharessa sekä pdf-versiona.

Oppimisanalytiikka Suomen kartalle

Opetus- ja kulttuuriministeriö kiihdytti alkusyksystä suomalaista oppimisanalytiikan kehittämistä kutsumalla koolle työpajan. Tavoitteena oli löytää konkreettisia, kansallisen tason hankeideoita ja mahdollisia yhteenliittymiä toteuttamaan niitä. Käytännön järjestelyistä ja päivän kulusta vastasi Suomen eOppimiskeskus.

Aamupäivän aikana tutustuttiin ViLLE-tiimin saamiin tuloksiin oppimisanalytiikan käytöstä matematiikassa ja esiteltiin uusi oppimisanalytiikan keskus. Lisäksi tarkasteltiin analytiikkaa EduCloud Alliancen (ECA) ja kustantajan näkökulmista sekä uuden EU-henkilösuojalain asettamiin rajoituksiin ministeriön tämän hetkisen tilanteen mukaan.

Aamupäivään osallistui paikan päällä ja verkossa yli 60 ihmistä. Oppimisanalytiikan tuomat mahdollisuudet toisaalta ohjauksen välineenä ja toisaalta oppijan omana työvälineenä nähdään selkeänä mahdollisuutena, joka pitäisi saada kaikkialla käyttöön mahdollisimman pian.

Puheenvuorot ja aineistot tulevat jakoon MPASS-hankkeen sivulle. MPASS on ECA-konsortion kehittämä kirjautumis- ja tunnistuspalvelu kouluille ja yrityksille.

Erityisesti valmisteltavalla EU:n tietosuoja-asetuksella voi olla suurikin merkitys oppilasdatan keräämiseen tai sen puuttumiseen. Eri arvioiden mukaan parhaimmillaan oppilaitoksissa voidaan jatkaa nykyiseen tapaan, huonoimmillaan jokaiselta opiskelijalta jouduttaisiin pyytämään lupa kerätä dataa joka kerta erikseen jokaisen kurssin tai vastaavan opinnon alussa. Oppilas voisi myös ilmoituksella keskeyttää datan keräämisen halutessaan.

Tavallaan uusi henkilösuojalaki on erittäin ymmärrettävä ja kannatettava yksilön näkökulmasta. Nykyään käyttäjädatan kerääminen ja sen jatkohyödyntäminen rehottaa varsin villinä erityisesti sosiaalisen median palveluissa. Poluttamo seuraa aktiivisesti uuden lain etenemistä.

Iltapäivä jatkui lounaan jälkeen ryhmätöinä. Pohjustuksena jokaiselle ryhmätyölle esitettiin reaalimaailman haaste, jota ryhmä lähti yhdessä myllertämään eteenpäin. Myös ratkaistujen ongelmien ohjeistukset tulevat jakoon MPASS-sivustolle nauhoituksina.

Päivän suunnitteluvaiheessa ajatuksena oli hackathon-tyyppinen päivä, mutta iltapäivä on aina liian lyhyt aika niin pitkälle vietyyn työskentelyyn. Keskustelua nousi runsaasti monista eri näkökulmista ja ryhmät löysivät useita erilaisia reittejä eteenpäin. Lopulta jokainen ryhmä löysi tavan, joka saattaisi ratkaista ainakin osan esitetystä haasteesta.

Yksi ryhmistä tarkasteli datan vaihtoa ja jakamista oppi- ja tutkimuslaitosten kesken. Ryhmä tunnisti useita tämänhetkisiä ongelmia, kuten että oppi- ja tutkimuslaitokset mittaavat opetustoiminnassaan eri asioita ja eri tavoin.

Erityisesti oppilasdatan julkisessa jakamisessa internetissä on oltava varovainen. Oppilaitoksesta riippuen hyvinkin anonymisoidusta datasta voidaan mahdollisesti tunnistaa opiskelijat.

Ryhmä päätyi kehittämään ennakoivaa ratkaisua edellämainittuun uuteen henkilösuojalakiin oppilaitosten näkökulmasta. Oppilaalle voitaisiin tarjota datankeruun hyväksyminen tai kieltäminen aina kirjautuessaan verkko-oppimisympäristöön. Tällöin sopimus käyttäjän kanssa olisi luontevassa paikassa ja halutessaan keruu olisi helppo myös kieltää. Idean pilottihankkeen kehittelyä jatketaan.

Pajapäivän päätteeksi OKM sai neljä esitystä ketteriksi kokeiluiksi. Niiden pohjalta ministeriö voi tarkastella, mitkä ovat sellaisia osa-alueita, jotka ovat kansallisesti merkittäviä, jotka ovat liian isoja yrityksille ja oppilaitoksille yksin ratkaistavaksi tai niin merkittäviä kansallisesta näkökulmasta, ettei yrityksiä pidä jättää yksin niitä ratkomaan.

Yhteisesti tapaaminen koettiin hyväksi ja tulokset sellaiseksi, että tästä päästään liikkeelle kansallisten voimien yhdistämisestä oppimisanalytiikassa. Tutkijat alkoivat myös etsiä yhteistä verkostoitumismuotoa, jotta akuutit lupa-asiat saadaan heti hoidettua kuntoon ja että itse data-analyysimallit saataisiin yhteisen kehityksen alle.

Tästä on hyvä jatkaa.

Teksti: Kaisa Honkonen & Kari A. Hintikka

Moodlen login-tiedoista tehtyjä keskeytyspäätelmiä, versio 1

Tutkin lukuvuoden 2014-2015 tietojenkäsittelyn opiskelijoiden ensimmäisen vuoden ryhmän TRTKNU14A3 login-tietoja Moodlesta. Tiedot oli opiskelijakohtaisesti järjestetty siten, että jokaisen opiskelijan viikon aikana tekemät Moodle-aktiviteetit oli summattu yhteen. Tiedot toimitti HAMKin tietohallinto. Lisäsin näihin tietoihin ns. nollarivit eli jos opiskelija ei ollut viikon aikana lainkaan käynyt Moodlessa, hänestä ei jäänyt mitään jälkeä. Käsittelin näistä tiedoista ainoastaan Moodleen sisäänkirjautumista.

Aluksi käytin Power BI –työkaluohjelmistoa. Sillä tarkastelin opo Maija Kerkolan kanssa ryhmän NU14 käyttäytymistä.

Silmämääräisesti huomasimme, että joillakin opiskelijoilla toisen periodin aikainen käyttäytyminen poikkesi valtavirrasta huonompana aktiivisuutena. Näillä opiskelijoilla opinnot käytännössä keskeytyivät. Osa heistä on vielä kirjoilla, mutta käytännössä he eivät opiskele lainkaan.

Kirjoitin sen jälkeen 80-rivisen ohjelman perl-ohjelmointikielellä. Siinä tutkin erilaisia algoritmeja. Algoritmi, joka olisi paljastanut keskeyttäneistä kaikki muut paitsi yhden yliopistoon siirtyneen:

If (logins[viikko46] < 4 or logins[viikko47] < 4 or logins[viikko48] < 4 or logins[viikko7] = 0 or logins[viikko11] = 0)

{

Keskeytys();

}

Tätä algoritmia voi ajaa viikosta 47 alkaen viikottain, kun viikon 46 data on jo tallessa.

Algoritmi on niin tarkka, että se tuotti vain yhden hudin opiskelijasta, joka oli viikon marraskuussa matkoilla. Hänen opintonsa jatkuvat edelleen mallikkaasti.

Algoritmia voisi vielä tarkentaa siten, että se huomaisi viikoilla 46-48 laskevan login-aktivisuuden, mutta tämäkin näyttää varsin hyvin toimivan.

Tämä on siis yhden vuoden lukujen perusteella. Voi olla, että vuodet ovat erilaiset keskenään, opetus voi olla erilaista eri aikoihin sijoitettua jne.

Samaa algoritmia tuskin voi soveltaa ihan suoraan muihin koulutusohjelmiin, mutta yleisesti ottaen tätä menetelmää kannattaa kyllä kokeilla.

Seuraavaksi on tarkoitus tutkia tätä vuoden 2015-2016 datalla.

Teksti: Lasse Seppänen

Oppimisanalytiikkaa oppimassa

Poluttamon yhtenä teemana on oppimisanalytiikka (learning analytics). Menetelmänä – tai menetelmäkokonaisuutena – se Suomessa on vielä varsin uusi, mutta oletettavasti lähivuosina yleistyy nopeasti. Viime huhtikuun ITK-konferenssissa pidettiin ensimmäinen epävirallinen kokoontumisajo.

Oppimisanalytiikalla tarkoitetaan oppilaan digitaalisia jalanjälkiä niin suorituksissa, edistymisessä, arvioissa kuin digioppimisympäristössäkin. Jalanjäljet voivat olla niin määrällisiä kuin laadullisia. Tätä dataa voidaan hyödyntää monin tavoin: niin etenemisen seuraamisessa, henkilökohtaisten ohjaustoimien kehittämisessä kuin setvimällä, missä kohden MOOC-kurssi menee monella oppilaalla vaikeaksi ja voisiko oppimateriaalia kehittää.

Oppimisanalytiikan yleisesimerkkinä on pidetty Netflixin tuottamaa House of Cards -sarjaa. Netflix tiettävästi analysoi katsojien käyttäytymistä tarkkaan, kuten mitä kohtia ihmiset katsovat uudelleen ja minkä hahmon ilmaantuessa kohtaukseen pikakelataan. Näin sarjaa voidaan käsikirjoittaa lennosta katsojien mieltymysten suuntaan.

Otavan Opistossa olemme muutaman vuoden ajan kokeilleet ennakoida digijalanjäljistä, mitä valintoja uusi opiskelija mahdollisesti tekee suhteessa aiempien opiskelijoiden tekemiin valintoihin. Poluttamossa yhtenä tavoiteenamme on, että voisimme visualisoida helposti ymmärrettävästi opiskelijalle, millaisia valintoja muut ovat aiemmin vastaavassa tilanteessa tehneet. Näin opiskelija näkisi monisyisen kurssitarjottimen yhtenä kokonaisuutena sekä vaihtoehtoja jatko-opinnoille.

Harva nykyään edes miettii, kuinka paljon arkisista toimista tallentuu digitaalisesti. Niitä voidaan hyödyntää niin osana motivaatiota nousta päivittäin rappuja kuin valita päivällisen ainekset tai seurata mihin työaika todellisuudessa kuluu. Oppimisanalytiikka voi tuottaa paljon uusia näkökulmia siihen, mitä opiskelussa ja opettamisessa todellisuudessa tapahtuu. Samalla on kuitenkin itsestäänselvyys, että datan käsittely ja ylipäänsä tallentaminen edellyttää huolellisuutta. Suomessa esimerkiksi täysin käsittelemätön kysymys on, omistaako opiskelija itse tuottamansa digitaaliset jalanjäljet tai saako hän ne halutessaan itselleen?

Teksti: Kari A. Hintikka