Oppimisanalytiikka ja tietosuojamasennus

Artikkeli julkaistu SeOppi 2/2018 -lehdessä.

Teksti: Lasse Seppänen, Hämeen ammattikorkeakoulu

Poluttamo-hankkeessa on ohjelmoitu oppimisanalytiikan järjestelmä, joka tarkastelee opiskelijoiden Moodlen käytön aktiivisuutta. Tästä aktiivisuudesta järjestelmä lähettää sähköposteja määritellyille henkilöille. Tietosuoja-asetuksen voimaantulo on aiheuttanut kysymysmerkkejä järjestelmän käytölle.

Järjestelmää on ajettu menestyksellisesti ennen tietosuoja-asetuksen voimaantuloa. Opot ovat saaneet ajantasaista tietoa opiskelijoiden aktiivisuudesta, jota mitattiin laskemalla, kuinka monta kertaa viikossa opiskelijat kävivät Moodlessa. Näin opot sekä löysivät uusia ongelmatapauksia että pystyivät seuraamaan jo löytyneiden aktiivisuutta.

Ongelmaksi muodostui tietosuoja-asetus, josta ei saatu selvää tulkintaa järjestelmän käyttämiselle. Toistaiseksi järjestelmää ei käytetä ennen kuin saadaan selville, miten sitä voi käyttää varmasti laillisesti. Tässä on muutamia kysymyksiä ja vastauksia tämänhetkisen tiedon ja luulon perusteella:

  • Profiloiko järjestelmä opiskelijoita?
  • Kuuluuko järjestelmän käyttö ammattikorkeakoulun lakisääteisiin tehtäviin?
  • Millaiset suostumukset opiskelijoilta vaaditaan, jotta järjestelmää voidaan heidän kohdallaan käyttää?

Profilointia vai ei profilointia

Yleisesti ottaen profiloinnilla tarkoitetaan sellaista henkilötietojen automaattista käsittelyä, jossa arvioidaan ihmisen henkilökohtaisia ominaisuuksia. Näitä ovat esimerkiksi käyttäytymiseen liittyvien piirteiden analysointi tai ennakointi. Järjestelmämme tutkii tietyllä tavalla käyttäytymistä.

Päätöksenteko on automaattista, kun on kyse pelkästään automaattiseen henkilötietojen käsittelyyn perustuvasta päätöksenteosta ja tehtävillä päätöksillä on oikeusvaikutuksia tai tällaiset päätökset muuten vaikuttavat rekisteröityyn merkittävästi.

Järjestelmämme tuottaa tilaston kaikista opintoryhmän opiskelijoista, joten se ei erottele ryhmästä tiettyjä opiskelijoita erilleen. Näin järjestelmä ei siis profiloi, vaan tilaston perusteella opo tekee ohjauspäätöksiä.

Ammattikorkeakoulun lakisääteiset tehtävät

Ammattikorkeakoululaissa määritellään seuraavaa:

”Opiskelijan … toimintakykyä koskevia ja tehtävien hoidon kannalta välttämättömiä tietoja … oikeus antaa opinto-ohjauksesta vastaaville henkilölle muihin opintoihin ja tukipalveluihin ohjaamista varten.”

Voidaanko tulkita, että Moodlen sisäänkirjautumistiedot kertovat opiskelijan toimintakyvystä ja että ne voidaan täten lähettää opolle jatkotoimia varten? Missä määrin opiskelijan tällainen seuraaminen kuuluu lakisääteisiin tehtäviin, jää vielä kattavasti vastaamatta.

Analytiikasta informointi

Rekisterinpitäjän on muistettava informointivelvollisuus kaikissa henkilötietojen käsittelytoimissa. Kun kyseessä on erityisesti ensimmäisen vuoden alun seuraamiseen ajateltu järjestelmä, on haastavaa ajatella, miten informointi ja suostumusten pyytäminen voisi toimia käytännössä kaikille opiskelijoille ennen ensimmäistä analytiikan ajoa. Esimerkiksi jos opiskelija on koulun kirjoilla, mutta ei ole vielä tullut kouluun. Suostumusta on mahdoton pyytää, mutta alhainen aktiivisuus olisi tärkeä saada tietää heti. Opiskelija saataisiin välittömästi ohjauksen piiriin. Tämäkin asia jää vielä ratkaisematta.

Ammattikorkeakoululaki
Automaattinen päätöksenteko ja profilointi, Tietosuojavaltuutetun toimisto
EU:n yleinen tietosuoja-asetus
www.finlex.fi/fi/esitykset/he/2017/20170039.pdf

Sanaa tietosuojamasennus on ensimmäisen kerran käyttänyt Jarmo Aho, Omnia, 16.8.2018.

Mainokset

Challenges for learning analytics

Article first published on SeOppi 2/2017.

Text: Lasse Seppänen, Häme University of Applied Sciences (HAMK)

Learning analytics is becoming very popular in student administration. Study performance and students in danger of dropping out can be monitored. If a student’s activity level decreases at some point during the school year, the monitoring of only grades and courses passed would reveal this, in the worst case, as late as the following year.

Our study monitored weekly logins to the learning platform. In the fall of 2016, the Adaptable Learning Paths project at HAMK University of Applied Sciences constructed a system that monitors students’ weekly logins and sends the study advisor weekly messages about students with reduced login rates. The target group was initially the students of computer sciences, but other students were included later.

In computer studies, if a student is to drop out, it most often takes place during the first year, or, alternatively, the student is not able to complete his or her final thesis at the end of the studies. The early detection of the potential drop-outs among first-year students is very important. The thesis process was modified in 2017 to structure it so that it would not be easy to leave it incomplete.

In computer sciences, the learning platform Moodle is in active use. Moodle is in frequent use in all studies during the first two years, and in practice, students must log in daily or almost daily. The algorithms we developed are based on this fact.

The standard working day at HAMK consists of two parts separated by the lunch break. It is natural to think that students would log in to Moodle at least twice each day, achieving a minimum of 10 logins per week. However, students are required to complete a great deal of group work and one group member may submit the work of all others as well. This may lower the login frequency of group members even if they are active in their studies.

Monitoring weekly logins, we first put the threshold at four logins. We thought it a logical conclusion that if a student logs in to Moodle only 0 – 3 times a week, all cannot be well. Later, we tentatively raised the threshold to eight logins and noticed we obtained a great deal of data concerning students who were doing just fine. We then lowered the threshold to six. That gave us a smaller quantity of data in emails, which was easier to manage. It is likely that we will study further the appropriateness of this threshold as well.

We applied the same threshold in our monitoring of the activity of online evening students and observed that the same value does not function properly. For example, we set the threshold at six for the last week of September, and the system generated alarms concerning 24 students. Of these students, only five had zero logins and eleven had 3 – 5 logins. We saw a clear difference between evening students and daytime students: evening students do more during one online session.

Challenges due to the upcoming Data Protection Regulation

The upcoming Data Protection Regulation will bring challenges to the use of learning analytics. Any list containing names of students can be classified as a personal data register – and this is in essence what the weekly email from the learning analytics system entails. The view has been proposed that analytics could be used if they do not impact any single student. However, the whole point of this analytics is that the study advisor be able to contact a single student and to do this easily. In addition, the system profiles students. We must give thought to how we make the system work in compliance with the regulation so that we may continue to support students who are encountering difficulties.

Sources

Oppimisanalytiikan keskus [Learning Analytics Centre]. Mitä on Oppimisanalytiikka? [What is learning analytics?] www.learninganalytics.fi/fi/oppimisanalytiikka

Seppänen, L. Learning analytics call out for action, SeOppi 02/2016

Oppimisanalytiikan haasteita

Artikkeli julkaistu SeOppi 2/2017 -lehdessä.

Teksti: Lasse Seppänen, HAMK

Oppimisanalytiikan haasteita - SeOppi-lehden artikkelisiviOppimisanalytiikasta on tulossa suosittu toiminto opiskelijahallinnon saralla. Opintosuorituksia tai keskeyttämisvaarassa olevia opiskelijoita voidaan seurata. Jos opiskelijan aktiivisuus laskee kesken opintojen, pelkkiä opintosuorituksia seuraamalla tämä havaittaisiin pahimmassa tapauksessa vasta seuraavana vuonna.

Tässä tutkimuksessa pyrittiin seuraamaan viikoittaisia sisäänkirjautumisia oppimisalustalle. Syksyllä 2016 rakennettiin Poluttamo-hankkeessa HAMKissa järjestelmä, joka seuraa sisäänkirjautumisia ja lähettää opolle viikoittaisen viestin alentuneen sisäänkirjautumismäärän opiskelijoista. Kohderyhmänä olivat aluksi tietojenkäsittelyn opiskelijat, mutta myös muiden koulutusten opiskelijoita on sittemmin otettu mukaan.

Tietojenkäsittelyssä keskeyttämiset tapahtuvat useimmiten ensimmäisen vuoden aikana tai lopussa opinnäytetyö jää roikkumaan. On tärkeä havaita ensimmäisen vuoden opiskelijoista aikaisin keskeyttämisvaarassa olevat. Opinnäytetyöprosessia on muutettu vuonna 2017 siten, että se ei helposti jää kesken.

Tietojenkäsittelyssä Moodle-oppimisalusta on paljon käytössä. Moodlea käytetään hyvin paljon kahden ensimmäisen vuoden aikana jokaisella opinnolla, ja opiskelijoiden on käytännössä käytettävä sitä päivittäin tai lähes päivittäin. Tähän perustuvat kehitetyt algoritmit.

HAMKin työpäivämallin päivä on jaettu lounastauolla kahteen osaan. On luonnollista ajatella, että opiskelijat kirjautuisivat Moodleen ainakin kahdesti päivässä, jolloin viikossa tulisi ainakin 10 sisäänkirjautumista. Mutta opiskelijat tekevät paljon ryhmätöitä, joten yksi ryhmäläinen tekee palautukset kaikkien puolesta. Tämä voi laskea ryhmäläisten sisäänkirjautumisfrekvenssiä, vaikka he muuten opiskelisivatkin aktiivisesti.

Tutkimuksessa valittiin kynnysarvoksi viikoittaisten sisäänkirjautumisten seuraamisessa aluksi neljä. Looginen päätelmä oli, että jos opiskelija kirjautuu vain 0-3 kertaa sisään Moodleen, kaikki ei voi olla kunnossa. Jatkossa kynnysarvo nostettiin koeluontoisesti kahdeksaan, jolloin todettiin tulevan paljon myös hyvin pärjäävien opiskelijoiden tietoja. Määrä laskettiin kuuteen. Näin päästiin sähköposteissa pienempään ja helpommin hallittavaan tietomäärään. Todennäköisesti tätäkin kynnysarvoa vielä tarkastellaan.

Verkkotutkinnon iltaopiskelijoiden aktiivisuutta alettiin seurata samoin kynnysarvoin. Todettiin, että sama kynnysarvo ei toimi kunnolla. Esimerkiksi kynnysarvolla kuusi viikolla 39 järjestelmä hälyttää 24:stä opiskelijasta. Näistä nolla kertaa on vain viidellä opiskelijalla, 3-5 kertaa 11 opiskelijalla. Tästä huomataan selvä käyttäytymisero päiväpuolen opiskelijoihin nähden eli opiskelijat tekevät enemmän yhden kirjautumiskerran aikana.

Tietosuoja-asetus tuo haasteita

Uusi tietosuoja-asetus tuo haasteita oppimisanalytiikan käyttämiseen. Henkilörekisteriksi voidaan tulkita jokainen opiskelijoiden nimiä sisältävä lista, jollainen viikoittainen analytiikan tuottama sähköposti on. Käytössä on myös tulkinta, että analytiikkaa voisi käyttää, jos sillä ei ole vaikutusta yksittäiseen opiskelijaan. Tämän analytiikan tarkoituksena taasen on, että opo voisi nimenomaan kontaktoida yksittäistä opiskelijaa helposti. Lisäksi tämä analytiikka profiloi opiskelijoita. Pitää miettiä miten saadaan analytiikka jatkossa toimimaan asetuksen mukaisesti, jotta voimme tukea vaikeuksissa olevia opiskelijoita.

Lähteet

Oppimisanalytiikan keskus. Mitä on Oppimisanalytiikka? http://www.learninganalytics.fi/fi/oppimisanalytiikka

Seppänen, L. Learning analytics call out for action, SeOppi 02/2016

Apua sieppareille ruispellossa − oppimisanalytiikka opintojen ja opetuksen tukena

Artikkeli julkaistu SeOppi 1/2017 -lehdessä

Teksti: Rolf Lindén & Mikko-Jussi Laakso, Turun yliopisto
Kuvat: ViLLE-team

SeOppi 1-2017 sivu 8J. D. Salingerin vuoden 1951 klassikko Sieppari ruispellossa kuvailee 16-vuotiaan Holden Caulfieldin elämää ja ajatusten kulkua, kun hänet erotetaan huonojen arvosanojensa takia viidennen kerran koulusta. Elämää sävyttävät aiemmat tragediat, vaikea suhde vanhempiin ja eteerinen haaveilu merkityksellisyydestä, jota kuvastaa hyvin kirjan nimeksikin valikoitunut haaveammatti siepparista, joka estää leikkiviä lapsia näkymättömiltä vaaroilta.

Vaikka ajatus viidesti koulusta erotetusta pojasta tuntuu nyky-Suomessa kärjistetyltä, kirja kuvailee hyvin hapuilevaa nuorta, joka ei saa tarvitsemaansa tukea eikä löydä etsimäänsä suuntaa elämälleen. Holden tekee saman valinnan monen nykyaikaisen vertaisensa kanssa eikä hae tarvitsemaansa tukea heiltä, jotka voivat häntä auttaa.

Nykynuorten etuna Salingerin aikakauden nuoriin on, että apua on mahdollista saada jo ennen kuin sitä pyytää, ja huonosti menestyviä pyritään erottamisten sijaan auttamaan. Sähköiset oppimisjärjestelmät keräävät systemaattisesti tietoa opiskelijan toiminnasta järjestelmässä, ja sisään- ja uloskirjautumisten ja tehtäväpalautusten ohella tietoa kertyy muun muassa vastausten oikeellisuudesta, tehtävien avaamisista ja sulkemisista sekä eri toimenpiteisiin käytetystä ajasta. Kun tietoa kerätään samanaikaisesti riittävän suurelta määrältä opiskelijoita, kerätystä datasta voidaan tiedonlouhinnan ja tilastollisten menetelmien avulla havaita toimintaa kuvaavia säännön alaisuuksia. Eräs esimerkki tällaisten säännön alaisuuksien tunnistamisesta on Lasse Seppäsen SeOppi-lehden numerossa 02/2016 kuvailema keskeyttämisriskin alaisten opiskelijoiden tunnistaminen opiskelijoiden kirjautumiskäyttäytymisen avulla. Taustalla vaikuttava ajatus on selvä – motivoituneet opiskelijat tekevät tehtäviä ja hyödyntävät tarjottua kurssimateriaalia, ja samalla kirjautuvat säännöllisesti kurssijärjestelmään.

Opettaja näkee luokkansa tuen tarpeen aihealueittain yhdellä silmäyksellä ja voi kohdentaa aikansa eniten apua tarvitseviin oppilaisiin.

Opettaja näkee luokkansa tuen tarpeen aihealueittain yhdellä silmäyksellä ja voi kohdentaa aikansa eniten apua tarvitseviin oppilaisiin.

Silloin, kun oppimisjärjestelmää käytetään tehtäväpalautusten ohella myös itse tehtävien tekoon, kertyvästä datasta paljastuu tietoa myös opiskelijoiden opiskelutottumuksista ja ajanhallinnasta. Osalla opiskelijoista on taipumuksia tehdä saamiaan tehtäviä öisin, jolloin säännöllinen unirytmi kärsii ja opiskelija menestyy opinnoissaan huonommin. Kun tehtävät tehdään suoraan oppimisjärjestelmään, huono toimintamalli voidaan tunnistaa ja siihen vaikuttavat ylläpitävät tekijät voidaan selvittää yhdessä opiskelijan kanssa. Ajatus on siis sama kuin Seppäsen esimerkissä, mutta erityyppinen data tarjoaa vaihtoehtoisia käyttötarkoituksia.

Esimerkki eräältä Turun yliopiston kurssilta, kun kurssin alkamisesta on kulunut pari viikkoa. Kurssilta myöhemmin putoavat opiskelijat (0) alkavat erottua muista opiskelijoista.

Esimerkki eräältä Turun yliopiston kurssilta, kun kurssin alkamisesta on kulunut pari viikkoa. Kurssilta myöhemmin putoavat opiskelijat (0) alkavat erottua muista opiskelijoista.

Huonot opiskelutottumukset ja heikentynyt motivaatio heijastuvat useille kursseille samanaikaisesti, mutta opiskelijalla voi vastaavasti olla ongelmia myös yksittäisten kurssien kanssa. Tarkasteltava ajanjakso on tällöin paljon lyhyempi — olennaista tietoa opiskelijan opintomenestyksestä on yleensä tarjolla vain muutamalta viikolta kurssin alusta. Erityisesti suurilla kursseilla opettaja ei ehdi saada riittävän tarkkaa kuvaa yksittäisten opiskelijoiden taidoista, eikä opiskelija aina osaa Holdenin tavoin itse arvioida oman osaamisensa riittävyyttä. Toistuvasti luennoitavilla suurilla kursseilla voidaan kuitenkin hyödyntää aiemmilta vuosikursseilta kertynyttä dataa, jonka avulla voidaan ennustaa opiskelijan opintomenestystä meneillään olevalla kurssilla. Keskeisenä ajatuksena on, että vaikka yksittäiset opiskelijat vaihtuvatkin vuosittain, eri vuosikurssit ovat silti keskenään melko samanlaisia. Kun opiskelija lähtee kulkemaan kurssilla polkua, jollainen on jo usein aiemmin johtanut huonoon lopputulokseen, hänelle voidaan tarjota apua kurssin suorittamisessa. Tämänhetkisten tutkimustulosten perusteella kolme neljäsosaa seitsemänviikkoisen korkeakoulukurssin pudokkaista voidaan tunnistaa pelkästään tehtäväpalautusten ja saavutettujen pistemäärien perusteella luotettavasti jo muutaman viikon jälkeen, vaikka iso osa kurssin sisällöstä on edelleen opettamatta. Ennakoivia tekijöitä täydentämällä tunnistus voidaan tehdä vielä tätäkin aikaisemmin.

Yhdistämällä erilaisia analytiikalla avustettuja tukitoimia arvioimme saavuttavamme keskimääräiselle opiskelijalle noin kymmenen opintopisteen parannuksen vuositasolla. Holdenin kaltaisille nuorille on siis mahdollista saada apua ajoissa, mutta miten pidetään huolta siitä, että kiireellisesti apua tarvitsevia nuoria on alun alkujaankin mahdollisimman vähän?

Oppimisjärjestelmän päätehtävä on helpottaa opettajan arkea ja vapauttaa hänet rutiininomaisista tehtävistä oppilaiden tueksi. Turun yliopistossa kehittämämme ViLLE-oppimisjärjestelmä on rakennettu tämän ajatuksen pohjalta. Valtaosa sen tehtävistä on satunnaisesti generoituja ja automaattisesti arvioituja eli oppilas voi harjoitella opeteltavaa asiaa saman tehtävän avulla useita kertoja ilman, että tehtävä toistaa itseään. Satunnaisuus ja automaattinen arviointi mahdollistavat myös välittömän palautteen, jolloin oppilas näkee tehtävän malliratkaisun sekä tehdyn ratkaisun kannalta hyödyllistä tietoa.

Onnistumisen kokemuksia ViLLE:n opintopolun parissa alakoulussa.

Onnistumisen kokemuksia ViLLE:n opintopolun parissa alakoulussa.

Alakoulussa sähköisiä tehtäviä voidaan hyödyntää monipuolistamaan opetusta ja opettamaan lapsille huomaamattomasti laitteiden käyttöä. Parhaimmillaan sähköiset tehtävät helpottavat eriyttämistä ja tarjoavat monipuolista tietoa oppilaiden osaamisesta. ViLLE:n matematiikan ja ohjelmoinnin sähköisen opintopolun avulla opettajalla on monta tapaa eriyttää oppilaitaan. Oppilaalle asetettua vaatimustasoa voidaan eriyttää ylöspäin, tarjota alaspäin mukautettuja perustehtäviä, tai luoda oppilaalle kokonaan yksilöllistetty matematiikan oppimateriaali, joka tukee hänen erityistarpeitaan. Toisto ja järjestelmän tarjoama palautesykli vahvistavat oppilaan osaamista ja tarjoavat mahdollisuuden kerrata yhdessä opittua sisältöä.

Oppimisjärjestelmän tarjoaman automaattisen palautesyklin ohella on tärkeää, että tieto oppilaan osaamisesta kulkee myös opettajan kautta. Analytiikan ansiosta opettajalle jää tarkka tieto oikeista ja vääristä vastauksista ja jopa tieto kotitehtäviin käytetystä ajasta. Oppilaiden laskemista matematiikan tehtävistä analysoidaan ViLLE:ssä tyypillisimmät solmukohdat, eli haastavimmat aihealueet matematiikan oppimisessa. Oppilaiden laskiessa tehtäviä opettaja näkee, ketkä oppilaista tarvitsevat lisää tukea, ja millä osa-alueilla tuen tarpeet ilmenevät. Näin oppimisanalytiikkaa voidaan hyödyntää kohdentamaan opettajan niukkoja resursseja paremmin sinne, missä niistä on eniten
apua. Automaattisesti arvioidut ja välitöntä palautetta antavat tehtävät auttavat vapauttamaan opettajan resursseja myös muilla tavoilla, sillä iso osa oppilaista pystyy etenemään välittömän palautteen avulla itsenäisesti, jolloin tarve opettajan antamalle avulle pienenee. Opettaja pystyy tällöin keskittymään sellaisten oppilaiden auttamiseen, jotka eivät selviä tehtävistä itsenäisesti.

Oppimisanalytiikka ja oppimisjärjestelmät tarjoavat yhdessä opettajalle työkalut pudokkaiden tunnistamiseen ja oppimisvaikeuksien synnyn ennaltaehkäisyyn, ja omalta osaltaan auttavat ennaltaehkäisemään Holdenin kaltaisten tapausten syntyä nykyisessä koulutusjärjestelmässä. On vaikeaa kuvitella tulevaisuutta, jossa nykyinen koulutusjärjestelmämme olisi kehittynyt yhtä paljon nykyisestä, kuin nykyjärjestelmämme on kehittynyt Salingerin aikaisesta verrokistaan ilman oppimisanalytiikan ja oppimisjärjestelmien tarjoamaa yhteistä ja johdonmukaista tukea.

Turun yliopisto on pioneeri oppimisanalytiikan ja sähköisen arvioinnin tutkimuksen saralla ja yliopistoon perustettiin syksyllä 2016 Oppimisanalytiikan keskus. Keskuksen tavoitteena on luoda tutkimuspohjainen ja oppimisanalytiikkaa hyödyntävä opetuksen kehittämisen malli taaperosta tohtoriin. Tätä varten keskus on mukana luomassa oppimisanalytiikan verkostoa, johon tarvitaan mukaan kaikki opetuskentän toimijat. Tämä verkosto kokoontuu seuraavan kerran ITK-päivillä huhtikuussa 2017 – Tervetuloa mukaan!

OEB16: Oppimisanalytiikka hälyttää toimimaan

Artikkeli julkaistu SeOppi 2/2016 -lehdessä

Teksti: Lasse Seppänen, Hämeen ammattikorkeakoulu

Oppimisanalytiikasta on tulossa suosittu toiminto opiskelijahallinnon saralla. Sen avulla voidaan esimerkiksi seurata opiskelijoiden opintojen etenemistä, opintosuoritusten karttumista tai etsiä keskeyttämisvaarassa olevia opiskelijoita.

Tämä tutkimus suoritetaan Hämeen ammattikorkeakoulussa (HAMK) Lasse Seppäsen ja Ville Hämäläisen toimesta ja osana Poluttamo-hanketta. Myöhemmin mukaan tulee opo Maija Kerkola. Kohderyhmänä ovat tietojenkäsittelyn ensimmäisen vuoden opiskelijat. Vuosittain opiskelijoita otetaan useita kymmeniä niin päivä- kuin verkko-opintoihin. Keskeyttämiset tapahtuvat useimmiten ensimmäisen vuoden aikana tai lopussa opinnäytetyö jää roikkumaan. Olisi tärkeä havaita ensimmäisen vuoden opiskelijoista aikaisin ne, jotka ovat keskeyttämisvaarassa.

Tietojenkäsittelyssä Moodle-oppimisalusta on paljon käytössä. Tämä antaa taustan niille algoritmeille, jotka tutkimuksessa on kehitetty. Moodlea käytetään hyvin paljon kahden ensimmäisen vuoden aikana jokaisella opinnolla, ja opiskelijoiden on käytännössä käytettävä sitä päivittäin.

HAMKin lukuvuosi jakaantuu neljään kahdeksan viikon periodiin. Yksittäinen päivä on jaettu kahteen osaan: 8.45-12.00 ja 12.45-16.00. Välissä on lounastauko. On luonnollista ajatella, että opiskelijat kirjautuisivat Moodleen ainakin kahdesti päivässä, jolloin viikossa tulisi ainakin 10 sisäänkirjautumista. Opiskelijat tekevät kuitenkin paljon ryhmätöitä, joten joidenkin opiskelijoiden on mahdollista myös seurata ryhmäläisiään Moodlen suhteen. On tavallista, että yksi ryhmäläinen tekee palautukset kaikkien puolesta. Tämä voi laskea ryhmäläisten sisäänkirjautumisfrekvenssiä, vaikka he muuten ottaisivat aktiivisesti osaa opetukseen.

Tässä tutkimuksessa valittiin kynnysarvoksi viikoittaisten sisäänkirjautumisten seuraamisessa neljä kappaletta. Looginen päätelmä on, että jos opiskelija kirjautuu vain 0-3 kertaa sisään Moodleen, kaikki ei voi olla kunnossa. Tällöin hän kirjautuisi sisään vain alle 30 % ajasta.

Jos opiskelijan aktiivisuus laskee kesken opintojen, opintosuorituksia seuraamalla tämä havaittaisiin vasta paljon myöhemmin. Pahimmassa tapauksessa havainto tehtäisiin vasta seuraavan vuoden syksyllä. Tässä tutkimuksessa pyritään seuraamaan viikoittaisia sisäänkirjautumisia heti opintojen alusta asti ensimmäisen opintovuoden ajan päiväopiskelijoilla.

Tutkimus aloitettiin tutkimalla vuonna 2014 sisään tulleiden opiskelijoiden ensimmäisen vuoden dataa. Pystyttiin rakentamaan algoritmi ja toimintatapa, jolla kyettiin luotettavasti havaitsemaan kaikki keskeyttämiseen päätyvät opiskelijat jo marraskuun lopussa. He saattoivat jatkaa opintojaan vielä vuoden vaihteen yli, mutta keskeyttivät kuitenkin. Algoritmi paljasti vain yhden ylimääräisen opiskelijan, jolla oli kerran viikossa alhainen sisäänkirjautumismäärä: hän oli ollut omalla lomalla Kreikassa viikon.

Syksyllä 2016 on rakennettu järjestelmä, joka seuraa sisäänkirjautumisia ja lähettää siitä opolle viikoittaisen koosteen alentuneen sisäänkirjautumismäärän opiskelijoista. Tätä kirjoitettaessa ollaan järjestelmää juuri ottamassa käyttöön, joten käyttökokemuksista tulee myöhemmin lisätietoa.

OEB16: Learning analytics call out for action

Article first published on SeOppi 2/2016

Text: Lasse Seppänen, Häme University of Applied Sciences (HAMK)

Learning analytics is becoming a popular function in learning management. Learning analytics targets a multitude of matters such as tracking course evaluations and students’ progress in their courses as well as even monitoring potential drop-out students. This presentation deals with the monitoring of potential drop-outs. Can we detect them from their LMS data before they actually leave?

The study we report in this presentation is being performed at Häme University of Applied Sciences (HAMK). The target group is the first year students in the Degree Programme in Business Information Technology (Business IT). Annually, the intake is tens of students to both daytime and online studies. We can estimate that about 10 students will leave during or after their first year or later, particularly when they find it difficult to complete their theses. It would be important to learn if there were possibilities for helping the first year students and thus preventing the interruption of their studies.

In Business IT, Moodle LMS is in heavy use. That fact forms the background for the algorithms that we created during this study. The use of Moodle should be constant during the first two years of studies. Moodle is used in every course, and students cannot perform well if they do not use it every day.

An academic year at HAMK is divided into four periods of eight weeks. Each school day is divided into two sections: 8:45-12:00 and 12:45-16:00 with lunch in between. It would be natural to think that the students would log in into Moodle at least twice a day, making the total number of their logins 10 per week per person. But the students do quite a lot of group work and it is possible that they follow their peers’ work in Moodle. It is the school custom that one student returns the group tasks on behalf of the whole group. This could lower the login frequency even if the students are appropriately active in their schoolwork.

For the purposes of this study, we selected a threshold value of four weekly logins. We consider this selection a logical one as we know that if a student logs in into Moodle only 0-3 times a week, there is something wrong. That student would be logging in into Moodle for only 30% of studies or less.

The reduction of a student’s activity level during studies would be detected much later in a traditional environment. In the worst case, a student having dropped out might be detected only the following year when the student failed to enroll for the year. In our study, we monitor the first-year daytime students’ logins into Moodle on a weekly basis.

The study was started by analyzing the data of the first year students in 2014. We were able to construct an algorithm and methods that gave us reliable results: we could pinpoint all students at the end of November who would later interrupt their studies. Some students continued their studies past Christmas, but dropped out eventually. The algorithm also detected a student who had taken an unauthorized one-week holiday in Greece.
We have built a login follow-up system during autumn 2016. It sends weekly reports of students with a low login rate to the student counsellor. The system is being introduced as this article is being written. We will make more information available later.

Articles in SeOppi Magazine

The Adaptable Learning Paths project has published three articles in the latest SeOppi Magazine:

  • Multimodality and learning: Increasing understandability and accessibility, Merja Saarela
  • Personal learning paths as visual roadmaps, Kari A. Hintikka
  • Learning analytics call out for action, Lasse Seppänen

Poluttamo-artikkeleita SeOppi-lehdessä

Poluttamo-hanke on mukana Suomen eOppimiskeskus ry:n uunituoreessa SeOppi-lehdessä kolmella artikkelilla:

  • Merja Saarela: Multimodality and learning: Increasing understandability and accessibility
  • Kari A. Hintikka: Oman opintopolun visualisointia tiekartaksi – Personal learning paths as visual roadmaps
  • Lasse Seppänen: Oppimisanalytiikka hälyttää toimimaan – Learning analytics call out for action

Lehti on selattavissa sähköisesti Slidesharessa sekä pdf-versiona.

Moodlen login-tiedoista tehtyjä keskeytyspäätelmiä, versio 1

Tutkin lukuvuoden 2014-2015 tietojenkäsittelyn opiskelijoiden ensimmäisen vuoden ryhmän TRTKNU14A3 login-tietoja Moodlesta. Tiedot oli opiskelijakohtaisesti järjestetty siten, että jokaisen opiskelijan viikon aikana tekemät Moodle-aktiviteetit oli summattu yhteen. Tiedot toimitti HAMKin tietohallinto. Lisäsin näihin tietoihin ns. nollarivit eli jos opiskelija ei ollut viikon aikana lainkaan käynyt Moodlessa, hänestä ei jäänyt mitään jälkeä. Käsittelin näistä tiedoista ainoastaan Moodleen sisäänkirjautumista.

Aluksi käytin Power BI –työkaluohjelmistoa. Sillä tarkastelin opo Maija Kerkolan kanssa ryhmän NU14 käyttäytymistä.

Silmämääräisesti huomasimme, että joillakin opiskelijoilla toisen periodin aikainen käyttäytyminen poikkesi valtavirrasta huonompana aktiivisuutena. Näillä opiskelijoilla opinnot käytännössä keskeytyivät. Osa heistä on vielä kirjoilla, mutta käytännössä he eivät opiskele lainkaan.

Kirjoitin sen jälkeen 80-rivisen ohjelman perl-ohjelmointikielellä. Siinä tutkin erilaisia algoritmeja. Algoritmi, joka olisi paljastanut keskeyttäneistä kaikki muut paitsi yhden yliopistoon siirtyneen:

If (logins[viikko46] < 4 or logins[viikko47] < 4 or logins[viikko48] < 4 or logins[viikko7] = 0 or logins[viikko11] = 0)

{

Keskeytys();

}

Tätä algoritmia voi ajaa viikosta 47 alkaen viikottain, kun viikon 46 data on jo tallessa.

Algoritmi on niin tarkka, että se tuotti vain yhden hudin opiskelijasta, joka oli viikon marraskuussa matkoilla. Hänen opintonsa jatkuvat edelleen mallikkaasti.

Algoritmia voisi vielä tarkentaa siten, että se huomaisi viikoilla 46-48 laskevan login-aktivisuuden, mutta tämäkin näyttää varsin hyvin toimivan.

Tämä on siis yhden vuoden lukujen perusteella. Voi olla, että vuodet ovat erilaiset keskenään, opetus voi olla erilaista eri aikoihin sijoitettua jne.

Samaa algoritmia tuskin voi soveltaa ihan suoraan muihin koulutusohjelmiin, mutta yleisesti ottaen tätä menetelmää kannattaa kyllä kokeilla.

Seuraavaksi on tarkoitus tutkia tätä vuoden 2015-2016 datalla.

Teksti: Lasse Seppänen