Arviointi digitalisoituu, muuttuuko mikään?
Digitaaliset osaamismerkit ovat maassamme viime vuosina yleistyneet eri tavoin saavutetun osaamisen tunnistamisen, arvioinnin ja tunnustamisen välineinä. Osaamismerkit ovat saaneet alkunsa Yhdysvalloissa osana massiivisia verkkokursseja (MOOC). Kyseessä on digitaalinen merkki, jonka henkilö saa todistukseksi, kun hän digitaalisin välinein on osoittanut riittävää osaamista kulloinkin arvioitavassa asiassa.
Arvioinnin digitalisoituminen vaikuttaa opiskeluun ja oppimiseen monella tavalla ja monella tasolla. Käsittelen seuraavassa muutamia mahdollisia kehityskulkuja, jotka ovat mahdollisia digitaalisuuden yleistyessä osana opiskelua ja oppimisen arviointia.
e-arviointi oppimisen ja osaamisen arvioinnin kehittäjänä
Binkley kumppaneineen pohtii artikkelissaan digitaalisten arviointivälineiden (e-assessment, e-arviointi) mahdollisuuksia oppimisen ja osaamisen arvioinnin sekä opetussuunnitelmien kehittämisessä. He esittävät kaksi mahdollista strategiaa, jotka tuottavat toisistaan poikkeavia tuloksia. Toista he kutsuvat ”siirtostrategiaksi” (migratory strategy) ja toista ”muutosstrategiaksi” (transformational strategy). (Binkley, Erstad, Herman, Raizen, Ripley, Miller-Ricci & Rumble 2012.)
Strategiat ilmenevät nelikentässä, joka muodostuu, kun ristikkäisten ulottuvuuksien akseleina ovat kynä-paperi -arviointi (paper-based assessment) ja teknologiaa hyödyntävä, teknologiarikas, arviointi (technology rich assessment) sekä perinteinen arviointi (traditional assessments) ja innovatiivinen arviointi (innovative assessment).
Siirtostrategian mukaisessa arvioinnin kehittämistoiminnassa arviointikulttuuri ei sinänsä uudistu, vaan digitaaliset ratkaisut ainoastaan uusintavat toiminnan aiempaa ideaa ja sisältöjä. Kotimaisena esimerkkinä tällaisesta uusintamisesta on viime vuosina paljon esillä ollut ylioppilaskokeen digitalisoiminen. Aiemmin opiskelijat vastasivat koekysymyksiin täyttämällä konseptipapereita. Viime vuosina laajentunut kokeen digitalisointi on merkinnyt lähinnä samoihin kysymyksiin vastaamista kannettavien tietokoneiden avulla. Kokeen uudistamisen sijaan kyseessä on ollut siis aiemman toimintakulttuurin uusintaminen uusia keinoja käyttäen.
Esimerkiksi erilaiset monivalintakokeet, jotka ovat muualla maailmassa enemmälti arvioinnin perinteisenä mallina kuin Suomessa, siirtyvät juohevasti paperilomakkeelta sähköisesti täytettäväksi versioksi. Lisäksi perinteinen arviointi usein kohdistuu opetetun tai joissakin oppimateriaaleissa esillä olevan tietoaineksen muistamiseen ja sen sellaisenaan uudelleen tuottamiseen ja usein e-arvioinnissakin tyydytään tämän tasoisten oppimistulosten arviointiin.
Erilaiset massakoulutukset (esim. MOOCit), joissa kontrolloidaan tuhansien opiskelijoiden oppimistuloksia sähköisten monivalintalomakkeiden avulla, ovatkin hyötyneet teknologian keittymisestä. Suomessa ylioppilaskoe on ”modernisoitu” korvaamalla konseptipaperit kannettavilla tietokoneilla ja monissa korkeakouluissa on otettu käyttöön tenttiakvaarioita. Tällaisissa tapauksissa siirtostrategia merkitsee useimmiten yksinkertaisesti sitä, että opitun kontrollointiin tarkoitetut kokeet muunnetaan paperisista versioista digitaalisiin versioihin.
Toki digitaalisten välineiden kehittyminen helpottaa oppimistulosten kontrollointiin tähtäävän summatiivisen arvioinnin ohella myös ohjaavaa, formatiivista arviointia. Kun arviointiaineistoina käytetään esimerkiksi oppimistehtäviä, niihin liittyvän välittömän palautteen antaminen on tullut mahdollisemmaksi esimerkiksi erilaisten videoneuvottelujen avulla.
Binkley kumppaneineen (mt.) toteaa kuitenkin, että e-arvioinnin käytöstä arviointikulttuurin muutosstrategian katalysaattorina on vielä vähän esimerkkejä. Merkittävänä asiana e-arvioinnin kehittymisessä on he pitävät käytettävyyden mukanaan tuomia asioita. Uudet teknologiat näyttävät esimerkiksi mahdollistavan sellaisten osaamisten arvioinnin, joiden arviointi pelkillä testeillä tai tenteillä on ollut vaikeaa. Esimerkkeinä he mainitsevat itsesäätelytaidot, luovuuteen liittyvän osaamisen ja jatkuvaan oppimisen taidot. Osaamisen visualisointiin ja simulointiin on tullut uusia mahdollisuuksia digitaalisen teknologian kehittymisen myötä.
Käytettävyyden yksi ulottuvuus on myös se, että kehittyneemmät teknologiat ovat tehneet erilaiset välineet helppokäyttöisemmiksi. Kun aiemmin tarvittiin erityisosaajia mahdollistamaan, että välineitä voitiin käyttää, nyt ne ovat niin opettajien kuin opiskelijoidenkin käytettävissä. Tämä mahdollistaa arviointiaineistojen monipuolistumisen.
Näistä huomioista huolimatta, Binkley kumppaneineen (mt.) arvioi, että digitaalinen teknologia onkin nähty merkittäväksi ratkaisuksi tilanteissa, joissa arviointiaineistot (testit, tentit, kokeet) pysyvät perinteisinä.
Toinen mahdollinen tulkinta muutosstrategialle
Tarkasteltaessa, minkä laatuista oppimista arviointi tukee, voidaan apuna käyttää esimerkiksi Ference Martonin ja hänen kumppaniensa (1993) jäsennystä oppimisen eri kategorioista. Oppiminen voidaan heidän mukaansa ymmärtää 1) tiedon lisääntymisenä, 2) mieleen painamisena ja toistamisena, 3) tiedon soveltamisena, 4) asian ymmärtämisenä, 5) asian näkemisenä uudella tavalla ja 6) muuttumisena ihmisenä. Kolmea ensimmäistä kategoriaa Martonin työryhmä (mt.) nimittää uusintavaksi oppimiseksi (reproducing conceptions) ja kolmea jälkimmäistä merkitysten luomiseksi (seeking meaning conceptions). Jälkimmäisestä on sittemmin käytetty myös käsitettä uudistava (transformative) oppiminen (esim. Ditchfield, 2001). Jatkossa käytän käsiteparia uusintava oppiminen ja uudistava oppiminen, joilla viittaa Martonin työryhmän jäsennykseen.
Arvioinnin tehtävä uusintavan oppimisen tilanteissa on erilainen, kuin pyrittäessä uudistavaan oppimiseen. Perinteiset tentit, testit tai kokeet ovat riittäviä arviointivälineitä, jos tarvitaan tietoa siitä, kuinka paljon opetetusta aineksesta opiskelija on pystynyt painamaan mieleensä ja paljonko hän kykenee siitä uudelleen tuottamaan.
Jos oppiminen tähtää kuitenkin jonkin asian ymmärtämiseen tai jonkin asian kehittämiseen tarvitaan toisenlaisia arviointivälineitä. Haluttaessa saada selville ymmärtääkö opiskelija jonkin asian tai onko opiskelijalla johonkin asiaan liittyvää kehittämisosaamista, tarvitaan niihin soveltuvia arviointiaineistoja. Erilaiset oppimistehtävät (esim. esseet ja suunnittelu-, kehittämis- tai tutkimustehtävät), portfoliot, reflektiotehtävät ja arviointikeskustelut tuottavat sellaista aineistoa, jonka perusteella voidaan tehdä päätelmiä tämän tasoisesta oppimisesta varmemmin, kuin vaikkapa monivalintatehtävistön perusteella on mahdollista. Samalla, kun nämä aikoinaan uudet arviointiaineistot mahdollistivat uudistavan oppimisen tasoisen oppimisen arvioinnin, ne myös mahdollistivat oppimisen tukemisen formatiivisen eli ohjaavan arvioinnin avulla.
Esimerkiksi oppimistehtävät eri muodoissaan tarjoavat mahdollisuuden palautteen avulla ohjata oppimistehtävän – ja samalla opiskelijan osaamisen – rakentumista kohti toivottua päämäärää. Jotain tiettyä oppimistehtävää laajemman näkökulman vaikkapa opiskelijan osaamisen kehittymiseen jonkin koulutuksen puitteissa antavat erilaiset portfoliot, joiden rakentumista myös voidaan aika ajoin tarkastella yhdessä kouluttajan kanssa, joka voi palautteeseen sisältyvillä vinkeillä ohjata opiskelijaa eteenpäin hänen opinnoissaan. Uudistavaa oppimista tukevaan ohjaavaan arviointiin sisältyy keskeisesti myös opiskelijan itsearviointi, jonka avulla opiskelija kehittää itsesäätelyosaamistaan. Ohjaavaa arviointia ei siten tapahdu pelkästään opiskelijan ulkopuolelta, vaan myös opiskelijan itsensä toimesta. Ulkopuolisella palautteella ja sisäisellä palautteella on kummallakin oma tärkeä tehtävänsä oppimisen tukemisessa ja ohjaamisessa.
Opettajan työhön ja opetussuunnitelmiin tällaisella arviointitoiminnan muutoksella on suora vaikutus. Perinteinen kynä-paperi –arviointihan perustui ajatuskulkuun, että opettaja opettaa ja ehkä luetuttaa opiskelijoilla oppikirjoja tai muita aineistoja, ja pitää päätteeksi kokeen tai tentin. Ohjaava arviointi edellyttää sitä, että oppija tuottaa esimerkiksi oppimistehtävän rakentelun avulla sellaista aineistoa, johon perustuen opettaja voi antaa oppimista edistävää ohjaavaa palautetta. Opettajan tehtävä muuttuu siten pelkästä perinteisestä tiedon siirtämisestä ohjaustoiminnaksi. Opetussuunnitelmille tällainen muutos aiheuttaa sellaisen uudistamisvaatimuksen, että niiden tulee rakenteellisesti ja sisällöllisesti mahdollistaa ja tukea muutosta.
Binkleyn ja hänen kumppaneidensa (mt.) esittämä muutos arviointikäytänteissä siten voinut tapahtua jo ennen kuin tietotekniikka suurestikaan avusti arvioinnissa. Tämä muutos alkoi 1960-luvulla, kun Michael Scriven (1967) lanseerasi formatiivisen arvioinnin käsitteen ja idean. Sen avulla hän halusi korostaa, että arviointia tulee tapahtua opetus- ja oppimisprosessin kuluessa, eikä ainoastaan sen lopussa, kuten siihen asti oli totuttu ajattelemaan. Formatiiviseen arviointiin sisältyi ajatus siitä, että arviointi ei saa olla ainoastaan saavutettujen oppimistulosten kontrollointia, vaan sen avulla on ohjattava opiskelijaa saavuttamaan tavoitteet. Ohjaavan arvioinnin idea on siten ollut aikoinaan ”innovatiivinen” ajatus.
Pidän seuraavassa tarkastelussa horisontaalisen ulottuvuuden samana, mutta vertikaalisen akselin ääripäinä pidän jatkossa uusintavan oppimisen ja uudistavan oppimisen tarvitsemia arviointivälineitä.
Uudistettu kuvio näyttääkin seuraavalta:
Toinen mahdollinen tulkinta siirtostrategialle
Teknologian kehittyessä siirtostrategia koskee kehittyneempää ajatusta arvioinnista ja kehittyneempiä arvioinnin menetelmiä. Erilaiset digitaaliset ratkaisut tarjoavatkin rikkaampia mahdollisuuksia esimerkiksi oppimistehtävien tai portfolioiden rakentamiseen. Ohjaajalle sähköisesti lähetettävät aineistot voivat sisältää sellaisia video- ja audioaineistoja, jotka aiemmin olivat kömpelömmin yhdistettävissä tehtäviin tai portfoliokansioihin.
Teknologian kehittyminen on tuonut mukanaan myös uusia mahdollisuuksia ohjaavaa arviointia varten tarvittavien vuorovaikutustilainteiden järjestämisessä. Erilaiset videoneuvotteluvälineet antavat mahdollisuuden paikasta riippumattomiin ohjaustilanteisiin, joissa voidaan reaaliajassa vaikkapa saman tien muokata tarkasteltavina olevia tehtäviä useiden henkilöiden toimesta.
Jos arviointitoiminnan painopiste on jo muuttunut uusintavan oppimisen arviointikulttuurista uudistavaa oppimista tukevaksi, ei teknologian kehittyminen sinänsä uudista arvioinnin ideaa. Se voi kuitenkin uudistaa arvioinnin menettelytapoja aiempaa sujuvammiksi sekä ajasta ja paikasta riippumattomimmiksi. Arviointiaineistot voivat puolestaan sisällöllisesti muodostua rikkaammiksi ja monipuolisemmiksi teknologian kehittymisen myötä. Tässäkin tapauksessa kyseessä on siirtostrategia, mutta siirron sisältö on erilainen, kuin Binkleyn ja kumppaneiden (mt.) esittämässä tilanteessa.
Mahdollinen taantumisstrategia
Yksi mahdollinen kehityskulku teknologian yleistyessä oppimisen ja oppimistulosten arvioinnissa, on ”taantumisstrategia”. Varmaankaan kukaan ei tietoisesti halua asioissa taantua, mutta tällainenkin tulos saattaa olla seurauksena, jos digitaalisia arviointivälineitä ryhdytään käyttämään pelkästään siksi, että niiden koetaan mahdollisesti tehostavan arviointitoimintaa ajallisesti ja taloudellisesti.
Taantuminen voi tarkoittaa sitä, että digitalisoinnin myötä palataan pelkästään uusintavan oppimisen tasoisen osaamisen kontrollointia palveleviin arviointimenetelmiin ja –aineistoihin (testit, tentit, kokeet). Tähän liittyen taantuminen voi tarkoittaa, myös sitä, että arvioinnissa korostuu summatiivisen arvioinnin funktio ohjaavan arvioinnin kustannuksella. Formatiivisen arvioinnin unohtuessa saattaa käydä niin, että käsitys oppimisesta puolestaan taantuu valmiin tiedon vastaanottamiseksi, käsitys opettamisesta taantuu oppimisen ohjaamisesta tiedon siirtämiseksi ja käsitys oppijasta taantuu tuon tiedon muistajaksi ja toistajaksi.
Edellä kuvattu kehityskulku ei toki ole välttämätön asioiden kulku. Taantumisstrategian välttäminen edellyttää kuitenkin sitä, että tarkoin pohditaan, mitkä ovat sellaisia oppimisen tuloksia, joissa voidaan tyytyä yksinkertaisilla menetelmillä todeta, että tietääkö tai muistaako opiskelija jonkin asian. Kaikissa koulutuksissa kun lienee myös tällaistakin opittavaa ainesta.
Lopuksi
Teknologian kehitys on arvioinnin yhteydessä liittynyt viime vuosina ainakin oppimisanalytiikan kehittymiseen ja erilaisten digitaalisten osaamismerkkien kehittelyyn. Oppimisanalytiikasta yleisesti käytetyn määritelmän mukaisesti kyseessä on ”…oppijasta kertyvien tietojen keräämistä, mittaamista, analysointia ja raportointia siten, että tarkoituksena on ymmärtää ja optimoida oppimista ja oppimisympäristöjä”.
Hartikainen ja Teräs (2019) toteavat katsauksessaan ensinnäkin, että oppimisanalytiikkaratkaisut konkretisoituvat usein opiskelijoille ja opettajille erilaisina kerätyn datan koontinäyttöinä, jotka tiivistävät ja visualisoivat erilaista opiskelusta kerättyä dataa. Toiseksi he toteavat, että oppimisanalytiikan kansainvälisessä tutkimuksessa näitä koontinäyttöjä on tarkasteltu kohtuullisen paljon, mutta niiden oppimista edistävää vaikutusta ei kuitenkaan ole selkeästi havaittu (mm. Verbert ym. 2014; Ellis, ym. 2017; Wong ym. 2018).
Abramovich (2014) puolestaan tutki kumppaneineen osaamismerkkien merkitystä oppimisessa. Heidän havaintojensa mukaan erilaisilla merkkijärjestelmillä on erilaisia vaikutuksia oppimiseen. Merkkien käytön suunnittelussa tuleekin heidän mielestään ottaa huomioon oppijoiden kyvyt ja motivaatiotekijät. Heidän tutkimustuloksensa ovat esimerkiksi yhteensopivia sellaisten klassisten tutkimustulosten kanssa, jotka osoittavat, että ulkoisilla motivaattoreilla on negatiivinen vaikutus oppimiseen (esim. Deci ym. 1999).
Digitaalisen teknologian kehittyminen näyttää ainakin tässä vaiheessa rajoittuvan uusintamaan perinteisiä arviointimenettelyjä. Parhaimmillaan se voi tuoda arvioinnin piiriin sellaisiakin osaamisia, jotka aiemmin ovat olleet vaikeasti arvioitavissa. Se voi myös mahdollistaa sellaisten arviointiaineistojen käytön, joita aiemmin on ollut hankala tai mahdoton käyttää. Erilaisia ohjaavaan arviointiin tai summatiiviseen arviointiin liittyviä arviointikeskusteluja voidaan käydä digitaalisen teknologian mahdollistama laadukkaammin ja monipuolisemmin kuin aiemmin.
Kun digitaalista teknologiaa yhä enenevässä määrin otetaan käyttöön myös oppimisen ja osaamisen arvioinnissa, pääkysymys ei siten ole se, miten saadaan informaatiota siirtymään paikasta a paikkaan b mahdollisimman sujuvasti (mikä on sinänsä hyvä asia sekin). Pääkysymys on mielestäni sama kuin opetus-/opiskelutoiminnassa muutenkin: miten digitaalisten välineiden kehittyminen voidaan parhaiten saada tukemaan opiskelijan oppimista edistävää vuorovaikutusta.
Tässä kirjoituksessa käsiteltiin digitaalisen teknologian ja arvioinnin välisiä suhteita. Tällainen tarkastelu on mielestäni yleistettävissä laajemminkin didaktisiin kysymyksiin. Samalla tavoin, kuin arvioinnin menettelyissä, voidaan digitalisaation olettaa merkitsevän monissa tapauksissa sitä, että perinteinen tiedon siirto -tyyppinen opetus vain siirtyy uuteen ympäristöön. Muutosstrategia didaktiikassa edellyttää ymmärtääkseni sitä, että riittävän perusteellisesti käsitellään oppimiseen ja sitä kautta opetukseen liittyvien perusoletusten luonnetta. Sen jälkeen voidaan tarkastella niitä erilaisia mahdollisuuksia, mitä digitaaliset välineet voivatkaan tuoda opiskeluun ja oppimisen ohjaamiseen.
Kirjoittaja:
Harri Keurulainen, yliopettaja
JAMK ammatillinen opettajakorkeakoulu
Lähteet:
Abramovich, S., Schunn, C. & Higashi, R.M. 2013. Are badges useful in education?: it depend upon the type of badge and expertise of learner. Viitattu 12.2.2021. https://www.lrdc.pitt.edu/schunn/papers/Abramovich-Schunn-Higashi.pdf
Binkley, M., Erstad, O., Herman, J., Raizen, S., Ripley, M., Miller-Ricci, M. & Rumble, M. 2012. Defining 21st century skills. Teoksessa P. Griffin, B. McGaw & E. Care (toim.) 2012. Assessment and teaching of 21st century skills. Dordrecht: Springer. 17- 66.
Deci, E. L., Koestner, R., & Ryan, R. M. 1999. A meta-analytic review of experiments examining theeffects of extrinsic rewards on intrinsic motivation. Psychological Bulletin, 125(6), 62.
Ditchfield, C. 2001. What contribution can research into conceptions of learning and teaching make to future developments in teacher education? Viitattu 19.11.2019. http://www.leeds.ac.uk/educol/documents/00002312.htm
Ellis, R., Han, F. & Pardo, A. 2017. Improving Learning Analytics – Combining Observational and Self-Report Data on Student Learning. Educational Technology & Society, 20, 3, 158-169.
Marton, F., Dall’Alba, G., & Beaty, E. 1993. Conceptions of learning. International Journal of Educational Research, 19, 277-300.
Scriven, M. 1967. The Methodology of Evaluation. Teoksessa R.W. Tyler (toim.) Perspectives of Curricululum Evaluation, 39-83. Chicago: Rand McNally.
Verbert, K., Govaerts, S., Duval, E., Santos, J., Van Assche, F., Parra, G. & Klerkx, J. 2014. Learning dashboards: an overview and future research opportunities. Pers Ubiquit Comput. 18, 1499-1514.
Wong, B, Li, K. & Choi, S. 2018.Trends in learning analytic practices: a review of educational institutions. Interactive Technology and Smart Education. 15, 2, 132-154.