E-õppe kvaliteedi töörühm koosseisus Marit Dremljuga-Telk (Hariduse Infotehnoloogia Sihtasutus), Merle Varendi (Eesti Infotehnoloogia Kolledž), Toomas Plank (Tartu Ülikool), Anne Villems (Tartu Ülikool), Lehti Pilt (Tartu Ülikool), Eneli Sutt (Hariduse Infotehnoloogia Sihtasutus), Egle Kampus (Hariduse Infotehnoloogia Sihtasutus).
Sihtide seadmisest lubadusteni
2007. aastal lõppenud REDEL projekti raames alustati e-õppe kvaliteedisüsteemi seemne külvamist. Esialgne idee võimalikust raamistikust innustas edasi mõtlema ja juba selgemaid sihte ja eesmärke seadma. BeSt programmi ettevalmistamise periood oli kui kasvulava e-õppe kvaliteedi edendamiseks. Konkreetsed lubadused, mis toetaksid kvaliteedi valdkonna edasiarendamist ja tervikuni jõudmist, said viis aastat tagasi kirja järgnevalt:
1) kavandatud on iga-aastaste parimate e-kursuste valimine ja tunnustamine;
2) moodustatakse töörühm kvaliteedi normdokumentide ja protseduurireeglite regulaarseks ülevaatamiseks ja ajakohastamiseks (sh hindamiseks ja seireks kaasatakse väliseksperte).
Lubadustest tegudeni
2008. aastal moodustati kvaliteedi töörühm, mille esimeseks ülesandeks sai juhendmaterjali väljatöötamine õppejõududele ja haridustehnoloogidele hea e-kursuse loomiseks. Määratleti ka head e-kursust iseloomustavad kriteeriumid, mille alusel kursuse loojad saaksid oma kursust analüüsida ja kursuse hindajad vähendada hindamise subjektiivsust. Teiseks ülesandeks oli juhendmaterjali kirjutamise ja koostamisega käsikäes e-kursuste hindamise ja kvaliteetsete e-kursuste autorite tunnustamise protsessi ülesehitamine.
Juhendmaterjali loomise algfaas ei olnud lihtne – vastuseid ootasid fundamentaalsed küsimused, nt millisest metoodikast e-kursuse hindamisel lähtuda ja kuidas määratleda kvaliteeti. Ühiste jõupingutuste tulemusena valmis aasta pärast juhendmaterjali esimene veebipõhine versioon, mis sai endale nimeks “Juhend kvaliteetse e-kursuse loomiseks”. Hiljem, 2010. aastal ilmus juhend esmakordselt ka trükiversioonis (Primus programmi toel). Tuhandeeksemplariline tiraaž jaotati laiali kiiremini, kui oleksime osanud arvata. Et nõudlus trükiversioonis juhendi järele ei kadunud, siis võeti üsna pea ette juhendi kordustrüki ettevalmistus, mis ilmus 2012. aasta lõpus ning on praegu kõigile kättesaadav.
Seda juhendit kasutatakse ka mujal õppeasutustes paljude koolituskursuste õppematerjalina – nt Tartu Ülikooli doktorantide kursusel “E-õppe tehnoloogiad kõrgkoolis”, millest on osa võtnud 200 doktoranti.
Paralleelselt juhendmaterjali loomisega töötati välja ka e-kursuse kvaliteedimärgi kontseptsioon ja selle taotlemise protsess, mis on üldjoontes püsinud senini. Osapoolte tagasisidele toetudes on seda pidevalt parendatud, luues juurde ka taotlejaid ja e-kursuste hindajaid toetavaid materjale ja vahendeid (sh e-õppe kvaliteedi veebilahendus, e-kursuste hindamise maatriks). Üks oluline küsimus, mis tekkis üsna protsessi juurutamise algfaasis, oli näiteks: kas kõik kvaliteetset e-kursust iseloomustavad kriteeriumid on ikka vajalikud? Kas mõni kriteerium on olulisem? See ongi ehk üks eredamatest protsessi parendamise mälestustest, kus võtsime lahenduse leidmiseks appi kvaliteedijuhtimises tuntud juurpõhjuste analüüsimise meetodi “suhete digraafi”. Oli väga põnev “ämblikuvõrkude” joonistamine, mille tulemusena korrastasime e-kursuste hindamise kriteeriume olulisel määral.
Kvaliteediprotsessist lähemalt
2008. aastal valminud e-kursuse kvaliteedimärgi väljaandmise protsess on üles ehitatud kolmeetapilisena:
1) Enesehindamise etapp on esimene samm, kus taotleja teeb eneseanalüüsi. Eneseanalüüsi saab teha etteantud veebipõhise maatriksi alusel ning selle eesmärgiks on tõsta taotleja teadlikkust e-kursusele esitatavatest kvaliteedinõuetest ning motiveerida e-kursuste tegijaid oma e-kursusi analüüsima. Kvaliteedimärgi taotleja esitatud enesehinnangut kasutatakse protsessis kursuse hindamisel lisamaterjalina.
2) Organisatsiooni etapis annab õppeasutus, mille alla kvaliteedimärki taotlev kursus kuulub, oma hinnangu selle kohta, kas kursus on oma sisult tasemel ning kas see toetab vastava õppekava eesmärke. Samuti avaldab organisatsioon siin õppijate hinnangu kursusele. Seda etappi võib vaadelda ka kui õppeasutuse teavitamist oma õppejõu/õpetaja tegevusest ja e-kursuse tasemest. Hindamiseks on välja töötatud retsensiooni vorm, mille täidab organisatsiooni valitud isik (nt programmi- või õppekava juht, õppealajuhataja jne) ning kinnitab taotleja otsene juht. Organisatsiooni retsensiooni esitab kvaliteedimärgi taotleja kvaliteedimärgi taotlemise protsessis koos vastava avaldusega.
3) Ekspertide taseme eesmärgiks on anda kursuse autorile ekspertide konsensuslik tagasiside ning võtta vastu otsus, kas e-kursusele omistatakse kvaliteedimärk. Eksperthindamine toimub pärast kvaliteedimärgi taotleja enesehinnangu, avalduse ning organisatsiooni retsensiooni esitamist. Sellel tasemel hindab kolmeliikmeline sõltumatu hindajate meeskond e-kursust selleks väljatöötatud maatriksi alusel. Hindamisel aluseks olev maatriks on peaaegu sama, mida kasutatakse enesehindamisel – välja on jäetud vaid kriteeriumid, millele on välishindajana raske või võimatu tõendust leida. Etapi tulemusena saab taotleja oma e-kursusele ka hindajate meeskonna tagasiside koos ettepanekutega kursuse parendamiseks. Selles etapis hinnatakse kahes osas. Esmalt hindab iga meeskonnaliige kursust individuaalselt ning alles seejärel tuleb hindamismeeskond kokku, et alustada arutelu konsensusliku hinnangu andmiseks, otsuse vastuvõtmiseks ning taotlejale tagasiside vormistamiseks. Ekspertidena, kellest me siin räägime, esinevad peamiselt haridustehnoloogide võrgustikku kuuluvad e-õppe asjatundjad ja e-õppes rikkaliku kogemusepagasiga õpetajad ja õppejõud. Kindlasti tasub mainimist, et e-kursuse kvaliteedimärgi protsessis hinnatakse kursusi lähtuvalt e-õppega seotud spetsiifikast, mitte kursuse sisu. Kursuse sisule ja õppematerjalide sisulisele kvaliteedile annab hinnangu ja kinnituse organisatsioon oma retsensiooniga.
E-kursuse kvaliteedimärgi taotlusvooru tulemusena omistatakse kvaliteedinõuetele vastavatele e-kursustele kvaliteedimärk, millega kaasneb kursuse autorile ja/või läbiviijale õigus kasutada märgi elektroonset kuvandit kursuse veebipõhises õpikeskkonnas selle tutvustamisel, reklaamimisel jne. Kvaliteedimärgi pälvinud kursusi tutvustatakse kõikidele huvilistele e-õppe seminaridel ja konverentsidel. Peale selle nimetab kvaliteedi töörühm ekspertide meeskonna hinnangute põhjal aasta e-kursuse stipendiumi kandidaadid. Tegemist on stipendiumiga, mida antakse välja üks kord aastas ja mille eesmärk on tunnustada ja julgustada kvaliteetsete e-kursuste väljatöötajaid. Eelnevale lisaks saavad kõik kvaliteedimärgi taotlusvoorus osalenud e-kursuste autorid ja/või läbiviijad tagasisidet hindamismeeskonnalt e-kursuse parendamiseks.
Väikeste muudatustega on protsess toimunud juba kuus aastat.
Kvaliteedimärgi protsessi toetavate tehniliste vahendite areng
Kvaliteedimärgi protsessi algusaastatel kasutasid nii taotlejad kui ka hindajad kursuste hindamiseks etteantud hindamismaatriksi põhjal koostatud tabeleid. Pikkade arutelude ja analüüside tulemusena jõuti lõpuks, 2012. aasta kvaliteedimärgiprotsessi alguseks siiski ka veebipõhise süsteemini (www.e-ope.ee/kvaliteet). See sisaldab tööriistu kvaliteedimärgiprotsessi läbiviimiseks, haldamiseks ning veebiversiooni kvaliteetse e-kursuse juhendist, tänaseks ka kvaliteetse õpiobjekti juhendist. Süsteemi põhieesmärk on toetada kvaliteedimärgiprotsessi kõiki osasid:
- E-kursuse autor saab ennast analüüsida – kursust etteantud vormide alusel hinnata. Leides, et kursus on piisavalt hea kvaliteedimärgi taotlemiseks, võib ta esitada selle ka kvaliteedimärgi protsessi;
- E-kursuse hindamise etapis läbivad hindajateks määratud eksperdid kõigepealt individuaalse hindamise etapi ning seejärel genereeritakse hindamisgrupile ühise tagasiside mustand, mida siis kogu meeskond ühiselt täiustada saab. Nii taotlejad kui ka hindajad saavad vormide täitmisel ühe klikiga kasutada abitekste;
- Kõik osapooled saavad samas süsteemis anda tagasisidet kogu protsessile, mida arvestatakse nii süsteemi kui ka protsessi arendamisel.
Olemasolevat veebisüsteemi on kindlasti plaanis edasi arendada – näiteks pakkuda eneseanalüüsi teinud kursuse autorile automaatset tagasisidet, kuidas oma kursusi paremaks muuta. Nii võiks sellest saada igapäevane töövahend õpetajale oma kursuste hindamisel ja edasiarendamisel.
2008.–2013. aastal välja antud kvaliteedimärgid õppeasutuste lõikes.
Kvaliteedimärgi protsessi toetavad koolitused
2004. aastast alates korraldab Hariduse Infotehnoloogia Sihtasutus (endine e-Õppe Arenduskeskus) erinevaid koolitusi, et arendada õpetajate, õppejõudude ja haridustehnoloogide e-õppe oskusi ja teadmisi. Terviklikus ja pidevalt täienevas e-õppe koolitusprogrammis on kokku üle viiekümne kursuse, mis on avatud kõikide õpetajatele, õppejõududele, haridustehnoloogidele ja teistele huvilistele.
Kvaliteetsete e-kursuste loomist toetavad kõik e-õppe koolitusprogrammis olevad koolituskursused, kuid 2011. aasta sügisel valmis kvaliteedi töörühma eestvedamisel ning Primus programmi toel uus koolituskursus “Minu e-kursus kvaliteedimärgi vääriliseks”, mis on mõeldud spetsiaalselt neile õppejõududele/õpetajatele, kes soovivad oma e-kursuse kvaliteeti arendada. Tegemist on täiendusõppe kursusega, millele endale omistati 2013. aastal e-kursuse kvaliteedimärk. Koolituse maht on 2 EAP-d ning see toimub 4 nädala jooksul täielikult veebipõhisena Moodle’i keskkonnas. Selle eesmärk on selgitada e-kursuse eneseanalüüsi läbiviimise võimalusi ja parandada osalejate e-õppe teadmisi kursuse vastavusse viimisel kvaliteetse e-kursuse nõuetega. Koolituse käigus analüüsivad osalejad oma e-kursust, arutlevad selle parandamisvõimaluste üle ning teevad vajalikud parandused/muudatused. Nüüdseks on kursus toimunud kaks korda – 2011. a ja 2012. a lõpus ajal, mil oli avatud e-kursuse kvaliteedimärgi taotlusvoor ning kursuse on lõpetanud 32 õpetajat/õppejõudu. 20 neist teatasid koolituse alguses, et nad kavatsevad taotleda oma kursusele kvaliteedimärki. Tegelik kvaliteedimärgi taotlejate arv oli 14 ja neist 13 ehk 93% said ka kvaliteedimärgi.
Kvaliteedimärki taotlevate kursuste arv on pidevalt tõusuteel. Samuti on tõusnud kvaliteedimärgi saanud kursuste arv.
Oleme pidevalt teel
Kvaliteedijuhtimise üheks põhimõtteks on protsesside pidev parendamine. Seetõttu küsime alati tagasisidet kõikidelt sellega seotud osapooltelt: taotlejatelt (nii kvaliteedimärgiga tunnustatud taotlejatelt kui ka teistelt, kes märki ei pälvinud) ning hindajatelt. Just taotlejatelt ja hindajatelt tulev tagasiside on väga väärtuslik sisend protsessi ja sellega seotud materjalide (nn e-kursuse juhend, kursuste hindamise maatriks jm) parendamisel ja tulemuslikuks muutmisel aga ka taotlejate ja hindajate ettevalmistamisel.
Kvaliteedimärgi protsessi on korratud kuus aastat ning kvaliteedimärgi on omandanud 132 kursust. Kokku on taotlemise protsessis osalenud 238 kursust. Igal aastal on laekunud keskmiselt 35 taotlust (v.a viimasel aastal, mil kvaliteedimärki taotles 66 e-kursust). Kui 2008. aastal tunnustati kvaliteedimärgiga 39% protsessis osalenud e-kursustest, siis viie aasta möödudes oli see protsent juba 63%. Heade e-kursuste tõusu võib põhjendada kindlasti sellega, et e-õppes kogenud õppejõudude arv on suurenenud ning kursused ongi muutunud e-õppes paremaks. Toetudes taotlejatelt saadud tagasisidele, võib tõusu põhjendada kindlasti ka sellega, et e-kursusele esitatavad kvaliteedinõuded on lihvitud arusaadavamaks ja läbipaistvamaks ning hindajate ettevalmistusele on pühendatud enam aega ja tähelepanu. Eranditult iga taotlusvooru järel on tegeletud protsessi enda parendamisega.
2013. aasta alguses ilmus esimest korda juhendmaterjal õpiobjektide loomiseks. Juhendi trükiversiooni väljaandmist toetas ESF Primus programm.
Kokkuvõte
BeSt programm on andnud võimaluse ja tõuke selleks, et me oleme viimastel aastatel hakanud jõuliselt rääkima e-õppe kvaliteedist. Kvaliteedi töörühma liikmed on Eestis kasutatavat süsteemi tutvustanud rahvusvahelistel konverentsidel. Arvestades ka väljastpoolt saadud tagasisidet, võime öelda, et e-kursuste kvaliteedimärgi protsess on maailmas unikaalne süsteem, mis on loodud toeks õppejõududele ja õpetajatele. Enamik kvaliteedijuhtimise mudeleid keskendub tavaliselt organisatsioonile tervikuna, kus vaid üheks osaks on e-õppe kvaliteedi hindamine.
Hoolimata sellest, et BeSt programm lõppeb, ei peatu kvaliteeditegevused ja -arendused e-õppe valdkonnas (sh e-kursuse kvaliteedimärgi protsess). Suur tänu kõigile haridustehnoloogidele erinevatel etappidel töörühma tegemistesse panustamise eest!
Kvaliteedimärgi protsessi tulemusel aasta e-kursuse tiitliga pärjatud kursused 2008–2013
2013
Digitaalsete õppematerjalide koostamine (autor Hans Põldoja, Tallinna Ülikool)
Ehituse organiseerimine + projekt (autor Aivars Alt, Tallinna Tehnikakõrgkool)
Vasakult: Aivars Alt, Ene Koitla ja Hans Põldoja
2012
Kliinilise farmakoloogia õpe pereõdedele (autorid Alar Irs ja Ruth Kalda, Tartu Ülikool)
Vasakult: Ene Koitla ja Ruth Kalda
Ehituskorraldus ja juhtimine (autor Anneli Ramjalg, Tallinna Tehnikakõrgkool)
Vasakult: Ene Koitla ja Anneli Ramjalg
2011
Suu- ja hambahaiguste propedeutika (autor Riina Runnel, Tartu Ülikool / kaasautorid
Mare Saag, Silvia Russak, Taavo Seedre, Taive Koppel ja Olev Salum)
Riina Runnel
2010
Filosoofia (autor Indrek Meos, Tallinna Tehnikaülikool)
Infotehnoloogia eetilised, sotsiaalsed ja professionaalsed aspektid (autor Kaido Kikkas, Eesti Infotehnoloogia Kolledž)
Vasakult: Kaido Kikkas, Indrek Meos ja Ene Koitla
2009
Riskeeriv käitumine liikluses, seda mõjutavad tegurid ja ennetamise võimalused (autor Diva Eensoo, Tartu Ülikool; kaasautorid: Marika Paaver, Riina Häidkind / Tartu Ülikool; Heli Ainjärv / Tallinna Ülikool; Urve Sellenberg / Maanteeamet; Dago Antov / Tallinna Tehnikaülikool)
Diva Eensoo
Arvamusnupp
Nupp 1. Hindaja vaade
Haridustehnoloogid on kursuste hindamisel aktiivselt kaasa löönud protsessi alguspäevadest alates. Hindamine on pannud meid analüüsima e-kursusi senisest süsteemsemalt, aidanud ühtlustada arusaamu, milline peaks üks hästi üles ehitatud e-kursus välja nägema. Väljatöötatud maatriks on hea abimees e-kursuse hindamisel, mis aitab vähendada hindamise subjektiivsust. Selle vastu tunnevad huvi ka kolleegid teistest riikidest, nt Moldovast, Gruusiast, Soomest. Töö hindamismeeskondades toob küll vahel kaasa vaidlusi ja tülisid, kuid lõpptulemusena lähendab see seisukohti olulistes punktides. Hindamine on oluline kogu koolile, mitte ainult haridustehnoloogile. Hindajatena saavad protsessis kaasa lüüa ka kõik e-õpet harrastavad õpetajad. Teiste koolide e-kursuste nägemine avardab silmaringi, annab uusi mõtteid ja lähenemisnurki, annab ideid uuteks tehnilisteks lahendusteks, mida oma kursustelgi kasutada või siis kolleegidele soovitada.
Egle Kampus, Tallinna Tehnikakõrgkooli haridustehnoloog
Veronika Rogalevitš, Tallinna Ülikooli haridustehnoloog
Nupp 2. Taotleja vaade
Tagasiside põhjal motiveerib õpetajat oma e-kursusele kvaliteedimärki taotlema eelkõige kursusele antav tagasiside, mis näitab, kas ta on oma kursusega õigel teel, kas ja mida selles tuleks muuta ning kuhu edasi arendada. Kas midagi veel?
- “Need olid minu esimesed e-õppe kursused ja see, et üks osales konkursil ja sai ka tunnustatud, on minu jaoks väga olulise tähtsusega ning motiveeriv. See annab julgust ja innustust e-õppega edasi tegeleda ja ka edasi õppida.”
- “Kogu see protsess – pingutus, proovilepanek, seejärel tulemuse teadasaamine ja tagasiside, sest kõrvalpilk näeb paljusid täiendamist vajavaid asju, mida ise oled pidanud endastmõistetavaks ja heaks.”
- “Kõige väärtuslikum on ametliku kinnituse saamine enda heale arvamusele oma e-kursusest. Taoline ametlik tunnustus võimaldab vastu seista kriitikutele, kes võivad arvata, et e-õpe on haltuura või et e-õppes ei saa seda ja teist ainet õpetada jne. Ise taoline kriitik vaevalt midagi e-õppest jagab, kuid ametlikku tunnustust ta ehk aktsepteerib.”
- “Oleksin tahtnud vastata, et kõige suurem väärtus asja juures on juhi/kollektiivi toetus, aga pean piirduma sellega, et haridustehnoloogide tubli toetus ja instituudi kahtlev suhtumine (milleks selline märk kasulik on – ta ei anna ju midagi ja peale selle nõuab aega igasuguste taotluste täitmiseks).”
E-õppe kvaliteedi töörühm
