Kl. 8:30-10:00
Sálfræðideild HÍ / Menntamálastofnun
Sigurgrímur Skúlason
Opinn gagnagrunnur fyrir staðlað námsmat
Örnólfur Thorlacius, verkefnisstjóri, FVS HÍ; Arnór Guðmundsson, forstjóri, Menntamálastofnun; Auðun Valborgarson, doktorsnemi, HVS HÍ og Sigurgrímur Skúlason, aðjúnkt, HVS HÍ
Opinberar stofnanir eins og Menntamálastofnun sitja oft og tíðum á verðmætum gögnum sem hefur verið safnað fyrir opinbert fé og væri hægt að nýta betur. Greint verður frá þróunarverkefni sem unnið er af Gagnaþjónustu félagsvísinda á Íslandi (GAGNÍS) og Félagsvísindastofnun Háskóla Íslands í samstarfi við Menntamálastofnun um opið aðgengi að menntagögnum. Unnið er eftir FAIR-gæðaviðmiðum um umsýslu vísindagagna en í því felst að gögn skuli vera finnanleg (e. findable), aðgengileg (e. accessible), samkeyranleg (e. interoperable) og endurnýtanleg (e. reusable). Í FAIR-viðmiðunum er lögð áhersla á að gagnaskrár og fylgigögn séu uppsett á aðgengilegan hátt og að tölvukerfi geti fundið, lesið og samkeyrt gögnin með engri eða takmarkaðri aðkomu fólks (e. machine-actionable). Er það mikilvægt til að mæta aukinni áherslu á sjálfvirkni í gagnavinnslu og mati á rannsóknargögnum vegna þess mikla og sívaxandi umfangs gagna sem finna má á netinu. Markmið með þessu samstarfi er að safna saman rannsóknargögnum úr menntakerfi á Íslandi, stuðla að opnu aðgengi þeirra og nýtingarmöguleikum, hvort sem er til kennslu, frekari rannsókna eða stefnumótunar. Gríðarlegt magn er til af gögnum hérlendis sem má endurnýta, hvort heldur sem efnivið í nýjar greiningar eða kveikju að nýjum rannsóknahugmyndum. Farið verður yfir tvö langtímagagnasett sem er hægt að tengja á milli, annars vegar samræmdar einkunnir frá árunum 2000–2020 (N = 2.439.186) og lestrargögnum frá 2015–2020 (N = 466.870).
Málskilningur í nútíð og þátíð: Réttmæti matstækja og frammistaða nýbúa
Azra Crnac, nemi, HVS HÍ og Noah Roloff, nemi, HVS HÍ
Leiðbeinandi: Sigurgrímur Skúlason, aðjúnkt, HVS HÍ
Íslenska er hið opinbera tungumál Íslands og því er mikilvægt að stuðla að virku viðhaldi tungumálsins og miðla því áfram til framtíðarkynslóða. Til þess að gera það þarf að skoða stöðu íslenskrar tungu hjá börnum. Í þessari rannsókn var skoðaður málþroski barna í 4. og 7. bekk. Reynt var að svara tveimur spurningum; annars vegar hvort munur væri á frammistöðu eintyngdra barna miðað við gögn fyrri ára og hins vegar hvort frammistaða fjöltyngdra barna á Íslandi væri verri samanborið við eintyngd börn. Þátttakendur voru úr sex grunnskólum í Reykjanesbæ og voru prófin Orðalykill og Stöðupróf í íslensku: Orðskilningshluti lögð fyrir. Bæði prófin eru stöðluð að íslensku þýði og athuga orðaforða og orðskilning barna. Niðurstöður rannsóknarinnar sýndu fram á marktækan mun á frammistöðu ein- og fjöltyngdra þátttakenda á báðum málþroskaprófunum. Fjöltyngdir þátttakendur skora að jafnaði lægra en eintyngdir jafnaldrar þeirra. Niðurstöður leiddu einnig í ljós að eintyngdir þátttakendur skoruðu marktækt lægra í ár á báðum prófunum, samanborið við gögn fyrri ára. Athyglisvert var að sjá hversu erfið prófatriði reyndust þátttakendum. Ótækt er að álykta um orðskilning barna í ár út frá prófum sem stöðluð voru fyrir tæplega tuttugu árum. Mikilvægt er að huga að endurstöðlun orðaforðaprófa til að endurspegla kynslóðabreytingar á tungumálinu svo hægt sé að fylgjast nánar með þróun íslenskrar tungu innan um menntastofnana landsins.
Forsendur fyrir samtímalausn á svarferlalíkani fyrir prófatriðabanka í stærðfræði sem byggir á prófatriðum úr samræmdum könnunarprófum í 4. og 7. bekk og á unglingastigi
Unnar Geirdal Arason, meistaranemi, HVS HÍ; Guðmundur Arnkelsson, prófessor, HVS HÍ; Auðun Valborgarson, doktorsnemi, HVS HÍ og Sigurgrímur Skúlason, aðjúnkt, HVS HÍ
Menntamálastofnun vinnur að undirbúningi prófatriðabanka (e. item bank) þar sem prófatriði úr eldri samræmdum könnunarprófum verða nýtt til að þróa matstæki í stærðfræði. Prófatriðabanki af þessu tagi krefst þess að útbúinn sé langtíma- eða lóðréttur einkunnakvarði (e. vertical scale) sem grunnkvarði fyrir hvert próf og prófatriði í prófatriðabankanum tengd við þann kvarða. Með þeim hætti verður unnt að birta niðurstöður ólíkra prófútgáfa (e. test forms) á sama kvarða, t.d. að meðalnemandi í 4. bekk fái 40, meðalnemandi í 7. bekk fái 70 og svo framvegis. Við þróun þessa prófatriðabanka eru notuð svarferlalíkön (e. item response models) til að meta próffræðilega eiginleika (e. item statistics) atriða í prófatriðabankanum. Beitt er aðferð sem notar samtímalausn (e. concurrent calibration) til að setja prófatriði úr prófum í 4. og 7. bekk og af unglingastigi á sama kvarða (e. common scale). Þessi leið hvílir á þeirri forsendu að innbyrðis afstaða próffræðilegra eiginleika atriða sé sú sama, hvort sem notuð er niðurstaða úr líkani þar sem hvert próf er meðhöndlað sem sjálfstæð eining og úr því líkani sem fengið er með samtímalausn með öllum þremur árgöngum. Niðurstöður sýna að fylgni milli próffræðilegra eiginleika atriða úr þessum tveimur ólíku svarferlalíkönum er mjög sterk, yfir r = 0,99 en einnig verða kynntar niðurstöður úr greiningu á hugsanlegum atriðabundnum hópamun (e. differential item functioning) milli niðurstaðna þessara líkana.
Merkjagreining á LtL-lesskimun með lesskilningi og lesfimi sem viðmiðum
Aron Baldvin Þórðarson, nemi, HVS HÍ; Brynjólfur Haukur Ingólfsson, nemi, HVS HÍ; Jón Björgvin Guðmundsson, nemi, HVS HÍ; Ragnhildur Björk Ingvarsdóttir, HVS HÍ og Sigurgrímur Skúlason, aðjúnkt, HVS HÍ
Greint verður frá niðurstöðum tveggja rannsókna þar sem aðferðum merkjagreiningar (e. signal detection theory) er beitt til að kanna skimunareiginleika Leið til læsis lesskimunar í 1. bekk. Í annarri rannsókninni var lesskilningur í samræmdum könnunarprófum notaður sem viðmið en í hinni var lesfimi í Lesferli notuð sem viðmið. Niðurstöður bentu til að greiningarhæfni prófhluta á LtL-lesskimun var ekki nægilega góð, þar sem besta skimunarnákvæmni (AUC eða area under the curve) varð tæplega 80%. Hins vegar hélst greiningarhæfnin stöðug frá 4.–9. bekk sem sýnir að Leið til læsis nær að meta færni sem er stöðug yfir tíma. Niðurstöður benda til að styrkja þurfi prófhluta á LtL-lesskimunarprófinu til þess að bæta greiningareiginleika þess. Þetta má gera með því að fella út prófhlutann bókstafsþekkingu og lengja prófhlutana málskilning og hljóðgreiningu.
Gagnsemi lesfimiprófa til að skima fyrir lesskilningsvanda á yngsta-, mið- og unglingastigi
Auðun Valborgarson, doktorsnemi, HVS HÍ; Freyja Birgisdóttir, dósent, HVS HÍ; Fanney Þórsdóttir, HVS HÍ og Sigurgrímur Skúlason, aðjúnkt, HVS HÍ
Haustið 2016 gaf Menntamálastofnun út lesfimiviðmið til að setja fram væntingar um stíganda í lesfimi (fjölda rétt lesinna orða á mínútu) frá einum bekk til annars. Markmið viðmiðanna var að setja almennar væntingar fyrir nemendur í hverjum árgangi þannig að þeir yrðu undirbúnir fyrir kröfur í námi á efri skólastigum. Vinna við gerð viðmiðanna byggði á takmörkuðum gögnum sem voru til á þeim tíma og byggði því frekar á fræðilegum grunni ásamt faglegu áliti þverfaglegs sérfræðingahóps. Markmiðið með þessari rannsókn er að skoða gagnsemi lesfimiprófa til að skima fyrir lesskilningsvanda á yngsta-, mið- og unglingastigi, ásamt að finna hvar þröskuldur lesfimiviðmiða ætti að vera út frá raunvísri (e. empirical) nálgun. Notast var við úrtak nemenda (N = 5817) í 1. til 10. bekk, úr 30 grunnskólum dreifðum um allt Ísland. Nemendur voru metnir endurtekið með lesfimiprófum ásamt að þreyta lesskilningshluta samræmdra könnunarprófa í íslensku. Brottfallsgildi voru meðhöndluð með marghliða tilreiknun (e. multiple imputation). Nemendur sem skoruðu undir 1,5 staðalfrávikum í lesskilningi voru flokkaðir í áhættu fyrir lesskilningsvanda en aðrir utan áhættu. Notast var við aðhvarfsgreiningu hlutfalla (e. logistic regression) ásamt merkjagreiningu (e. receiver operating characteristic) til að finna næmni (e. sensitivity) og sérhæfni (e. specificity) lesfimiprófanna. Niðurstöður athugunarinnar renna stoðum undir gagnsemi þess að nota lesfimipróf til þess að skima fyrir áhættu á lesskilningsvanda á yngsta, mið- og unglingastigi (AUC = 0,71 – 0,80). Hins vegar þarf að endurskoða lesfimiviðmið Menntamálastofnunar sem eru ýmist of há eða lág.