Hodnocení bakalářských prací jako přijímací kritérium do navazujícího magisterského studia : psychometrická kazuistika

Varování

Publikace nespadá pod Pedagogickou fakultu, ale pod Fakultu sociálních studií. Oficiální stránka publikace je na webu muni.cz.

Autoři	CÍGLER Hynek JEŽEK Stanislav ŠIRŮČEK Jan LACINOVÁ Lenka
Rok publikování	2022
Druh	Článek v odborném periodiku
Časopis / Zdroj	Studia paedagogica
Fakulta / Pracoviště MU	Fakulta sociálních studií
Citace
www	článek - open access
Doi	http://dx.doi.org/10.5817/SP2022-1-4
Klíčová slova	Linear Logistic Test Model; LLTM; high-stakes testing; rating scale; entrance test; generalizability theory
Přiložené soubory	Hodnoceni_bakalarskych_praci_jako_prijimaci_kriterium_navazujiciho_mgr_studia.pdf
Popis	V roce 2020 epidemie covid-19 znemožnila konání přijímací zkoušky do navazujícího magisterského studia psychologie na Masarykově univerzitě formou běžného písemného znalostního testu. Zvolili jsme proto náhradní formu v podobě hodnocení bakalářských prací. Tento článek je "psychometrickou kazuistikou", která dokumentuje celý postup od tvorby hodnoticích kritérií s ohledem na obsahovou validitu přes volbu designu až po výsledky. Každou práci hodnotili dva náhodně vylosování hodnotitelé, jejichž "přísnost" byla vyvážena využitím logistického lineárního testového modelu (LLTM) v rámci paradigmatu teorie odpovědi na položku (IRT). Výsledkem byl jednodimenzionální skór, férově vyvážený napříč dvěma přijímacími termíny (n1 = 82, n2 = 48) a 18 hodnotiteli. Jeho reliabilita, rxx' = 0,869, byla srovnatelná s písemnými testy v jiných letech. Přísnost hodnotitelů a obtížnost kritérií se nelišily napříč oběma termíny, výsledné hodnocení se zdá být validním ukazatelem a srovnatelně férové s písemným testem. Navržená procedura tak může posloužit jiným pracovištím a k jiným účelům, než je jen přijímací test; z těchto důvodů sdílíme analytický skript a veškeré materiály nezbytné pro replikaci celé procedury.