Název:
Adaptivní testování pro odhad znalostí
Překlad názvu:
Computerized adaptive testing in knowledge assessment
Autoři:
Tělupil, Dominik ; Martinková, Patrícia (vedoucí práce) ; Omelka, Marek (oponent) Typ dokumentu: Diplomové práce
Rok:
2018
Jazyk:
cze
Abstrakt: [cze][eng] Tato práce je věnována popisu a analýze počítačových adaptivních testů, což jsou psychometrické testy, v nichž jsou položky respondentům předklá- dány postupně na základě aktuálního odhadu jejich znalostí. Práce se sou- středí výhradně na testy, které jsou založeny na dichotomických modelech teorie odpovědi na položku, tj. na případ, kdy je položky možné odpovědět pouze správně, nebo nesprávně, částečně správné odpovědi nejsou povoleny. Představena jsou možná nastavení adaptivního testu, tj. kritéria volby opti- mální položky, pravidla pro ukončení testu, metody odhadu znalostí, a také další možná rozšíření, např. metody kontroly expozice položek a vyvážení obsahu. V analytické části pak zkoumáme vliv nastavení adaptivního testu na jeho průměrnou délku a průměrné absolutní vychýlení odhadu znalostí pomocí modelů lineární regrese. Kromě post hoc analýzy reálných dat, ve které využíváme odpovědí skutečných respondentů testu, jejichž skutečnou znalost neznáme, provádíme analýzu za pomoci simulovaných odpovědí re- spondentů se známou úrovní znalostí. V poslední části práce jsou představeny možnosti, které pro analýzu adaptivních testů nabízí statistický software R, včetně možnosti vytvoření reálného adaptivního testu. 1In this thesis, we describe and analyze computerized adaptive tests (CAT), the class of psychometrics tests in which items are selected based on the actual estimate of respondent's ability. We focus on the tests based on di- chotomic IRT (item response theory) models. We present critera for item selection, methods for ability estimation and termination criteria, as well as methods for exposure rate control and content balancing. In the analytical part, the effect of CAT settings on the average length of the test and on absoulute bias of ability estimates is investigated using linear regression mo- dels. We provide post hoc analysis of real data coming from real admission test with unknown true values of abilities, as well as simulation study based on the simulated answers of respondents with known true values of ability. In the last chapter of the thesis we investigate the possibilities of analysing adaptive tests in R software and of creating a real CAT. 1
Klíčová slova:
knihovna mirtCAT; kritéria výběru položek; metody odhadu schopnosti; počítačové adaptivní testování; Teorie odpovědi na položku; ability estimation methods; computerized adaptive testing; Item response theory; item selection criteria; mirtCAT package