Název: Odhad správnosti odpovědí na otázku
Překlad názvu: Answer Correctness Estimation on a Question
Autoři: Ligocký, Marián ; Kesiraju, Santosh (oponent) ; Szőke, Igor (vedoucí práce)
Typ dokumentu: Bakalářské práce
Rok: 2023
Jazyk: eng
Nakladatel: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstrakt: [eng] [cze]
Odhad správnosti odpovede na otázku je kritický pre aplikácie na výučbu jazyka, kde sa očakáva odpoveď v podobe vety. Možný prístup je spočítať sémantickú podobnosť vstupnej vety a vopred definovných správnych odpovedí. Skóre podobnosti študentovej a správnej odpovede môže byť vypočítané pomocou hlbokých jazykových modelov, založených na architektúre transformerov. Pre získanie podobnosti viet (STS) sme preskúmali rôzne modely. Najlepší model stsb-TinyBERT-L-4 (cross-encoder) vylepšuje pôvodný model o 27.8% (stredná kvadratická chyba) na reálnych odpovediach študentov, oskórovaných učiteľom a kalibrovaných lineárnou regresiou. Označenia NLI môžu zlepšiť výsledky, ale je nutný ďalší výskum. When it comes to language learning apps that allow sentence-like answers, accurately estimating the correctness score is crucial. A possible approach is to compute the semantic similarity of input sentences and predefined correct answers. The similarity score of the student and the correct answer can be computed by a deep language model based on transformer architecture. We examined different models for Semantic Textual Similarity. The best model stsb-TinyBERT-L-4 (cross-encoder), improves the old model by 27.8% in MSE on a human-annotated dataset and calibrated by linear regression. While incorporating Natural Language Inference labels may enhance performance, further research is needed.
Klíčová slova: language learning application; semantic textual similarity; sentence embeddings; aplikace pro výuku jazyka; kódování vět vektory; sémantická podobnost vět

Instituce: Vysoké učení technické v Brně (web)
Informace o dostupnosti dokumentu: Plný text je dostupný v Digitální knihovně VUT.
Původní záznam: http://hdl.handle.net/11012/211150

Trvalý odkaz NUŠL: http://www.nusl.cz/ntk/nusl-529427


Záznam je zařazen do těchto sbírek:
Školství > Veřejné vysoké školy > Vysoké učení technické v Brně
Vysokoškolské kvalifikační práce > Bakalářské práce