Original title: Odhad správnosti odpovědí na otázku
Translated title: Answer Correctness Estimation on a Question
Authors: Ligocký, Marián ; Kesiraju, Santosh (referee) ; Szőke, Igor (advisor)
Document type: Bachelor's theses
Year: 2023
Language: eng
Publisher: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract: [eng] [cze]
Odhad správnosti odpovede na otázku je kritický pre aplikácie na výučbu jazyka, kde sa očakáva odpoveď v podobe vety. Možný prístup je spočítať sémantickú podobnosť vstupnej vety a vopred definovných správnych odpovedí. Skóre podobnosti študentovej a správnej odpovede môže byť vypočítané pomocou hlbokých jazykových modelov, založených na architektúre transformerov. Pre získanie podobnosti viet (STS) sme preskúmali rôzne modely. Najlepší model stsb-TinyBERT-L-4 (cross-encoder) vylepšuje pôvodný model o 27.8% (stredná kvadratická chyba) na reálnych odpovediach študentov, oskórovaných učiteľom a kalibrovaných lineárnou regresiou. Označenia NLI môžu zlepšiť výsledky, ale je nutný ďalší výskum. When it comes to language learning apps that allow sentence-like answers, accurately estimating the correctness score is crucial. A possible approach is to compute the semantic similarity of input sentences and predefined correct answers. The similarity score of the student and the correct answer can be computed by a deep language model based on transformer architecture. We examined different models for Semantic Textual Similarity. The best model stsb-TinyBERT-L-4 (cross-encoder), improves the old model by 27.8% in MSE on a human-annotated dataset and calibrated by linear regression. While incorporating Natural Language Inference labels may enhance performance, further research is needed.
Keywords: aplikace pro výuku jazyka; kódování vět vektory; sémantická podobnost vět; language learning application; semantic textual similarity; sentence embeddings

Institution: Brno University of Technology (web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library.
Original record: http://hdl.handle.net/11012/211150

Permalink: http://www.nusl.cz/ntk/nusl-529427


The record appears in these collections:
Universities and colleges > Public universities > Brno University of Technology
Academic theses (ETDs) > Bachelor's theses