Název: Avoiding overfitting of models: an application to research data on the Internet videos
Autoři: Jiroušek, Radim ; Krejčová, I.
Typ dokumentu: Příspěvky z konference
Konference/Akce: MME 2017. International Conference Mathematical Methods in Economics /35./, Hradec Králové (CZ), 20170913
Rok: 2017
Jazyk: eng
Abstrakt: The problem of overfitting is studied from the perspective of information theory. In this context, data-based model learning can be viewed as a transformation process, a process transforming the information contained in data into the information represented by a model. The overfitting of a model often occurs when one considers an unnecessarily complex model, which usually means that the considered model contains more information than the original data. Thus, using one of the basic laws of information theory saying that any transformation cannot increase the amount of information, we get the basic restriction laid on models constructed from data: A model is acceptable if it does not contain more information than the input data file.
Klíčová slova: data-based learning; information theory; lossless encoding; MDL principle; probabilistic models
Číslo projektu: GA15-00215S (CEP)
Poskytovatel projektu: GA ČR
Zdrojový dokument: Proceedings of the 35th International Conference Mathematical Methods in Economics (MME 2017), ISBN 978-80-7435-678-0

Instituce: Ústav teorie informace a automatizace AV ČR (web)
Informace o dostupnosti dokumentu: Dokument je dostupný na externích webových stránkách.
Externí umístění souboru: http://library.utia.cas.cz/separaty/2017/MTR/jirousek-0481488.pdf
Původní záznam: http://hdl.handle.net/11104/0277045

Trvalý odkaz NUŠL: http://www.nusl.cz/ntk/nusl-369603


Záznam je zařazen do těchto sbírek:
Věda a výzkum > AV ČR > Ústav teorie informace a automatizace
Konferenční materiály > Příspěvky z konference