Original title:
Odhadování přesnosti klasifikačních metod na základě vlasnosti dat
Translated title:
Estimating performance of classifiers from dataset properties
Authors:
Todt, Michal ; Polák, Petr (advisor) ; Baruník, Jozef (referee) Document type: Master’s theses
Year:
2018
Language:
eng Abstract:
[eng][cze] The following thesis explores the impact of the dataset distributional prop- erties on classification performance. We use Gaussian copulas to generate 1000 artificial dataset and train classifiers on them. We train Generalized linear models, Distributed Random forest, Extremely randomized trees and Gradient boosting machines via H2O.ai machine learning platform accessed by R. Classi- fication performance on these datasets is evaluated and empirical observations on influence are presented. Secondly, we use real Australian credit dataset and predict which classifier is possibly going to work best. The predicted perfor- mance for any individual method is based on penalizing the differences between the Australian dataset and artificial datasets where the method performed com- paratively better, but it failed to predict correctly. 1Následující diplomová práce zkoumá vliv charakteristik dat z hlediska jejich rozdělení na výkonost klasifikačních metod. Použiváme metodu Gassovských kopulí a simulaci 1000 umělých datasetů. Trénujeme klasifikační metody GLM, GBM, DRF, XRT pomocí platformy pro strojové učení H2O.ai, přistupujeme k ní však pomocí R. Na těchto datasetech testujeme výkonost jenotlivých klasi- fikačních metod a prezentujeme vypozorované souvislosti. Dále používame reálný dataset o Australských půjčkách a předpovídame, která by méla být ta nejvýkonější. Predikovaná výkonost jednotlivých metod je počítána pomocí penalizování za rozdílnost Australského datasetu od datasetů, kde každá z metod fungovala komparativně lépe. Tento způsob předpovedi se ukázal jako nefungující. 1
Keywords:
artificial data; classification; meta-learning; klasifikace,meta-uceni,umela data
Institution: Charles University Faculties (theses)
(web)
Document availability information: Available in the Charles University Digital Repository. Original record: http://hdl.handle.net/20.500.11956/102339