Original title: Transformace dat pomocí evolučních algoritmů
Translated title: Evolutionary Algorithms for Data Transformation
Authors: Švec, Ondřej ; Pilát, Martin (advisor) ; Neruda, Roman (referee)
Document type: Master’s theses
Year: 2017
Language: eng
Abstract: [eng] [cze]
In this work, we propose a novel method for a supervised dimensionality reduc- tion, which learns weights of a neural network using an evolutionary algorithm, CMA-ES, optimising the success rate of the k-NN classifier. If no activation func- tions are used in the neural network, the algorithm essentially performs a linear transformation, which can also be used inside of the Mahalanobis distance. There- fore our method can be considered to be a metric learning algorithm. By adding activations to the neural network, the algorithm can learn non-linear transfor- mations as well. We consider reductions to low-dimensional spaces, which are useful for data visualisation, and demonstrate that the resulting projections pro- vide better performance than other dimensionality reduction techniques and also that the visualisations provide better distinctions between the classes in the data thanks to the locality of the k-NN classifier. 1 V této práci jsme navrhli novou metodu pro supervised redukci dimenze, která se učí váhy neuronové sítě pomocí evolučního algoritmu CMA-ES, optimalizujícího úspěšnost k-NN klasifikátoru. Když v dané neuronové síti nejsou použity žádné aktivační funkce, tak algoritmus vykonává lineární transformaci. Tato lineární transformace také může být použita uvnitř Mahalanobisovy vzdálenosti a tím pádem naše metoda může být také považována za distance metric learning algo- ritmus. Při použití aktivačních funkcí v neuronových sítích se algoritmus může taky naučit nelineární transformace. V naší práci se zaměřujeme na redukci do nízko-dimenzionálních prostorů, které jsou užitečné pro vizualizaci dat. Ex- perimentálně také ukazujeme, že ve srovnání s dalšími technikami pro redukci dimenze naše výsledné projekce fungují lépe a také ukazujeme, že naše vizual- izace díky lokalitě k-NN klasifikátoru poskytují lepší interpretaci dat a rozlišení mezi různými třídami v datech. 1
Keywords: data transformation; dimensionality reduction; distance metric learning; evolutionary algorithms; Mahalanobis distance; neural networks; visualisation; evoluční algoritmy; Mahalanobisova vzdálenost; neuronové sítě; redukce dimenze; transformace dat; vizualizace; vzdálenostní metriky

Institution: Charles University Faculties (theses) (web)
Document availability information: Available in the Charles University Digital Repository.
Original record: http://hdl.handle.net/20.500.11956/85668

Permalink: http://www.nusl.cz/ntk/nusl-355650


The record appears in these collections:
Universities and colleges > Public universities > Charles University > Charles University Faculties (theses)
Academic theses (ETDs) > Master’s theses