Original title:
Automatizované vytváření reprezentace pro kartézské genetické programování pomocí neuronových sítí
Translated title:
Automated Representation Learning for Cartesian Genetic Programming Using Neural Networks
Authors:
Koči, Martin ; Mrázek, Vojtěch (referee) ; Sekanina, Lukáš (advisor) Document type: Master’s theses
Year:
2024
Language:
slo Publisher:
Vysoké učení technické v Brně. Fakulta informačních technologií Abstract:
[slo][eng]
Táto diplomová práca sa zaoberá prepojením neurónových sietí a kartézskeho genetického programovania (CGP). Skúma využitie neurónových sietí na automatické vytváranie reprezentácie pre CGP a ich využitie pre vylepšenie evolučného procesu v CGP. Štúdia pokrýva základné koncepty strojového učenia, vrátane rôznych typov učenia a modelov neurónových sietí. Ďalej sa dotýka evolučných algoritmov s dôrazom na ich základné princípy, všeobecné algoritmy a typy reprezentácií. Táto práca tiež zahŕňa princípy učenia reprezentácii a dve základné architektúry pre ich tvorbu. Popisuje aj následné využitie učenia reprezentácií v genetickom programovaní. Návrh riešenia zahŕňa získavanie a predspracovanie dát, procesy tvorby reprezentácií a využitie výsledných reprezentácií. Práca taktiež implementuje dva nové prístupy pre vytváranie reprezentácii kartézskych genetických programov. Ďalej skúma ich využitie v dvoch nových mutačných operátoroch, kde jeden je založený na priamej úprave vektorovej reprezentácie a druhý na výbere génov pre mutáciu na základe ich podobnosti. Posledná zo skúmaných oblastí je predikovanie vhodnosti kandidátnych riešení za použitia de novo vzniknutých reprezentácií.
This master's thesis addresses the integration of neural networks and Cartesian Genetic Programming (CGP). It explores the use of neural networks for automated representation creation for CGP and their application to improve the evolutionary process in CGP. The study covers basic concepts of machine learning, including various types of learning and neural network models. It also touches on evolutionary algorithms with an emphasis on their basic principles, general algorithms, and types of representations. This work also includes principles of representation learning and two fundamental architectures for their creation. It describes the subsequent use of representation learning in genetic programming. The solution design includes data acquisition and preprocessing, representation creation processes, and the utilization of the resulting representations. The thesis also implements two new approaches for creating representations for Cartesian genetic programs. It further explores their use in two new mutation operators, where one is based on direct modification of the vector representation and the other on the selection of genes for mutation based on their similarity. The last of the explored areas is predicting the suitability of candidate solutions using newly emerged representations.
Keywords:
cartesian genetic programming; convolutial neural networks; evolutionary algorithms; genetic programming; graph neural networks; multilayer perceptron; neural networks; perceptron; representation learning; transformers
Institution: Brno University of Technology
(web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library. Original record: https://hdl.handle.net/11012/248890