|
|
Evoluční návrh neuronových sítí
Kastner, Jan ; Hurta, Martin (oponent) ; Sekanina, Lukáš (vedoucí práce)
Tato práce je věnována implementaci metody pro řešení problémů v oblasti automatizovaného návrhu architektury konvolučních neuronových sítí (CNN). Optimalizace dvou základních a často protichůdných charakteristik, počtu parametrů a kvality klasifikace CNN, je prováděna pomocí vícekriteriálního optimalizačního genetického algoritmu (NSGA-II). Pro zakódování tohoto problému je využita technika kartézského genetického programování (CGP), která umožňuje reprezentaci široké škály architektur CNN a současně lze parametrizací vhodně omezit prohledávaný prostor. Experimenty byly prováděny na datasetu MNIST za účelem pochopení vlivu velikosti populace na kvalitu výsledného řešení. Z výsledků experimentů je také patrné, že kvalita nalezených architektur dokáže konkurovat již etablovaným modelům. Jedná se tedy o alternativní přístup, který v porovnání s manuálním návrhem nevyžaduje lidskou intervenci.
|
|
|
EVOLUČNÍ NÁVRH KOMBINAČNÍCH OBVODŮ
Žák, Jan ; Hůlka, Tomáš (oponent) ; Matoušek, Radomil (vedoucí práce)
Práce se zaměřuje na využití kartézského genetického programování pro návrh kombinačních obvodů. V rámci projektu byla implementována metoda CGP v programovacím jazyce Python s využitím knihovny NumPy. Implementace byla úspěšně otestována na experimentálních úlohách, jejichž výsledky jsou také v práci diskutovány.
|
|
|
Aproximace obvodů s využitím alternativních reprezentací
Michalisko, Tomáš ; Mrázek, Vojtěch (oponent) ; Sekanina, Lukáš (vedoucí práce)
Tato diplomová práce se zabývá návrhem aproximačních obvodů s využitím alternativních reprezentací. Mezi zkoumané reprezentace patří And-inverter graf, Majority-Inverter graf a Xor-Majority graf. Pro automatizaci návrhu je použito kartézské genetické programování. Díky výpočtu aproximační chyby pomocí formálních metod je možné vytvořený systém aplikovat i na složitější obvody. V první části experimentů je vyhodnocena a optimalizována rychlost programu. Následně je hledán vhodný mutační operátor. Poté je systém otestován při aproximaci 8bitových násobiček a 16bitových sčítaček s cílem minimalizovat velikost a zpoždění. Bylo zjištěno, že sčítačky i násobičky v reprezentaci XMG dosahují lepších fitness hodnot v porovnání s evolucí na úrovni hradel. Na závěr je provedena evoluce s cílem mapování na technologii k-LUT. Zde zůstávají nejefektivnější reprezentací hradla.
|
|
|
Evoluční návrh nelineárních funkcí pro konvoluční neuronové sítě
Hladiš, Martin ; Mrázek, Vojtěch (oponent) ; Sekanina, Lukáš (vedoucí práce)
Cílem této diplomové práce je návrh a implementace programu pro automatizovaný návrh nelineárních aktivačních funkcí pro konvoluční neuronové sítě (CNN) s využitím evolučních algoritmů. Využití automatického návrhu poskytuje nezávislý pohled na systematické prozkoumání širokého spektra aktivačních funkcí a identifikaci těch nejlepších. Metoda zvolená v práci pro automatický návrh je formou evolučních algoritmů nazývanou jako kartézské genetické programování, které pro zakódování řešení využívá grafovou reprezentaci. Tato technika umožňuje definici sady matematických primitiv, která definuje prohledávací prostor, a tak jednoduše parametrizuje návrh. Implementovaný přístup byl otestován na několika různých architekturách a datasetech (LeNet-5 \& MNIST, ResNet-10 \& FashionMNIST, WRN-40-4 \& CIFAR-10). Experimenty dokázaly, že přístup dokáže nalézt aktivační funkce, které statisticky zlepšují přesnost CNN oproti běžně využívané funkci ReLU.
|
|
|
Využití operátoru křížení v kartézském genetickém programování
Bromnik, Petr ; Sekanina, Lukáš (oponent) ; Hurta, Martin (vedoucí práce)
Cílem této práce je navrhnout a implementovat dvě nové metody křížení v kartézském genetickém programování (CGP) a porovnat je s existujícím přístupem. CGP je typ evolučního algoritmu využívající acyklické grafy k reprezentaci spustitelných programů. Většina CGP aplikací pracuje výhradně s operátorem mutace, ale snahy o nalezení vhodného operátoru křížení stále pokračují. V této práci jsou dvě nově navržené metody křížení porovnávány na pěti úlohách symbolické regrese oproti standardnímu přístupu 1 + lambda založenému čistě na mutaci. Výsledky experimentů ukázaly, že tyto metody naleznou řešení za podobný počet fitness evaluací jako 1 + lambda, ve dvou případech dokonce významně dříve.
|
|
|
Genetické programování s pamětí v úloze symbolické regrese
Jůza, Tadeáš ; Bidlo, Michal (oponent) ; Sekanina, Lukáš (vedoucí práce)
Cílem práce je ověřit možnosti rozšíření genetického programování o paměť pro řešení problémů symbolické regrese. Dále pak vytvoření sady úloh pro testování kvality takovýchto řešení. V práci je navržen způsob praktického využití takovéhoto rozšíření, a to pro potencionální snížení energetické náročnosti načítání vah konvolučních neuronových sítí. Zde místo načítání všech vah sítě z paměti je načítáno pouze malé procento vah a zbylé jsou vygenerovány za pomocí evolučně nalezené funkce. Tento způsob byl převážně testován na vahách konvolučních vrstev malé konvoluční neuronové sítě řešící úlohu klasifikace obrazu z testovací sady MNIST. Dále byla také ověřena možnost generování vah na dalších konvolučních neuronových sítích řešících složitější problémy. Podařilo se nalézt různé kompromisy mezi přesností klasifikace a velikostí paměti vah.
|
|
|
Symbolická regrese a koevoluce
Drahošová, Michaela ; Žaloudek, Luděk (oponent) ; Sekanina, Lukáš (vedoucí práce)
Symbolická regrese je úloha identifikace matematického popisu skryté závislosti experimentálně získaných dat. Symbolická regrese je úzce spjata se základními úlohami strojového učení. Tato práce se zabývá symbolickou regresí a jejím řešením založeném na principu genetického programování a koevoluce. Genetické programování je evolucí inspirovaná metoda strojového učení, která automaticky generuje celé programy v určitém programovacím jazyce. Koevoluce fitness prediktorů je optimalizační metoda modelování fitness, která snižuje náročnost a frekvenci výpočtu fitness. Tato práce se zabývá návrhem a implementací řešení symbolické regrese s užitím koevoluce fitness prediktorů a srovnáním s řešením bez užití koevoluce. Experimenty byly provedeny s použitím kartézského genetického programování.
|
|
| |
|
|
Užití genetického programování v návrhu digitálních obvodů
Hejtmánek, Michal ; Bidlo, Michal (oponent) ; Gajda, Zbyšek (vedoucí práce)
Cílem této práce bylo nastudování evolučních algoritmů a jejich využití pro návrh digitálních obvodů. Především jsem se zaměřil na genetické programování a jeho rozdílný způsob zacházení se stavebními bloky ve srovnání s genetickým algoritmem. Na základě těchto dvou přístupů jsem vytvořil a odzkoušel hybridní metodu návrhu obvodů. Tato metoda využívá šíření schemat podle genetického algoritmu pro problémy řešené genetickým programováním. U složitějších obvodů dosahuje vyšší úspěšnosti návrhu i rychlejší konvergence k řešení než obecný algoritmus genetického programování.
|
|
|
Automated Multi-Objective Parallel Evolutionary Circuit Design and Approximation
Hrbáček, Radek ; Fišer, Petr (oponent) ; Trefzer,, Martin (oponent) ; Sekanina, Lukáš (vedoucí práce)
Recently, energy efficiency has become one of the most important properties of computing platforms, especially because of limited power supply capacity of battery-power devices and very high consumption of growing data centers and cloud infrastructure. At the same time, in an increasing number of applications users are able to tolerate inaccurate or incorrect computations to a certain extent due to the imperfections of human senses, statistical nature of data processing, noisy input data etc. Approximate computing, an emerging paradigm in computer engineering, takes advantage of relaxed functionality requirements to make computer systems more efficient in terms of energy consumption, computing performance or complexity. Error resilient applications can achieve significant savings while still serving their purpose with the same or a slightly degraded quality. Even though new design methods for approximate computing are emerging, there is a lack of methods for automated approximate HW/SW design offering a rich set of compromise solutions. Conventional methods often produce solutions that are far from an optimum. Evolutionary algorithms have been shown to bring innovative solutions to complex design and optimization problems. However, these methods suffer from several problems, such as the scalability or a high number of fitness evaluations needed to evolve competitive results. Finally, existing methods are usually single-objective whilst multi-objective approach is more suitable in the case of approximate computing. In this thesis, a new automated multi-objective parallel evolutionary algorithm for circuit design and approximation is proposed. The method is based on Cartesian Genetic Programming. In order to improve the scalability of the algorithm, a brand new highly parallel implementation was proposed. The principles of the NSGA-II algorithm were used to provide the multi-objective design and approximation capability. The performance of the implementation was evaluated in multiple different applications, in particular (approximate) combinational arithmetic circuits design, bent Boolean functions discovery and approximate logic circuits for TMR schema. In these cases, important improvements with respect to the state of the art were obtained.
|
host ::
RSS.