|
|
Využití evolučních algoritmů při učení neuronových sítí
Vosol, David ; Rozman, Jaroslav (oponent) ; Zbořil, František (vedoucí práce)
Tato práce má za úkol nalézt a porovnat možnosti spolupráce evolučních algoritmů při učení neuronové sítě a také jejich následné porovnání s klasickým přístupem učení pomocí back-propagation. Toto porovnání je demonstrováno na hluboké dopředné síti, která je využita při klasifikačních úlohách. Optimalizace probíhá na úrovni hledání optimálních hodnot vah a biasů sítě při zachování její stejné topologie. Jako evoluční algoritmy pro tuto optimalizaci jsou vybrány tři metody. Jedná se o genetický algoritmus, diferenciální evoluci a optimalizaci hejnem částic. Demonstrační program je implementován v programovacím jazyce Python3 a to bez použití knihoven pro strojové učení.
|
|
|
Principy a aplikace neuroevoluce
Herec, Jan ; Strnadel, Josef (oponent) ; Bidlo, Michal (vedoucí práce)
Práce se na teoretické úrovni zabývá evolučními algoritmy (EA), neuronovými sítěmi (NN) a jejich syntézou v podobě neuroevoluce. Z praktického hlediska je cílem práce ukázat uplatnění neuroevoluce na dvou odlišných úlohách. První úloha spočívá v evolučním návrhu architektury konvoluční neuronové sítě (CNN), která by dokázala klasifikovat s vysokou přesností ručně psané číslice (z datasetu MNIST). Druhá úloha spočívá v evoluční optimalizaci vah neurokontroléru, který řídí přistání 1. stupně rakety Falcon 9 ve 2D simulaci. Obě úlohy jsou výpočetně velmi náročné a proto byly řešeny na superpočítači. V rámci první úlohy se podařilo navrhnout takové architektury, které při správném natrénování dosahují přesnosti klasifikace 99,49%. Ukázalo se tak, že je možné návrh kvalitních architektur zautomatizovat s využitím neuroevoluce. V rámci druhé úlohy se podařilo optimalizovat váhy neurokontroléru tak, že pro definované počáteční podmínky dovede neurokontrolér model rakety k úspěšnému přistání. V obou úlohách tedy neuroevoluce uspěla.
|
|
|
Evoluční návrh konvolučních neuronových sítí
Piňos, Michal ; Vašíček, Zdeněk (oponent) ; Sekanina, Lukáš (vedoucí práce)
Cílem této práce je návrh a implementace programu pro automatizovaný návrh konvolučních neuronových sítí (CNN) s využitím evolučních výpočetních technik. Z praktického hlediska tento přístup redukuje potřebu lidského faktoru při tvorbě CNN, a tak eliminuje zdlouhavý a namáhavý proces ručního návrhu. Tato práce využívá speciální formu genetického programování nazývanou kartézské genetické programování, které pro zakódování řešeného problému využívá grafovou reprezentaci. Tato technika umožňuje uživateli parametrizovat proces hledání CNN, a tak se zaměřit na architektury zajímavé z pohledu použitých výpočetních jednotek, přesnosti či počtu parametrů. Navrhovaný přístup byl otestován na standardizované datové sadě CIFAR-10, která je často využívána výzkumníky pro srovnání výkonnosti jejich CNN. Provedené experimenty ukázaly, že tento přístup má jak výzkumný,tak praktický potenciál a implementovaný program otevírá možnosti vzniku zajímavých řešení.
|
|
|
Neuronové sítě a genetické algoritmy
Karásek, Štěpán ; Snášelová, Petra (oponent) ; Zbořil, František (vedoucí práce)
Tato práce se zabývá evolučními a genetickými algoritmy a jejich možnou spoluprací při tvorbě a učení neuronových sítí. V teoretické části jsou popsány genetické algoritmy a neuronové sítě. Také jsou popsány možnosti jejich kombinace a je proveden přehled existujících algoritmů. V praktické části je popsána implementace algoritmu NEAT. Dále jsou s algoritmem NEAT provedeny experimenty a na základě jejich výsledků je navrhnuta kombinace algoritmu s diferenciální evolucí. Výsledky kombinace algoritmů jsou zhodnoceny. V závěru je algoritmus NEAT porovnán s klasickými učícími metodami backpropagation (pro dopředné neuronové sítě) a backpropagation through time (pro rekurentní neuronové sítě) a to z hledika rychlosti učení, kvality odezvy sítě i jejich závislosti na velikosti sítě.
|
|
|
Prediktory přesnosti konvolučních neuronových sítí
Karásek, Daniel ; Mrázek, Vojtěch (oponent) ; Piňos, Michal (vedoucí práce)
Last decade has seen a great progress in research of artificial neural network. This progress is mostly consequence of possibility to train larger models than ever before through parallelisation. However researchers reached a point where pure scaling of neural networks does not lead to major improvements. This led to a more complex research of neural network architectures, which introduced new obstacles. The most significant obstacle is the need to evaluate the accuracy of many individual architectures with various hyper-parameters. In some cases even single evaluation can take up to hours on highly specialized computers. One of the methods that can be used to overcome this obstacle is neural network accuracy predictor. Predictors are a group of algorithms that focus on estimating the final validation accuracy of a neural network with no or significantly limited training. This thesis aims to review and reimplement several accuraccy predictors for convolutional neural networks classificators.
|
|
|
Vizualizace neuroevoluce při učení neuronových sítí
Bednář, Martin ; Janoušek, Vladimír (oponent) ; Zbořil, František (vedoucí práce)
Tato práce zkoumá možnosti učení neuronových sítí za pomoci neuroevolučních algoritmů, zabývá se obecným fungováním neuroevoluce, návrhem a implementací neuroevolučích algoritmů a okrajově i návrhem a implementací dopředných neuronových sítí s plně propojenými vrstvami. Výsledkem práce je program, který provádí neuroevoluční algoritmus a grafická aplikace, která tento program zapouzdřuje pro snadnější používání a která slouží pro zobrazení grafického výstupu programu vizualizujícího řešení konkrétního problému pomocí vytvořených neuronových sítí učených pomocí neuroevoluce. Závěr práce je věnován experimentům nad vytvořeným programem.
|
|
|
Evoluční návrh konvolučních neuronových sítí
Piňos, Michal ; Vašíček, Zdeněk (oponent) ; Sekanina, Lukáš (vedoucí práce)
Cílem této práce je návrh a implementace programu pro automatizovaný návrh konvolučních neuronových sítí (CNN) s využitím evolučních výpočetních technik. Z praktického hlediska tento přístup redukuje potřebu lidského faktoru při tvorbě CNN, a tak eliminuje zdlouhavý a namáhavý proces ručního návrhu. Tato práce využívá speciální formu genetického programování nazývanou kartézské genetické programování, které pro zakódování řešeného problému využívá grafovou reprezentaci. Tato technika umožňuje uživateli parametrizovat proces hledání CNN, a tak se zaměřit na architektury zajímavé z pohledu použitých výpočetních jednotek, přesnosti či počtu parametrů. Navrhovaný přístup byl otestován na standardizované datové sadě CIFAR-10, která je často využívána výzkumníky pro srovnání výkonnosti jejich CNN. Provedené experimenty ukázaly, že tento přístup má jak výzkumný,tak praktický potenciál a implementovaný program otevírá možnosti vzniku zajímavých řešení.
|
|
|
Využití evolučních algoritmů při učení neuronových sítí
Vosol, David ; Rozman, Jaroslav (oponent) ; Zbořil, František (vedoucí práce)
Tato práce má za úkol nalézt a porovnat možnosti spolupráce evolučních algoritmů při učení neuronové sítě a také jejich následné porovnání s klasickým přístupem učení pomocí back-propagation. Toto porovnání je demonstrováno na hluboké dopředné síti, která je využita při klasifikačních úlohách. Optimalizace probíhá na úrovni hledání optimálních hodnot vah a biasů sítě při zachování její stejné topologie. Jako evoluční algoritmy pro tuto optimalizaci jsou vybrány tři metody. Jedná se o genetický algoritmus, diferenciální evoluci a optimalizaci hejnem částic. Demonstrační program je implementován v programovacím jazyce Python3 a to bez použití knihoven pro strojové učení.
|
|
|
Principy a aplikace neuroevoluce
Herec, Jan ; Strnadel, Josef (oponent) ; Bidlo, Michal (vedoucí práce)
Práce se na teoretické úrovni zabývá evolučními algoritmy (EA), neuronovými sítěmi (NN) a jejich syntézou v podobě neuroevoluce. Z praktického hlediska je cílem práce ukázat uplatnění neuroevoluce na dvou odlišných úlohách. První úloha spočívá v evolučním návrhu architektury konvoluční neuronové sítě (CNN), která by dokázala klasifikovat s vysokou přesností ručně psané číslice (z datasetu MNIST). Druhá úloha spočívá v evoluční optimalizaci vah neurokontroléru, který řídí přistání 1. stupně rakety Falcon 9 ve 2D simulaci. Obě úlohy jsou výpočetně velmi náročné a proto byly řešeny na superpočítači. V rámci první úlohy se podařilo navrhnout takové architektury, které při správném natrénování dosahují přesnosti klasifikace 99,49%. Ukázalo se tak, že je možné návrh kvalitních architektur zautomatizovat s využitím neuroevoluce. V rámci druhé úlohy se podařilo optimalizovat váhy neurokontroléru tak, že pro definované počáteční podmínky dovede neurokontrolér model rakety k úspěšnému přistání. V obou úlohách tedy neuroevoluce uspěla.
|
|
|
Maximizing Computational Power by Neuroevolution
Matzner, Filip ; Mráz, František (vedoucí práce) ; Pilát, Martin (oponent)
Echo state networks jsou speciálním typem rekurentních neuronových sítí. Nedávný výzkum ukázal, že výkon echo state networks je nejvyšší na přechodu mezi uspořádaným a chaotickým režimem, takzvané hranici chaosu. Tato práce potvrzuje tento jev pomocí rozsáhlých experimentů. Dále je nejlepší echo state network porovnána se sítí vyvinutou pomocí neuroevoluce. Vyvinutá síť má vyšší výkon než nejlepší echo state network, ovšem evoluce vyžaduje značný výpočetní výkon. Kombinací toho nejlepšího z obou modelů, jednoduchostí echo state networks a výkonu vyvinutých sítí, byl navržen nový model zvaný locally connected echo state networks. Výsledky práce mohou mít vliv na budoucí návrhy echo state networks a na efektivitu jejich implementace. Výsledky mohou navíc pomoci lepšímu pochopení toho, jak funguje mozková tkáň. 1
|
host ::
RSS.