|
|
Využití formálních metod v přibližném počítání
Matyáš, Jiří ; Kubátová, Hana (oponent) ; Kumar, Akash (oponent) ; Pozzi, Laura (oponent) ; Češka, Milan (vedoucí práce)
V minulosti se výkon počítačových systémů zvyšoval hlavně díky tzv. Mooreovu zákonu - každé dva roky se počet transistorů na čipu přibližně zdvojnásobí. V současné době tento zákon přestává platit a tak se objevují a vyvíjí nové alternativní výpočetní přístupy, které mají za úkol zrychlit a zefektivnit výpočetní systémy. Jedním z těchto přístupů je tzv. aproximované počítání, které se snaží urychlit a zefektivnit výpočty za cenu přijatelných nepřesností ve výsledcích. Tento přístup je aplikovatelný hlavně v oblastech, které jsou přirozeně odolné vůči chybám - např. neuronové sítě nebo zpracování multimédií. Techniky pro aproximované počítání se postupně vyvinuly na všech úrovních výpočetních systémů. V rámci této práce se zaměřujeme na prohledávací algoritmy pro přibližný návrh hardwarových aritmetických obvodů. Aproximace aritmetických obvodů má velký potenciál, protože tyto obvody slouží jako základní stavební kameny větších systémů. Automatizované prohledávací aproximační algoritmy často pracují iterativně. V každé iteraci se nejprve vytvoří kandidátní aproximovaná řešení (pomocí komponenty zvané syntetizér), a poté se vyhodnotí jejich chyba vzhledem ke správnému řešení (komponenta analyzátor). Pro získání kvalitních aproximovaných obvodů musí prohledávací algoritmy vykonat velké množství těchto iterací. Proto je nutná vysoká efektivita syntetizéru i analyzátoru. Abychom zvýšili výkonnost těchto komponent, zapojujeme do prohledávacího algoritmu založeném na Kartézském genetickém programování (CGP) metody formální verifikace. Analyzátor je akcelerován za použití speciálního obvodu zvaného aproximační miter, který nám umožňuje převést vyhodnocení chyby obvodu na rozhodovací problém a tento problém vyřešit pomocí nástrojů zvaných SAT solvery. Další zrychlení aproximačního algoritmu přináší nově navržená strategie, která uvaluje limit na prostředky, které může SAT solver využít při vyhodnocování chyby kandidátních řešení. Díky tomuto limitu je evoluční algoritmus motivován hledat rychle verifikovatelná řešení. Výsledkem je větší množství iterací prohledávacího algoritmu a tím pádem také vyšší kvalita výsledných aproximovaných obvodů. Použitý evoluční algoritmus se může během aproximace "zaseknout" v tzv. lokálních optimech. Navržené vylepšení syntetizéru integruje CGP a optimalizaci pod-obvodů využívající SAT solver umožňuje evolučnímu algoritmu uniknout z lokálních optim. Díky tomu může algoritmus dále zlepšovat řešení i v případech, v nichž by se původní varianta CGP již dále nezlepšila. Dalším navrženým vylepšením syntetizéru je nový mutační operátor pro CGP, vytvořený speciálně pro co nejefektivnější aproximaci obvodů. Výsledky prezentované v rámci této dizertační práce výrazně vylepšují výkonnost prohledávacích algoritmů pro aproximaci aritmetických obvodů. Díky tomu můžeme získat aproximace obvodů velkých bitových šířek se složitou vnitřní strukturou (např. 32bitové násobičky nebo 128bitové sčítačky), které poskytují doposud nejlepší známý poměr mezi aproximační chybou a spotřebou elektrické energie.
|
|
|
Evoluční návrh neuronových sítí
Kastner, Jan ; Hurta, Martin (oponent) ; Sekanina, Lukáš (vedoucí práce)
Tato práce je věnována implementaci metody pro řešení problémů v oblasti automatizovaného návrhu architektury konvolučních neuronových sítí (CNN). Optimalizace dvou základních a často protichůdných charakteristik, počtu parametrů a kvality klasifikace CNN, je prováděna pomocí vícekriteriálního optimalizačního genetického algoritmu (NSGA-II). Pro zakódování tohoto problému je využita technika kartézského genetického programování (CGP), která umožňuje reprezentaci široké škály architektur CNN a současně lze parametrizací vhodně omezit prohledávaný prostor. Experimenty byly prováděny na datasetu MNIST za účelem pochopení vlivu velikosti populace na kvalitu výsledného řešení. Z výsledků experimentů je také patrné, že kvalita nalezených architektur dokáže konkurovat již etablovaným modelům. Jedná se tedy o alternativní přístup, který v porovnání s manuálním návrhem nevyžaduje lidskou intervenci.
|
|
|
EVOLUČNÍ NÁVRH KOMBINAČNÍCH OBVODŮ
Žák, Jan ; Hůlka, Tomáš (oponent) ; Matoušek, Radomil (vedoucí práce)
Práce se zaměřuje na využití kartézského genetického programování pro návrh kombinačních obvodů. V rámci projektu byla implementována metoda CGP v programovacím jazyce Python s využitím knihovny NumPy. Implementace byla úspěšně otestována na experimentálních úlohách, jejichž výsledky jsou také v práci diskutovány.
|
|
|
Aproximace obvodů s využitím alternativních reprezentací
Michalisko, Tomáš ; Mrázek, Vojtěch (oponent) ; Sekanina, Lukáš (vedoucí práce)
Tato diplomová práce se zabývá návrhem aproximačních obvodů s využitím alternativních reprezentací. Mezi zkoumané reprezentace patří And-inverter graf, Majority-Inverter graf a Xor-Majority graf. Pro automatizaci návrhu je použito kartézské genetické programování. Díky výpočtu aproximační chyby pomocí formálních metod je možné vytvořený systém aplikovat i na složitější obvody. V první části experimentů je vyhodnocena a optimalizována rychlost programu. Následně je hledán vhodný mutační operátor. Poté je systém otestován při aproximaci 8bitových násobiček a 16bitových sčítaček s cílem minimalizovat velikost a zpoždění. Bylo zjištěno, že sčítačky i násobičky v reprezentaci XMG dosahují lepších fitness hodnot v porovnání s evolucí na úrovni hradel. Na závěr je provedena evoluce s cílem mapování na technologii k-LUT. Zde zůstávají nejefektivnější reprezentací hradla.
|
|
|
Evoluční návrh nelineárních funkcí pro konvoluční neuronové sítě
Hladiš, Martin ; Mrázek, Vojtěch (oponent) ; Sekanina, Lukáš (vedoucí práce)
Cílem této diplomové práce je návrh a implementace programu pro automatizovaný návrh nelineárních aktivačních funkcí pro konvoluční neuronové sítě (CNN) s využitím evolučních algoritmů. Využití automatického návrhu poskytuje nezávislý pohled na systematické prozkoumání širokého spektra aktivačních funkcí a identifikaci těch nejlepších. Metoda zvolená v práci pro automatický návrh je formou evolučních algoritmů nazývanou jako kartézské genetické programování, které pro zakódování řešení využívá grafovou reprezentaci. Tato technika umožňuje definici sady matematických primitiv, která definuje prohledávací prostor, a tak jednoduše parametrizuje návrh. Implementovaný přístup byl otestován na několika různých architekturách a datasetech (LeNet-5 \& MNIST, ResNet-10 \& FashionMNIST, WRN-40-4 \& CIFAR-10). Experimenty dokázaly, že přístup dokáže nalézt aktivační funkce, které statisticky zlepšují přesnost CNN oproti běžně využívané funkci ReLU.
|
|
|
Využití operátoru křížení v kartézském genetickém programování
Bromnik, Petr ; Sekanina, Lukáš (oponent) ; Hurta, Martin (vedoucí práce)
Cílem této práce je navrhnout a implementovat dvě nové metody křížení v kartézském genetickém programování (CGP) a porovnat je s existujícím přístupem. CGP je typ evolučního algoritmu využívající acyklické grafy k reprezentaci spustitelných programů. Většina CGP aplikací pracuje výhradně s operátorem mutace, ale snahy o nalezení vhodného operátoru křížení stále pokračují. V této práci jsou dvě nově navržené metody křížení porovnávány na pěti úlohách symbolické regrese oproti standardnímu přístupu 1 + lambda založenému čistě na mutaci. Výsledky experimentů ukázaly, že tyto metody naleznou řešení za podobný počet fitness evaluací jako 1 + lambda, ve dvou případech dokonce významně dříve.
|
|
|
Genetické programování s pamětí v úloze symbolické regrese
Jůza, Tadeáš ; Bidlo, Michal (oponent) ; Sekanina, Lukáš (vedoucí práce)
Cílem práce je ověřit možnosti rozšíření genetického programování o paměť pro řešení problémů symbolické regrese. Dále pak vytvoření sady úloh pro testování kvality takovýchto řešení. V práci je navržen způsob praktického využití takovéhoto rozšíření, a to pro potencionální snížení energetické náročnosti načítání vah konvolučních neuronových sítí. Zde místo načítání všech vah sítě z paměti je načítáno pouze malé procento vah a zbylé jsou vygenerovány za pomocí evolučně nalezené funkce. Tento způsob byl převážně testován na vahách konvolučních vrstev malé konvoluční neuronové sítě řešící úlohu klasifikace obrazu z testovací sady MNIST. Dále byla také ověřena možnost generování vah na dalších konvolučních neuronových sítích řešících složitější problémy. Podařilo se nalézt různé kompromisy mezi přesností klasifikace a velikostí paměti vah.
|
|
|
Symbolická regrese a koevoluce
Drahošová, Michaela ; Žaloudek, Luděk (oponent) ; Sekanina, Lukáš (vedoucí práce)
Symbolická regrese je úloha identifikace matematického popisu skryté závislosti experimentálně získaných dat. Symbolická regrese je úzce spjata se základními úlohami strojového učení. Tato práce se zabývá symbolickou regresí a jejím řešením založeném na principu genetického programování a koevoluce. Genetické programování je evolucí inspirovaná metoda strojového učení, která automaticky generuje celé programy v určitém programovacím jazyce. Koevoluce fitness prediktorů je optimalizační metoda modelování fitness, která snižuje náročnost a frekvenci výpočtu fitness. Tato práce se zabývá návrhem a implementací řešení symbolické regrese s užitím koevoluce fitness prediktorů a srovnáním s řešením bez užití koevoluce. Experimenty byly provedeny s použitím kartézského genetického programování.
|
|
| |
|
|
Užití genetického programování v návrhu digitálních obvodů
Hejtmánek, Michal ; Bidlo, Michal (oponent) ; Gajda, Zbyšek (vedoucí práce)
Cílem této práce bylo nastudování evolučních algoritmů a jejich využití pro návrh digitálních obvodů. Především jsem se zaměřil na genetické programování a jeho rozdílný způsob zacházení se stavebními bloky ve srovnání s genetickým algoritmem. Na základě těchto dvou přístupů jsem vytvořil a odzkoušel hybridní metodu návrhu obvodů. Tato metoda využívá šíření schemat podle genetického algoritmu pro problémy řešené genetickým programováním. U složitějších obvodů dosahuje vyšší úspěšnosti návrhu i rychlejší konvergence k řešení než obecný algoritmus genetického programování.
|
host ::
RSS.