Original title: Grafové neuronové sítě pro odhad výkonnosti při hledání architektur
Translated title: Grafové neuronové sítě pro odhad výkonnosti při hledání architektur
Authors: Suchopárová, Gabriela ; Neruda, Roman (advisor) ; Pilát, Martin (referee)
Document type: Master’s theses
Year: 2021
Language: eng
Abstract: [eng] [cze]
In this work we present a novel approach to network embedding for neural architecture search - info-NAS. The model learns to predict the output fea- tures of a trained convolutional neural network on a set of input images. We use the NAS-Bench-101 search space as the neural architecture dataset, and the CIFAR-10 as the image dataset. For the purpose of this task, we extend an existing unsupervised graph variational autoencoder, arch2vec, by jointly training on unlabeled and labeled neural architectures in a semi-supervised manner. To evaluate our approach, we analyze how our model learns on the data, compare it to the original arch2vec, and finally, we evaluate both mod- els on the NAS-Bench-101 search task and on the performance prediction task. 1 V této práci jsme vytvořili novou metodu embeddingu architektur sítí pro využití při hledání architektury neuronových sítí Ů info-NAS. Náš model se učí predikovat výstupy trénovaných neuronových sítí na vstupních obra- zových datech. Jako vstupní data jsme zvolili dataset sítí NAS-Bench-101 a obrazový dataset CIFAR-10. Pro účely této úlohy jsme rozšířili existu- jící unsupervised grafový variační autoencoder, arch2vec, a rozšířený model trénujeme na označených i neoznačených architekturách sítí semi-supervised způsobem. Pro vyhodnocení našeho přístupu jsme analyzovali, jak se náš model na těchto datech učí, také jsme jej porovnali s původním modelem, a nakonec jsme oba modely vyhodnotili na úloze hledání sítí na NAS-Bench- 101 a při predikování výkonnosti sítě. 1
Keywords: neural architecture search|graph neural networks|AutoML|performance prediction; hledání architektur neuronových sítí|grafové neuronové sítě|AutoML|odhad výkonnosti

Institution: Charles University Faculties (theses) (web)
Document availability information: Available in the Charles University Digital Repository.
Original record: http://hdl.handle.net/20.500.11956/147689

Permalink: http://www.nusl.cz/ntk/nusl-451129


The record appears in these collections:
Universities and colleges > Public universities > Charles University > Charles University Faculties (theses)
Academic theses (ETDs) > Master’s theses