Original title: Automatizovaný návrh aproximativních architektur konvolučních neuronových sítí pro energeticky úspornou inferenci
Translated title: Automated Design of Approximation-Aware Convolutional Neural Network Architectures for Energy-Efficient Inference
Authors: Piňos, Michal ; Lourenço, Nuno (referee) ; Zervakis, Georgios (referee) ; Sekanina, Lukáš (advisor)
Document type: Doctoral theses
Year: 2026
Language: eng
Publisher: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract: [eng] [cze]
Rostoucí nasazení konvolučních neuronových sítí (CNN) v energeticky a výpočetně omezených systémech vyžaduje návrhové metodiky, které již při konstrukci modelu zohledňují energetickou náročnost inference na cílové hardwarové platformě. Aproximační výpočty, založené na záměrném uvolnění aritmetické přesnosti, představují účinný prostředek ke snížení energetické náročnosti inference. Jejich systematická integrace do automatizovaného návrhu architektur neuronových sítí zohledňujícího hardware (HW-NAS) je však dosud omezená. Hlavními překážkami jsou rozšíření návrhového prostoru o volbu aproximačních aritmetických obvodů a vysoká výpočetní náročnost přesného hodnocení hardwarových parametrů velkého počtu kandidátních architektur. Tato dizertační práce se zaměřuje na vývoj ucelené metodiky pro automatizovaný, hardwarově orientovaný návrh CNN zohledňující aproximace. Práce zkoumá přístupy k návrhu architektur neuronových sítí, které společně optimalizují topologii CNN a volbu aproximačních násobiček. Aproximace aritmetiky je přitom chápána jako plnohodnotný návrhový parametr. Metodika zahrnuje jak vícekriteriální evoluční optimalizaci, tak návrh architektur využívající gradientní optimalizaci, přičemž oba přístupy jsou rozšířeny o podporu aproximačních výpočtů. Pro zajištění realistického hardwarového hodnocení jsou analytické modely akcelerátorů rozšířeny o podporu aproximační aritmetiky. Současně jsou navrženy rychlé prediktory energetické náročnosti inference, které výrazně snižují výpočetní režii spojenou s hodnocením kandidátních architektur. Navržené přístupy jsou ověřeny na standardních benchmarkových úlohách a reprezentativních architekturách CNN akcelerátorů. Výsledky ukazují, že HW-NAS zohledňující aproximace umožňuje systematicky nalézat architektury s nižší energetickou náročností inference při zachování konkurenceschopné přesnosti. Práce tak přispívá k rozvoji metod souběžného návrhu neuronových sítí a hardwarových akcelerátorů pro energeticky efektivní systémy strojového učení The growing deployment of convolutional neural networks (CNNs) in energy- and resource-constrained systems necessitates design methodologies that explicitly account for hardware execution costs already at model construction time. Approximate computing, which trades exact arithmetic for improved efficiency, offers additional potential for reducing inference energy; however, its integration into hardware-aware neural architecture search (HW-NAS) remains challenging due to the expanded design space and the high cost of hardware-accurate evaluation. This dissertation presents a comprehensive framework for approximation-aware, hardware-aware CNN design that unifies neural architecture search, approximate arithmetic selection, and accelerator-level energy modeling. The work introduces NAS formulations that jointly optimize CNN topology and the choice of approximate multipliers, treating arithmetic approximation as a first-class design parameter. Both multi-objective evolutionary optimization and differentiable architecture search are extended to support this joint optimization, enabling systematic exploration of accuracy-energy trade-offs. To provide hardware-grounded feedback during search, the dissertation extends analytical accelerator modeling workflows with explicit support for approximate arithmetic and develops fast inference-energy predictors that substantially reduce evaluation overhead while preserving sufficient estimation fidelity. The proposed methods are evaluated on standard CNN benchmarks and representative accelerator architectures. The results demonstrate that approximation-aware HW-NAS consistently identifies CNN designs with lower inference energy compared to exact-arithmetic baselines, while maintaining competitive accuracy. Overall, the dissertation shows that tight integration of approximate computing into hardware-aware neural architecture search enables scalable and principled co-design of neural networks and accelerators, contributing to the development of energy-efficient deep learning systems.
Keywords: aproximační násobičky; Aproximační počítání; energeticky úsporná inference; evoluční optimalizace; hardwarové akcelerátory konvolučních neuronových sítí; konvoluční neuronové sítě; modelování energetické náročnosti inference; návrh architektur neuronových sítí s využitím gradientní metody; návrh architektur neuronových sítí zohledňující hardware; Approximate computing; approximate multipliers; CNN accelerators; convolutional neural networks; differentiable architecture search; energy-efficient inference; evolutionary optimization; hardware-aware neural architecture search; inference energy modeling

Institution: Brno University of Technology (web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library.
Original record: http://hdl.handle.net/11012/260578

Permalink: http://www.nusl.cz/ntk/nusl-778803


The record appears in these collections:
Universities and colleges > Public universities > Brno University of Technology
Academic theses (ETDs) > Doctoral theses