Original title:
Hluboké neuronové sítě s biologicky inspirovanou lokální konektivitou a topografickou organizací
Translated title:
Deep Neural Networks with Biologically Inspired Local Connectivity and Topographic Organization
Authors:
Rechtorík, Filip ; Antolík, Ján (advisor) ; Neruda, Roman (referee) Document type: Master’s theses
Year:
2026
Language:
eng Abstract:
[eng][cze] Convolutional neural networks achieve strong computer vision performance, but their rigid weight sharing and channel-based feature organization are poorly aligned with the topographic organization of biological visual cortex. This thesis investigates whether cortical-like topographic organization can emerge from architectural constraints, rather than being directly imposed through a similarity loss. We introduce LocalLinear, a generalization of locally connected layers that maps between two-dimensional neuronal sheets of arbitrary sizes and densities, replacing convolutional weight sharing with localized, neuron-specific connectivity. To structure the resulting connections, weights are generated by hypernetworks conditioned on neuronal descriptors and spatial offsets. To make these models trainable, we implement a custom CUDA kernel and memory- efficient hypernetwork backpropagation. The best-performing hypernetwork-based variant achieves image classification performance comparable to FLOP-matched convolutional baselines, while sinusoidal implicit representations produce the clearest smooth orientation preference maps. Together, these results suggest a path toward deep visual models whose neuronal structure can be represented as a function over continuous space.Konvoluční neuronové sítě dosahují velmi dobrých výsledků v úlohách počítačového vidění, avšak jejich striktní sdílení vah a organizace reprezentací do kanálů neodpovídají topografické organizaci biologické zrakové kůry. Tato práce zkoumá, zda může kortikálně podobná topografická organizace vznikat z architektonických omezení, spíše než být přímo vynucena pomocí podobnostní ztrátové funkce. Představujeme vrstvu LocalLinear, zobecnění lokálně propojených vrstev, která umožňuje mapování mezi dvourozměrnými neuronálními plochami libovolných velikostí a hustot a nahrazuje konvoluční sdílení vah lokalizovanou, neuronově specifickou konektivitou. Pro strukturování výsledných spojení jsou váhy generovány hypernetworks podmíněnými neuronálními deskriptory a prostorovými posuny. Aby bylo možné tyto modely trénovat, implementujeme vlastní CUDA jádro a paměťově efektivní zpětnou propagaci pro hypernetworks. Nejlepší hypernetwork varianta dosahuje úspěšnosti v klasifikaci obrazů srovnatelné s konvolučními baseline modely odpovídajícími počtem FLOPs, zatímco implicitní neurální reprezentace se sinusoidálními aktivacemi vytvářejí nejkoherentnější mapy preferované orientace. Společně tyto výsledky naznačují cestu k hlubokým zrakovým modelům, jejichž neuronální struktura může být reprezentována jako funkce nad spojitým...
Keywords:
biologically inspired deep learning|topographic organization|local connectivity|hypernetworks|implicit neural representations; biologicky inspirované hluboké učení|topografická organizace|lokální konektivita|hypernetworks|implicitní neurální reprezentace
Institution: Charles University Faculties (theses)
(web)
Document availability information: Available in the Charles University Digital Repository. Original record: http://hdl.handle.net/20.500.11956/209599