Original title: Využití neuronových sítí pro fúzi obrazových a neobrazových dat
Translated title: Exploitation of Neural Networks for Fusion of Image and Non-Image Data
Authors: Reich, Bořek ; Maršík, Lukáš (referee) ; Zemčík, Pavel (advisor)
Document type: Master’s theses
Year: 2022
Language: cze
Publisher: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract: [cze] [eng]
Tato diplomová práce se zabývá využitím konvolučních neuronových sítí pro fúzi obrazových a neobrazových dat. V práci jsou zkoumány jak detekční systémy využívající principy hlubokého učení spoléhající se pouze na obrazová data (snímky z kamery), tak detekční systémy, které využívají obrazová i neobrazová data (snímky z kamery a data z milimetrového radaru). Pro účely porovnání těchto typů metod (metod využívajících fúzi a metod spoléhajících se pouze na obrazová data) byla vytvořena jedinečná datová sada obsahující nezpracovaná data z milimetrového radaru a odpovídající časově synchronizované snímky z kamery zaměřená na monitorování dopravy. Dále je v této práci navržena časově synchronizační metoda pro milimetrový radar a kameru s použitím volně dostupného hardware. Za použití vytvořené datové sady je pak ověřena detekční schopnost systému využívajícího pouze data z kamery a fúzního systému využívajícího data z milimetrového radaru i kamery. This master thesis uses convolutional neural networks to fuse image and non-image data. Both deep learning detection systems that rely only on image data (images from the camera) and that use both image and non-image data (images from the camera and data from the millimeter-wave radar) are studied in this thesis. A unique dataset containing raw millimeter-wave radar data and corresponding time-synchronized images from the camera was created for the purpose of comparing these two types of methods (data fusion methods and methods that utilize only image data). Furthermore, a time synchronization method for millimeter-wave radar and cameras using only off-the-shelf hardware is proposed. Finally, the created dataset is used to verify the detection capability of the system that uses only camera data and the fusion system that uses both millimeter-wave radar and camera data.
Keywords: camera; computer vision; convolutional neural network; data fusion; deep learning; image data; machine learning; millimeter-wave radar; non-image data; object detection; detekce objektů; fúze dat; fúze informací; hluboké učení; kamera; konvoluční neuronová síť; milimetrový radar; neobrazová data; obrazová data; počítačové vidění; strojové učení

Institution: Brno University of Technology (web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library.
Original record: http://hdl.handle.net/11012/208305

Permalink: http://www.nusl.cz/ntk/nusl-586325


The record appears in these collections:
Universities and colleges > Public universities > Brno University of Technology
Academic theses (ETDs) > Master’s theses