Original title: Superrozlišení obličeje ze sekvence snímků
Translated title: Face superresolution from image sequence
Authors: Mezina, Anzhelika ; Rajnoha, Martin (referee) ; Burget, Radim (advisor)
Document type: Master’s theses
Year: 2020
Language: eng
Publisher: Vysoké učení technické v Brně. Fakulta elektrotechniky a komunikačních technologií
Abstract: [eng] [cze]
Táto práce se zabývá použitím hlubokého učení neuronových sítí ke zvýšení rozlišení obrázků, které obsahují obličeje. Tato metoda najde uplatnění v různých oblastech, zejména v bezpečnosti, například, při bezpečnostním incidentu, kdy policie potřebuje identifikovat podezřelého z nahraného videa ze sledovací kamery. Cílem této práce je navrhnout minimálně dvě architektury neuronových sítí, které budou pracovat se sekvencí snímků, a porovnat je s metodami zpracování jediného snímku. Pro tento účel je také vytvořena nová trénovací množina, obsahující sekvenci snímku obličeje. Metody zpracování jednoho snímku jsou natrénované na nové množině. Dále jsou navrženy nové metody zvětšení obrázků na základě sekvence snímků. Tyto metody jsou založené na U-Net modelu, který je úspěšný v segmentaci, ale také v superrozlišení. Pro zlepšení architektury byly použity reziduální bloky a jejich modifikace, a navíc také percepční ztrátová funkce, která dovoluje vyhnout se rozmazání a získání více detailů. První čast této práce je věnovana popisu neuronových sítí a některých architektur, jejichž modifikace mohou být použity v superrozlišení. Druhá část se poté zabývá popisem metod pro zvýšení rozlišení obrazu pomocí jednoho snímku, několika snímků a videa. Ve třetí části jsou popsány navržené metody a experimenty a v poslední části porovnaná metod založených na jednom snímku a několika snímcích. Navržené metody jsou schopny získat více detailů v obraze, ale mohou produkovat artefakty. Ty lze ale poté eliminovat pomocí filtru, například Gaussova. Nové metody méně selhávají při detekci obličejů, a to je podstatné u identifikace člověka v případě incidentu. This work is focused on application of deep learning in increasing resolution of images containing face. This can be applied in different fields, including security. For example, in case of incident, the police needs to identify a culprit from the records of security camera. The aim of this work is to propose neural network models, which would work with sequence of frames, and to compare these models with existing methods for a single image super-resolution. For this purpose, a new dataset with sequences of the images with faces is created. The methods for the single super-resolution are trained on the new dataset. The new architectures for multiframe super-resolution are proposed. They are based on U-Net model. This model is successful for segmentation tasks, but it can be also applied for super-resolution tasks. To improve this architecture, the residual blocks and its modification are used. To avoid blurring effect and recover more details, the perceptual loss function is applied. In the first part of this work, the description of neural networks and overview of the architectures, which can be applied in super-resolution, is provided. The second part contains the methods for super-resolution of a single frame, multiframe, video. In the next section, there is a description of proposed architectures and description of the experiment. In the last part of the work, multiframe methods and single frame methods are compared. In the result, the proposed methods recover more details, however, some architectures produce artefacts, which can be reduced using a filter, for example, Gaussian. New methods allow to reduce the number of failed face recognition. This fact is necessary for person identification in case of incidents.
Keywords: detekce obličeje; identifikace; konvoluční neuronová síť; multiframe superrozlišení; neuronová síť; reziduální učení; sekvence snimků; superrozlišení obličeje; U-Net model; zpracování obrazu; convolution network; face recognition; face superresolution; identification; image processing; multiframe superresolution; neural networks; residual learning; single superresolution; U-Net model

Institution: Brno University of Technology (web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library.
Original record: http://hdl.handle.net/11012/189196

Permalink: http://www.nusl.cz/ntk/nusl-413064


The record appears in these collections:
Universities and colleges > Public universities > Brno University of Technology
Academic theses (ETDs) > Master’s theses