Original title:
Porovnání metod pro doplnění chybějící části obrazu založených na hlubokém učení
Translated title:
Comparison of Methods for Image Inpainting based on Deep Learning
Authors:
Rajsigl, Tomáš ; Herout, Adam (referee) ; Španěl, Michal (advisor) Document type: Bachelor's theses
Year:
2024
Language:
cze Publisher:
Vysoké učení technické v Brně. Fakulta informačních technologií Abstract:
[cze][eng]
Cílem této bakalářské práce je porovnat metody hlubokého učení pro doplnění chybějící části obrazu pomocí kvantitativních metrik jako jsou PSNR, SSIM a LPIPS. Pro dodatečné subjektivní ohodnocení byla taktéž provedena uživatelská studie. K porovnání byly použity celkem čtyři neuronové sítě založené na architektuře GAN. Navrhovaná architektura neuronové sítě a její modifikované verze byly porovnávány oproti síti AOT-GAN. Experimenty ukázaly, že v obrazech s malou chybějící částí dosáhla varianta navržené metody 29% zlepšení oproti již zmiňované metodě AOT-GAN. Toto tvrzení podporují i výsledky uživatelské studie, kde byla tato metoda vyhodnocena jako nejlepší. V rámci této práce vznikla malá datová sada určená pro vyhodnocení metod retušování obrazu při úloze odstraňování objektů. Reálné využití těchto metod je demonstrováno prostřednictvím webové aplikace.
This bachelor thesis aims to compare deep learning methods and approaches for image inpainting using quantitative metrics like PSNR, SSIM, and LPIPS. Moreover, a user study has also been carried out for further subjective assessment. For the purposes of this comparison, four GAN-based neural networks were used. The first network, AOT-GAN, represents a benchmark against which the proposed architecture and its modifications were compared. In the experiments, a variant of the proposed method achieved a 29% improvement against AOT-GAN in images with small missing regions. This claim is also supported by the results of the user study where this method was ranked as the best. As a result of this thesis, a small dataset specifically for the evaluation of image inpainting in the context of object removal was created. Real-world applications of these methods are demonstrated through a web application.
Keywords:
AOT-GAN; computer vision; convolutional neural networks; deep learning; GAN; generative adversarial networks; image inpainting; image processing; object removal; PatchGAN; residual block; U-Net; user study; AOT-GAN; GAN; generativní adversariální sítě; hluboké učení; konvoluční neuronové sítě; odstranění objektu; PatchGAN; počítačové vidění; retušování obrazu; reziduální blok; U-Net; uživatelská studie; zpracování obrazu
Institution: Brno University of Technology
(web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library. Original record: http://hdl.handle.net/11012/246616