Original title:
Zvyšování kvality videa pomocí konvolučních sítí
Translated title:
Video Enhancement Using Convolutional Networks
Authors:
Skácel, David ; Špaňhel, Jakub (referee) ; Hradiš, Michal (advisor) Document type: Bachelor's theses
Year:
2017
Language:
cze Publisher:
Vysoké učení technické v Brně. Fakulta informačních technologií Abstract:
[cze][eng]
Konvoluční neuronové sítě dnes představují v oblasti zpracování obrazu jeden z nejmodernějších přístupů k řešení problémů, jakými jsou například redukce kompresních artefaktů či zvyšování prostorového rozlišení obrazu. Některé výzkumné skupiny již dokazují, že lze tyto sítě adaptovat ke zpracování videa a využít tak přidané informace v čase ke zvětšení prostorového rozlišení videa či dosáhnout lepší úrovně komprese při zachování detailů. Otázkou, zdali je možné využít tento přístup také pro zvýšení časového rozlišení reálného videa, se zabývám v této práci. K tomu využívám konvolučních neuronových sítí, které, jak popisuji, dokáží do jisté míry interpolovat vstupní videosnímky ze skutečných videozáznamů, jsou-li dostatečně kvalitní, a napomoci tak zvýšení snímkové frekvence videa. Dosažené výsledky, ač pozitivní, jsou spíše mezikrokem na cestě za vhodnějším využitím těchto sítí k řešení daného problému.
Convolutional neural networks (CNN) represent a state-of-the-art approach to non-trivial image processing tasks, including compression artifacts reduction and image super-resolution. As some research groups nowadays show, these networks can also be leveraged to perform such tasks on real-world video data, resulting in video spatial super-resolution and more. The main goal of this work is to determine whether these nets can be adjusted to perform temporal super-resolution of real-world video data. I utilize the aforementioned neural net architectures in this paper to do so. As I show, given that the input videos are of reasonable quality, these nets are capable of double-image interpolation up to a certain level, where the output image is usable for temporal upsampling. Although the presented results are promising, I encourage more research to be done on this topic.
Keywords:
convolutional neural networks; Deep learning; deep neural networks; enhancement; fps; frames per second; image quality; image restoration; machine learning; temporal resolution; video; video image interpolation; hluboké neuronové sítě; Hluboké učení; interpolace snímků videa; konvoluční neuronové sítě; kvalita obrazu; restaurace obrazu; rozlišení v čase; snímková frekvence; strojové učení; video; vylepšení
Institution: Brno University of Technology
(web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library. Original record: http://hdl.handle.net/11012/69721