Název:
Zlepšování kvality videa pomocí neuronových sítí
Překlad názvu:
Neural Networks for Video Quality Enhancement
Autoři:
Sirovatka, Matej ; Juránek, Roman (oponent) ; Hradiš, Michal (vedoucí práce) Typ dokumentu: Bakalářské práce
Rok:
2024
Jazyk:
eng
Nakladatel: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstrakt: [eng][cze]
Cieľom tejto práce je vytvoriť novú metódu super rozlíšenia na zlepšenie kvality videa. Táto metóda je založená na myšlienke použitia deformovateľných konvolučných vrstiev a optického toku na zarovnanie príznakov z viacerých po sebe následujúcích snímkov videa. Táto metóda je následne použitá v neuronovej sieti založenej na U-Net architektúre na predikciu snímkov vo vysokom rozlíšení. Vyhodnotenie je prevedené na datasete obsahujúcom snímky z reálneho života a porovnané s inými metódami. Testované sú rôzne konfigurácie navrhnutej metódy a výsledky sú analyzované. Výsledky experimentov ukazujú sľubné výsledky, pričom model prekonáva bilineárnu interpoláciu a metódy založené na jednom snímku. Testované sú rôzne architektúry modulu zarovnávania príznakov spolu s celou architektúrou U-Net, pričom sa ukazuje, že použitie Vgg19 ako enkóderu dáva najlepšie výsledky.
In this thesis, a new method for video super-resolution is proposed. The method is based on the idea of using deformable convolutional layers together with optical flow to align features from multiple sequential video frames. This novel module is then used in a U-Net-like deep neural network to predict high-resolution frames. The proposed method is evaluated on a dataset containing real-life scenes and compared to other methods. Multiple different configurations of the proposed method are tested and the results are analyzed. The results of the experiments show promising results, with the model outperforming bilinear interpolation, and single-frame methods. Multiple different architectures of the feature alignment module together with the rest of the U-Net architecture are tested, showing that using Vgg19 as the encoder of the U-Net gives the best results.
Klíčová slova:
deep learning; deformable convolutions; neural networks; optical flow; supervised learning; U-Net; video quality enhancement; video super-resolution; deformovateľné konvolúcie; hlboké učenie; neurónové siete; optický tok; super rozlíšenie videa; U-Net; učenie s učiteľom; zlepšenie kvality videa
Instituce: Vysoké učení technické v Brně
(web)
Informace o dostupnosti dokumentu:
Plný text je dostupný v Digitální knihovně VUT. Původní záznam: https://hdl.handle.net/11012/247838