Original title: Syntéza zvuku z video dat
Translated title: Synthesis of Sound from Video
Authors: Lazorčák, Daniel ; Smékal, Zdeněk (referee) ; Říha, Kamil (advisor)
Document type: Master’s theses
Year: 2023
Language: slo
Publisher: Vysoké učení technické v Brně. Fakulta elektrotechniky a komunikačních technologií
Abstract: [slo] [eng]
V tejto diplomovej práci je vyhotovená rešerš metód syntézy zvuku z obrazových a video dát na dáta zvukové a relizovaná je implementácia troch nových metód syntézy. Prvá časť práce poskytuje prehľad o existujúcich prístupoch k tvorbe zvuku z obrazu, identifikuje ich výhody, obmedzenia a prípadné možnosti rozšírenia. V druhej časti je popísaná implementácia aplikácie Vsyntha, ktorá syntetizuje zvuk z videa v reálnom čase s možnosťou ovládania hudobných parametrov. V tretej časti je opísaná aplikácia ReAmper, ktorá ozvučuje scény pomocou zvukových objektov a hudobných tónov na základe detekcie a sledovania objektov v obraze. Vo štvrtej časti je popísaná aplikácia SegMentor, ktorá vytvára MIDI súbory z videa pomocou rôznych techník segmentácie obrazu. Implementované metódy poskytujú nové nástroje pre tvorbu zvuku a multimediálnych diel, otvárajú priestor pre ďalší výskum a vývoj v oblasti syntézy zvuku z obrazu a poskytujú užitočné nástroje pre tvorbu zvukového obsahu a interakciu s vizuálnymi dátami vo forme zvuku. Výsledky tejto práce poskytujú prehľad o súčasnom stave výskumu a praxe v tejto oblasti a ponúkajú možnosti pre ďalší rozvoj a aplikácie v praxi. In this thesis, a survey of audio synthesis methods from image and video data to audio data is performed and the implementation of three new synthesis methods is reviewed. The first part of the thesis provides an overview of existing approaches to sound from image, identifying their advantages, limitations and possible extensions. The second part describes the implementation of VSyntha, an application that synthesizes audio from video in real-time with the ability to control musical parameters. The third section describes the ReAmper application, which performs soundscaping using sound objects and musical cues based on the detection and tracking of objects in the image. The fourth section describes the SegMentor application, which creates MIDI files from video using various image segmentation techniques. The implemented methods provide new tools for the creation of audio and multimedia works, open the way for further research and development in the field of sound-from-image synthesis, and provide useful tools for creating audio content and interacting with visual data in the form of audio. The results of this work provide an overview of the current state of research and practice in this area and offer opportunities for further development and applications in practice.
Keywords: applications; audio synthesis; data mapping; image data; image segmentation; MIDI; object detection; object tracking; python; soundscaping; synthesis methods; video data

Institution: Brno University of Technology (web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library.
Original record: http://hdl.handle.net/11012/210200

Permalink: http://www.nusl.cz/ntk/nusl-526702


The record appears in these collections:
Universities and colleges > Public universities > Brno University of Technology
Academic theses (ETDs) > Master’s theses