Original title: Obrazová a video interpretace zvukových dat
Translated title: Audio Data Interpretation in Image and Video
Authors: Dobiášovský, Jiří ; Balík, Miroslav (referee) ; Říha, Kamil (advisor)
Document type: Master’s theses
Year: 2023
Language: cze
Publisher: Vysoké učení technické v Brně. Fakulta elektrotechniky a komunikačních technologií
Abstract: [cze] [eng]
Obsahem práce je zpracování problematiky obrazové a video interpretace zvukových dat. V teoretické části je nejprve zpracováno téma zvukového signálu, jeho vlastnosti a reprezentace zvukového signálu v časové a frekvenční oblasti. Dále je objasněno jeho digitální zpracování a jsou popsány jednotlivé komunikační protokoly, pomocí kterých je možné přenášet zvuková data nebo komunikovat s audio a video zařízeními. Na základě poznatků z teoretické části je zvolen vhodný systém pro 3D generativní vizualizaci zvukového signálu na základě MIDI dat nebo jeho obálky. Je vytvořen systém pro zpracování zvukových dat v DAW a jejich odeslání po lokální síti pomocí vhodného protokolu. V prostředí určeném k vizualizaci je vytvořen program, který odeslané signály přijímá a vhodně třídí. Je popsán proces tvorby vizuálních efektů, způsob jejich využití při vizualizaci zvukového signálu a vzájemná komunikace mezi oběma programy je demonstrována na vhodných příkladech a pilotním projektu. Systém, který je výsledkem této práce lze použít pro 3D generativní vizualizaci hudebních dat v reálném čase. The content of the thesis is the elaboration of the problem of image and video interpretation of sound data. In the theoretical part, the topic of the sound signal, its properties and the representation of the sound signal in the time and frequency domain are treated first. Furthermore, its digital processing is described and individual communication protocols with which it is possible to transmit audio data or communicate with audio and video devices are described too. Based on the findings from the theoretical part, a suitable system is chosen for 3D generative visualization of the sound signal based on MIDI data or its envelope. A system is created for processing sound data in the DAW and sending it over the local network using a suitable protocol. In the environment chosen for visualization is created a program that receives the sent signals and sorts them appropriately. The process of creating visual effects is described, the method of their use in the visualization of the audio signal and mutual communication between the two programs is demonstrated using suitable examples and pilot project. The system resulting from this work can be used for real-time 3D generative visualization of music data.
Keywords: Ableton; Audio; Unreal Engine; video; visualization; Ableton; Audio; Unreal Engine; video; vizualizace

Institution: Brno University of Technology (web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library.
Original record: http://hdl.handle.net/11012/210226

Permalink: http://www.nusl.cz/ntk/nusl-526728


The record appears in these collections:
Universities and colleges > Public universities > Brno University of Technology
Academic theses (ETDs) > Master’s theses