|
Neural target speech extraction
Žmolíková, Kateřina ; Erdogan, Hakan (referee) ; Koldovský, Zbyněk (referee) ; Černocký, Jan (advisor)
As speech processing technologies are getting increasingly more applied in the real world, their robustness has become a very important issue. Particularly, the processing of speech corrupted by interfering overlapping speakers is one of the challenging problems today. Speech separation approaches tackle this problem by separating the mixed speech into signals of individual speakers. These methods have made a big headway recently by leveraging the progress in deep learning. In many applications, such as smartphones or digital home assistants, the goal is to enhance the speech signal of one speaker of interest, while suppressing other speakers and noise. In our work, we formulate this problem as target speech extraction and propose to solve it directly, i.e. to use a neural network with the enrollment speech and the mixture as inputs and the extracted speech of the target speaker as the output. We discuss and experimentally show the benefits of this approach compared to conventional speech separation: needlessness of counting speakers in the mixture, or better consistency of the output for longer recordings. We explore different aspects of the neural target speech extraction pipeline, namely the speaker embeddings, methods to inform the neural network about the target speaker, input and output domain, or loss function. Furthermore, we demonstrate how to combine target speech extraction with multi-channel methods, such as neural mask-based beamforming and spatial clustering. Such combinations make use of both conventional statistical methods (for processing the spatial information) and strong modeling power of neural networks. Finally, we apply target speech extraction as a pre-processing for two downstream tasks: automatic speech recognition, and clustering-based diarization. We investigate how to efficiently combine the front-end processing with the downstream systems, including joint optimization, or training with weakly supervised loss function based on speaker labels.
|
|
Research in the field of biometric detection and recognition of individuals using facial image data
Goldmann, Tomáš ; Štruc, Vitomir (referee) ; Yoon, Sang Min (referee) ; Drahanský, Martin (advisor)
Biometrické rozpoznávání osob se stalo běžnou součástí několika vědních oborů, včetně kriminalistiky, antropometrie, biometrie a informatiky. Práce se zaměřuje na vytvoření inovativního přístupu generování datových sad pro evaluaci algoritmů pro rozpoznávání osob podle obličeje. Na rozdíl od dosavadních přístupů naše řešení zachovává obličejové rysy. Vygenerované datové sady přinášejí nové možnosti pro hodnocení algoritmů rozpoznávání podle obličeje, které je jinak těžce realizovatelné z důvodu malého množství dat. Dále v této práci řešíme akceleraci algoritmů pro rozpoznávání osob na základě obličejových dat pomocí vestavěných zařízení. Především jsme se zaměřili na zhodnocení možností, které přináší neuronová síť pro extrakci příznaků EfficienNet.
|
|
The impact of AI tools on higher education students
Lacina, Ondřej ; Soukup, Petr (advisor) ; Remr, Jiří (referee)
In the world of rapidly evolving technologies, the last two years have seen a massive expansion of artificial intelligence. We are therefore all encountering emerging AI tools in our everyday lives. The thesis titled The Impact of AI Tools on Higher Education Students focuses on the ways in which students of Czech universities approach these new emerging technologies. After explaining the notion of artificial intelligence, the fundamental breakdown of the tools is outlined. The possible good and negative elements of these new instruments are also discussed. For the research, a mixed research design is adopted, which separates the analysis into two sections using the explanatory sequential design's processes. In the first step, a quantitative questionnaire survey was undertaken, with respondents divided proportionally into ten quotas based on the ISCED-F 2013 category. Semi-structured interviews were used in the second stage to augment the questionnaire survey. The analysis resulted in the key trends in the use of AI tools among students of Czech universities. High focus is given on the frequency of use, preferred tools, usual purposes of usage in academic, private, and professional life, faith in the generated information, and worries about potential negative consequences. The usual user groups for...
|
|
Modern vibrodiagnostics of machines and evaluation of datasets by neural networks
Koníček, Tomáš ; Holoubek, Tomáš (referee) ; Hammer, Miloš (advisor)
This Master‘s thesis focuses on technical diagnostics with an emphasis on vibrodiagnostics of machines and equipment. The aim is to carry out research on vibration monitoring using modern on-line systems and to investigate the possibilities of processing the acquired data files using neural networks. Vibration monitoring from Siemens SIPLUS CMS is analyzed, including a description of individual hardware and software components. The work also focuses on machine diagnostics using a real model equipped with the SIPLUS CMS system in cooperation with the SIMATIC S7-1200 programmable automaton. The obtained data will be transferred via the FTP protocol for further processing in the Matlab program. Neural network models will be designed and used, which will be trained on the measured data. Convolutional neural network model will be used. The results will be evaluated and a conclusion will be drawn.
|
|
Deepfake Detection in Video Samples
Krumpholc, Jan ; Veigend, Petr (referee) ; Lapšanský, Tomáš (advisor)
V posledních letech si můžeme všimnout nárůstu internetových podvodů a podvrhů. Počínaje snadno odhalitelnými případy, jako je phishing a falešné reklamy, přes sociální inženýrství a dezinformační kampaně a konče útoky pomocí umělé inteligence: Syntetická media, a obzvláště deepfakes. Tyto útoky jsou velmi efektivní, protože je obtížné ověřit pravost média pro běžného uživatele, a také díky nárustu dostupnosti a efektivity těchto nástrojů pro veřejnost v posledních letech. Tato bakalářská práce je zaměřena na video deepfakes: Jaké metody se používají k jejich tvorbě, jaké jsou jejich slabé stránky a hlavně, jak tyto slabé stránky najít a rozhodnout, zda je médium deepfake či nikoli. Budeme analyzovat aktuálně nejmodernější metody detekce deepfakes, jaké jsou jejich silné a slabé stránky, a vyvineme možné nové metody detekce. Nakonec porovnáme výsledky s aktuálními řešeními a vyhodnotíme výsledek.
|
|
Machine Learning of Representations in Genetic Programming
Pomykal, Šimon ; Piňos, Michal (referee) ; Sekanina, Lukáš (advisor)
The aim of this thesis is to become acquainted with machine learning methods that are used for the automatic design of representations. Specifically, the work focuses on deep learning in the field of genetic programming (GP). Image processing is chosen as a case study, particularly noise reduction methods. By combining the acquired knowledge, a new representation is proposed, intended to replace the syntactic tree in the GP algorithm. This method is obtained using a transformer-type neural network. In conclusion, a modified version of GP that works with the new representation is created. This variant is compared with the original GP using the traditional representation in several experiments.
|
|
Simulation of Biological Processes Using Asynchronous Cellular Automata and Machine Learning
Kališ, Vojtěch ; Bidlo, Michal (referee) ; Fritz, Karel (advisor)
Tato práce zkoumá spojení asynchronních celulárních automatů a technik strojového učení pro simulaci komplexních biologických procesů. Jejím hlavním zaměřením je předvést vrozený potenciál výpočetního rámce konstruovaného spojením paralelismu aktualizačního modelu asynchronních celulárních automatů s prediktivními schopnostmi algoritmů strojového učení. Tato studie si klade za cíl demonstrovat kvality takového hybridního přístupu implementací tří matematických modelů celulárních automatů s rostoucí složitostí—tj., seřezeny podle stupně složitosti, Conwayova Hra Života, SmoothLife a Lenia—ve své základní formě a následnou integrací strojového učení do funkce dvou posledně jmenovaných, po čemž následuje porovnání výsledků obou přístupů.
|
|
Machine learning in audio effects
Sychra, Jakub ; Mošner, Ladislav (referee) ; Černocký, Jan (advisor)
Získávání hudebních efektů z mixovaných skladeb je složité téma, které vyžaduje znalosti jak v oblasti zpracování signálů, tak zkušenosti s audio inženýrstvím. Tato práce cílí na tvorbu systém, který by byl schopen identifikovat sekvence a parametry kytarových efektů z mixovaných skladeb. Trénovací data byla vytvořena za využití čistých kytarových zvuků z datasetu IDMT-SMT-Audio-Effects. Tyto data byla následně augmentována populárními kytarovými efekty (BitCrush, Chorus, Clipping, Compressor, Delay, Distortion, High-pass filter, Ladder filter, Low-pass filter, Limiter, Phaser a Reverb), které byly implementovány pomocí knihovny Pedalboard tvořící mezivrstvu mezi jazykem Python a standartními VST efekty. Samotný rozpoznávací systém je založený na architektuře VGGish, k níž jsou přidány klasifikační (přítomnost efektu) a regresní (parametry efektů) hlavy. Výkon modelu je hodnocen na základě přesnosti klasifikace a regrese, a také v neformálních poslechových testech.
|
|
Reversibility of Voice Change Methods
Lička, Zbyněk ; Firc, Anton (referee) ; Malinka, Kamil (advisor)
Moderní metody pro změnu hlasu dovolují i nezkušeným uživatelům vytvářet přesvědčívé nahrávky hlasu slavné osoby s pouze pár sekundami nahraného ukázkového hlasu. Existují dvě hlavní kategorie metod pro změnu hlasu: konverze hlasu a text-to-speech. Metody konverze hlasu vyžadují vstupní řeč, která má být konvertována do hlasu jiného řečníka. Moderní metody pro konverzi hlasu se často zabývají odstraněním či redukcí množství informací o původním řečníkovi v konvertovaném hlasu. Tato práce se zabývá možnostmi pro extrakci informací z konvertovaného hlasu s případnou kompletní rekonstrukcí vstupní řeči. Výsledky této práce odhalují poznatky o nestudované vlastnosti těchto metod.
|
|
Automatic Creation of Animated Video based on Textual Story
Kuchař, Josef ; Švec, Tomáš (referee) ; Smrž, Pavel (advisor)
The aim of this work is to link a diffusion model for generating human motion with a diffusion model for generating video. The solution uses current methods for generating video and motion. Video generation is carried out using an image generator equipped with an adapter for temporal consistency. The work introduces a method of connecting both diffusion models using the ControlNet network. The created solution allows for generating video from a simple text description, or a detailed scenario. The program was tested in a user study.
|