|
|
Use of Diffusion Models in Deepfakes
Trúchly, Dominik ; Malinka, Kamil (oponent) ; Lapšanský, Tomáš (vedoucí práce)
A deepfake is a type of synthetic media created through sophisticated machine learning algorithms, particularly deep neural networks. As an example Generative adversarial neural networks (GANs), that are capable of generating images that are almost impossible for ordinary individuals to differentiate from genuine reality. Consequently, deepfake detection algorithms have been developed to address this growing concern. Leveraging advanced machine learning techniques, these algorithms analyze various features within images and videos to identify inconsistencies or anomalies indicative of manipulation. This thesis investigates the application of diffusion models, commonly utilized in digital image processing to enhance image quality by reducing noise and blurring, in bolstering the realism of deepfakes. By using these models, we test their effect on detecting deepfakes images using deepfake detectors.
|
|
|
Diffusion Models and their Impact on Cybersecurity
Dvorščák, Patrik ; Homoliak, Ivan (oponent) ; Lapšanský, Tomáš (vedoucí práce)
This thesis explores the performance of diffusion models (DMs) and generative adversarial networks (GANs) in creating AI-generated visual content across multiple applications, including face synthesis, text-to-image generation, artistic rendering, image-to-image translation, video synthesis, and super-resolution. Through comparative experiments, this research evaluates the models' ability to generate detailed, realistic, and artistically compelling visuals from textual and image prompts. The results reveal that DMs excel in producing highly detailed images that closely follow text prompts, particularly effective in face synthesis and text-to-image tasks. In contrast, GANs are more adept at rendering realistic environmental scenes, suitable for applications requiring immersive visuals. Both model types are competent in artistic rendering, though they differ in style adaptation and creativity. The thesis concludes with future research directions aimed at enhancing model efficacy and integrating these technologies more effectively into practical applications.
|
|
|
Automatická tvorba animovaného videa na základě textového příběhu
Kuchař, Josef ; Švec, Tomáš (oponent) ; Smrž, Pavel (vedoucí práce)
Cílem této práce je propojit difúzní model pro generování lidského pohybu s difúzním modelem generující video. V řešení jsou použité aktuální metody pro generování videa a pohybu. Generování videa probíhá pomocí generátoru obrázků opatřeného adaptérem pro temporální konzistenci. Práce představuje metodu propojení obou difúzních modelů pomocí sítě ControlNet. Vytvořené řešení umožňuje generovat video z jednoduchého textového popisu, případně detailního scénáře. Program byl otestován v uživatelské studii.
|
|
|
Creating Novel Deepfake Speech Dataset
Sztolarik, Maroš ; Homoliak, Ivan (oponent) ; Firc, Anton (vedoucí práce)
In the recent years, deepfake technology has advanced to a point where it can convincingly mimic human speech, posing significant challenges in distinguishing between real and synthetic voices. In this thesis, we introduce a novel dataset comprising speech deepfakes generated using diffusion models. This dataset, created with two sophisticated text-to-speech tools, DiffSpeech and ProDiff, aims to provide insight into the threat that these new tools pose. Two more datasets are created with more mature tools, Glow-TTS and Tacotron2, to provide a point of comparison. Then all the generated samples are analyzed through two deepfake detectors in order to provide a direct comparison into how much of a threat each tool is to these detectors. The results show that even though the tools utilizing the diffusion models are threatening, the use of diffusion models did not provide these tools any meaningful advantage in evading the detection.
|
|
|
Tvorba reklamního videa pomocí neuronových modelů
Taipova, Evgeniya ; Švec, Tomáš (oponent) ; Smrž, Pavel (vedoucí práce)
Cílem této práce je vytvoření systému pro automatickou generaci reklamních videí z textových popisů, který usnadní uživatelům bez zkušeností ve videoprodukci ušetřit čas a peníze. Práce se skládá ze dvou hlavních částí. První část využívá generativní modely Stable Diffusion a Stable Video Diffusion pro tvorbu vizuálního obsahu a GPT-3.5 Turbo pro vytváření scénářů k reklamním videím. Druhá část je webová aplikace, která slouží uživatelům k zadávání potřebných informací pro reklamy a k zobrazení hotových videí. Tento systém zjednodušuje a urychluje proces tvorby různých typů reklam.
|
|
|
Generative Models for 3D Shape Completion
Zdravecký, Peter ; Španěl, Michal (oponent) ; Kubík, Tibor (vedoucí práce)
In many real-world scenarios, scanned 3D models contain missing parts due to occlusion, scanning errors, or the incomplete nature of the data itself. The goal of this work is to create an automated process for 3D shape completion using a supervised deep learning-based method. The proposed solution is based on the prior work of DiffComplete, which uses a diffusion-based model operating over distance field representation and handles the task as a generative problem. The results showed a high capability of this model with an 81.6 IoU metric on the custom-prepared test set of furniture objects. The model also demonstrates strong generalization capabilities on shapes that are out of the training distribution (average 70.9 IoU metric). Apart from more detailed data-centric experiments, this work further extends current state-of-the-art in two ways. Firstly, it addresses the most crucial shortcoming, expensive computation, by processing the input in a low-resolution domain. Secondly, it utilizes user input (Region of Interest), which gives the user more control over generation in ambiguous scenarios.
|
|
|
Model Compression of Denoising Diffusion Probabilistic Models for Image Generation
Dobiš, Lukáš ; Kišš, Martin (oponent) ; Hradiš, Michal (vedoucí práce)
This thesis is dedicated to optimizating computation in generative diffusion models by evaluating conventional model compression aproaches on Denoising Diffusion Probabilistic Model (DDPM). Model compression was done on parameters of pretrained baseline DDPM neural network by several quantization and pruning methods. These methods were evaluated on three image dataset benchmarks. Results show that quantization and pruning are viable compression methods for downsizing diffusion networks, because they showed little decrease in quality of generated imagery. These results confirm that implemented compression approaches are vital for deployment of diffusion models on resource constrained Edge devices or to offset their compute costs.
|
|
|
Umělá neuronová síť pro rekonstruování vymřelých druhů
Pešek, David ; Bilík, Šimon (oponent) ; Jirsík, Václav (vedoucí práce)
Tato práce se zabývala navrhnutím, naučením a zhodnocením umělé neuronové sítě pro rekonstrukci vymřelých živočišných druhů. Nejprve byl vybrán hlavní prvek navrhované UNS, tedy generativní model. Vzhledem k jejich výborným výsledkům v poli generování obrázků se odůvodněně jevila třída difúzních modelů jako správná volba. Konkrétně byl vybrán difúzí model Stable diffusion. Jeden z počátečních kroků práce bylo také vytvořit trénovací množinu pro navrhovaný model. K obrázkům živočichů bylo potřeba napárovat nějaké popisky, podle kterých by se dal živočich identifikovat. K tomuto účelu byly využity geny cyklooxygenázy-1 daných živočichů. Dále byl použit sekvenční transformátorový model GPT-2, který je naučen na trénovací množině lidského přirozeného jazyka. Tento model byl použitý pro zakódování DNA sekvencí do vektorové podoby, ve které byla zachycena sémantika a kontext mezi jednotlivými částmi DNA sekvence. Modely by bylo velmi složité učit od začátku kvůli velké potřebné velikosti trénovací množiny a výpočetní a časové náročnosti. GPT-2 model byl tedy pouze doučen na trénovací množině DNA sekvencí řádu pěvců a samotný difúzní model byl naučen na párech obrázků těchto živočichů a DNA sekvencí zakódovaných pomocí GPT-2 modelu. Pro generování obrázků byly pomocí GPT-2 generovány originální DNA sekvence, které se podobaly sekvencím z trénovací množiny. Následně bylo zakódování těchto sekvencí předáno difúznímu modelu, který vytvořil samotné obrázky. Metoda generování nových DNA sekvencí pomocí GPT-2 modelu stojí na myšlence, že vygenerovaná DNA sekvence se částečně podobá DNA sekvencím z trénovací množiny. Takto experimentálně vygenerované DNA sekvence se mohou podobat DNA sekvencím vymřelých předků nebo příbuzných řádu pěvců. Model byl schopný v části případů vygenerovat takové obrázky, které lze na pohled považovat za živočišný druh, ale je nutno konstatovat, že vygenerované obrázky často nešlo považovat za rekonstrukce živočichů. Úspěšnost vygenerování obstojného obrázku živočicha byla přibližně 10%. Funkčnost modelu byla testována i na testovací množině DNA sekvencí živočichů několika řádů, které spadají pod třídu ptáků stejně jako řád pěvců. Úspěšnost vygenerování rekonstrukce, kterou bylo možné porovnávat s fotografií se pohybovala okolo 15%.
|
host ::
RSS.