|
|
Use of Diffusion Models in Deepfakes
Trúchly, Dominik ; Malinka, Kamil (referee) ; Lapšanský, Tomáš (advisor)
Deepfake je typ syntetického média vytvoreného pomocou sofistikovaných algoritmov strojového učenia, najmä hlbokých neurónových sietí. Ako príklad možno uviesť generatívne adverzné neurónové siete (GAN), ktoré sú schopné generovať obrázky, ktoré sú pre bežných jednotlivcov takmer nemožné odlíšiť od skutočnej reality. V dôsledku toho boli vyvinuté algoritmy detekcie hlbokých falošných správ, ktoré riešia tento rastúci problém. Tieto algoritmy využívajú pokročilé techniky strojového učenia a analyzujú rôzne funkcie v rámci obrázkov a videí, aby identifikovali nezrovnalosti alebo anomálie svedčiace o manipulácii. Táto práca skúma aplikáciu difúznych modelov, bežne používaných v digitálnom spracovaní obrazu na zvýšenie kvality obrazu znížením šumu a rozmazania, pre posilňovanie realizmu deepfakes. Využitím týchto modelov testujeme ich efekt na odhaľovanie deepfakes obrázkov pomocou deepfake detektorov.
|
|
|
Diffusion Models and their Impact on Cybersecurity
Dvorščák, Patrik ; Homoliak, Ivan (referee) ; Lapšanský, Tomáš (advisor)
Táto práca skúma výkonnosť difúznych modelov (DM) a Generative Adversarial Network (GAN) - Generatívna sieť súperiacích komponentov, pri vytváraní vizuálneho obsahu generovaného umelou inteligenciou vo viacerých aplikáciách vrátane syntézy tváre, generovania textu na obraz, umeleckého renderovania, prekladu obrazu na obraz, syntézy videa a superrozlíšenia. Prostredníctvom porovnávacích experimentov sa v tomto výskume hodnotí schopnosť modelov generovať podrobné, realistické a umelecky presvedčivé vizuály z textových a obrazových vstupov. Výsledky ukazujú, že DM vynikajú pri vytváraní vysoko detailných obrazov, ktoré presne nasledujú textové vstupy, pričom sú obzvlášť účinné pri úlohách syntézy tváre a prevodu textu na obraz. Naproti tomu GAN sú zručnejšie pri vykresľovaní realistických scén prostredia, ktoré sú vhodné pre aplikácie vyžadujúce pohlcujúce vizuály. Oba typy modelov sú kompetentné v umeleckom vykresľovaní, hoci sa líšia v prispôsobovaní štýlu a kreativite. V závere práce sú uvedené budúce smery výskumu zamerané na zvýšenie účinnosti modelov a efektívnejšiu integráciu týchto technológií do praktických aplikácií.
|
|
|
Automatic Creation of Animated Video based on Textual Story
Kuchař, Josef ; Švec, Tomáš (referee) ; Smrž, Pavel (advisor)
The aim of this work is to link a diffusion model for generating human motion with a diffusion model for generating video. The solution uses current methods for generating video and motion. Video generation is carried out using an image generator equipped with an adapter for temporal consistency. The work introduces a method of connecting both diffusion models using the ControlNet network. The created solution allows for generating video from a simple text description, or a detailed scenario. The program was tested in a user study.
|
|
|
Creating Novel Deepfake Speech Dataset
Sztolarik, Maroš ; Homoliak, Ivan (referee) ; Firc, Anton (advisor)
V posledných rokoch deepfake technológia postúpila do bodu kedy je schopná uveriteľne napodobniť ľudský hlas, čím predstavuje významné výzvy v rozslišovaní medzi skutočnými a syntetickými hlasmi. V tejto práci predstavujeme novú dátovú sadu obsahujúcu deepfake reč generovanú pomocou difúznych modelov. Táto dátová sada, vytvorená s pomocou dvoch sofistikovaných nástrojov pre prevod textu na reč, DiffSpeech a ProDiff, mieri poskytnúť náhľad do hrozby tieto nové nástroje predstavujú. Dve ďaľšie dátové sady sú vytvorené s viac vyspelými nástrojmi pre poskytnutie bodu porovnania. Potom sú všetky vygenerované vzorky analyzované dvomi deepfake detektormi pre priame porovnanie akú veľkú hrozbu každý nástroj predstavuje. Výsledky ukazujú, že aj keď nástroje ktoré využívajú difúzne modely predstavujú hrozbu, použitie difúznych modelov neposkytlo týmto nástrojom nijakú významnú výhodu vo vyhýbaní sa detekcii.
|
|
|
Creating Advertisement Video Using Neural Models
Taipova, Evgeniya ; Švec, Tomáš (referee) ; Smrž, Pavel (advisor)
The aim of this work is to create a system for the automatic generation of advertising videos based on textual descriptions, which will help users without video production experience save time and money. The work consists of two main parts. The first part uses generative models Stable Diffusion and Stable Video Diffusion for the creation of visual content and GPT-3.5 Turbo for creating scripts for advertising videos. The second part is a web application that allows users to input the necessary information for advertisements and to display the finished videos. This system simplifies and accelerates the process of creating various types of advertisements.
|
|
|
Generative Models for 3D Shape Completion
Zdravecký, Peter ; Španěl, Michal (referee) ; Kubík, Tibor (advisor)
Naskenované 3D modely často trpia chybami kvôli oklúzii, skenovacím nedostatkom alebo neúplnosti samotného modelu. Cieľom tejto práce je vyvinúť automatizovaný proces na doplnenie chýbajúcich častí 3D tvarov prostredníctvom hlbokého učenia. Navrhované riešenie vychádza z predchádzajúcej práce DiffComplete, ktorá využíva generatívny difúzny proces na vyplnenie chýbajúcich časti 3D tvarov. Úloha sa takto vníma ako generatívny problém. Výsledky preukazujú vysokú účinnosť tohto modelu s IoU skóre dosahujúcim 81,6 na konkrétnej testovacej sade pozostávajúcej z tvarov nábytku. Model navyše úspešne generalizuje aj na tvary, ktoré nie sú zahrnuté v trénovacej sade, dosahujúc priemerné IoU skóre 70,9. Práca okrem popisu dátovo orientovaných experimentov obohacuje súčasnú problematiku vypĺňania 3D útvarov dvoma spôsobmi. Po prvé rieši najväčšiu limitáciu, výpočetnú náročnosť, spracovaním vstupu v priestore s nízkym rozlíšením. Po druhé využíva užívateľský vstup (vo forme oblasti záujmu), čo umožňuje užívateľovi lepšie ovládať proces generácie v nejednoznačných situáciách.
|
|
|
Model Compression of Denoising Diffusion Probabilistic Models for Image Generation
Dobiš, Lukáš ; Kišš, Martin (referee) ; Hradiš, Michal (advisor)
Táto diplomová práca sa zameriava na optimalizáciu výpočtovej efektívnosti generatívnych difúznych modelov skrz vyhodnotenie konvenčných metód komprimácie neurónovych sieti na architektúre Denoising Diffusion Probabilistic Model (DDPM). Modelová komprimácia bola vykonaná na parametroch predtrénovanéj sieti DDPM niekoľkými kvantizačnými a prerezávacími metódami. Tieto metódy boli vyhodnotené na troch rôznych obrázkových dátových sadách. Výsledky potvrdzujú, že implementované kompresné metódy sú vhodne pre nasadenie difúznych modelov na malých zariadeniach s obmedzenými zdrojmi alebo na zníženie ich výpočetnych prevádzkových nákladov.
|
|
|
A neural network for reconstruction of extinct animals
Pešek, David ; Bilík, Šimon (referee) ; Jirsík, Václav (advisor)
This work was focused on designing, learning and evaluating an artificial neural network for reconstructing extinct species. First, the main element of the proposed artificial neural network, i.e., the generative model, was selected. Given their excellent performance in the field of image generation, the class of diffusion models reasonably seemed to be the right choice. Specifically, the Stable diffusion model was chosen. One of the initial steps of the work was to create a training set for the proposed model. The animal images needed to be paired with some labels that could be used to identify the animal. For this purpose, the cytochrome c oxidase subunit I genes of the given animals were used. Furthermore, the sequential transformer model GPT-2, which is learned on the training set of human natural language, was used. This model was used to encode the DNA sequences into a vector form in which the semantics and context between the different parts of the DNA sequence were captured. The models would be very difficult to learn from scratch due to the large training set size required and the computational and time requirements. Thus, the GPT-2 model was only learned on the training set of DNA sequences of the passeriformes order, and the diffusion model itself was learned on pairs of images of these animals and DNA sequences encoded by the GPT-2 model. To generate the images, the original DNA sequences that resembled the sequences from the training set were generated using GPT-2. The encoding of these sequences was then passed to the diffusion model, which generated the images itself. The method of generating new DNA sequences using the GPT-2 model is based on the idea that the generated DNA sequence partially resembles the DNA sequences from the training set. Such experimentally generated DNA sequences may resemble DNA sequences of extinct ancestors or relatives of the passeriformes order. The model was in some cases able to generate images that could be considered as animal species , but it should be noted that often the generated images could not be considered as animal reconstructions. The success rate of generating a decent animal image was approximately 10%. The functionality of the model was also tested on a test set of DNA sequences of animals of several orders that fall under the class of birds as well as the order of passeriformes. The success rate of generating a reconstruction that could be compared to a photograph was around 5%.
|
guest ::
