Original title:
Automatická tvorba animovaného videa na základě textového příběhu
Translated title:
Automatic Creation of Animated Video based on Textual Story
Authors:
Kuchař, Josef ; Švec, Tomáš (referee) ; Smrž, Pavel (advisor) Document type: Bachelor's theses
Year:
2024
Language:
cze Publisher:
Vysoké učení technické v Brně. Fakulta informačních technologií Abstract:
[cze][eng]
Cílem této práce je propojit difúzní model pro generování lidského pohybu s difúzním modelem generující video. V řešení jsou použité aktuální metody pro generování videa a pohybu. Generování videa probíhá pomocí generátoru obrázků opatřeného adaptérem pro temporální konzistenci. Práce představuje metodu propojení obou difúzních modelů pomocí sítě ControlNet. Vytvořené řešení umožňuje generovat video z jednoduchého textového popisu, případně detailního scénáře. Program byl otestován v uživatelské studii.
The aim of this work is to link a diffusion model for generating human motion with a diffusion model for generating video. The solution uses current methods for generating video and motion. Video generation is carried out using an image generator equipped with an adapter for temporal consistency. The work introduces a method of connecting both diffusion models using the ControlNet network. The created solution allows for generating video from a simple text description, or a detailed scenario. The program was tested in a user study.
Keywords:
artificial intelligence; ControlNet; diffusion models; Human Motion Diffusion Model; MDM; neural networks; procedural animation; Stable Diffusion; textual story; video generation; ControlNet; difúzní modely; generování videa; Human Motion Diffusion Model; MDM; neuronové sítě; procedurální animace; Stable Diffusion; textový příběh; umělá inteligence
Institution: Brno University of Technology
(web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library. Original record: https://hdl.handle.net/11012/248225