Original title: Nástroj pro automatické zarovnání titulků
Translated title: Tool for Automatic Subtitle Alignment
Authors: Chudý, Daniel ; Chlubna, Tomáš (referee) ; Milet, Tomáš (advisor)
Document type: Bachelor's theses
Year: 2023
Language: slo
Publisher: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract: [slo] [eng]
Hlavnou motiváciou tejto práce je zjednodušiť prečasovanie titulkov, kde vstupom sú originálny a upravený videosúbor a titulky korešpondujúce s originálnym videom. Príklad – editor videí musí vystrihnúť scénu z videa. Titulky korešpondujúce s vystrihnutou časťou videa musí ručne odstrániť a prečasovať časť titulkov, ktorá nasleduje za vystrihnutou sekciou. Nástroj túto prácu uľahčí práve tým, že ju automatizuje. Z ľubovolne upravenej verzie videosúboru (strihy), originálneho súboru a originálnych titulkov vznikne verzia titulkov, ktorá sedí na upravenú verziu videosúboru. Cieľom je prispôsobiť originálne titulky na upravený videosúbor. Riešením je konverzia videosúborov na audio-súbory (.wav, wavfile), extrahovanie MFCC (Mel-frekvenčné cepstrálne koeficienty) a následne vzájomné porovnanie algoritmom Dynamic Time Warping (DTW). Z cesty zarovnania (výstup DTW) sa zistia rozdiely signálov (strihy vo videu) a na ich základe sa upravia titulky. Na otestovanie aplikácie bol vytvorený dataset public domain filmov a vlastných nahrávok. Vytvorená aplikácia poskytuje 69 – 90 % úspešnosť zarovnania titulkov na datasete s videami o dĺžke 1 – 60 minút. The main motivation of this work is to simplify the retiming of subtitles, where the inputs are the original and edited video files and subtitles corresponding to the original video. Example – a video editor needs to cut a scene from a video. Subtitles that correspond with the clipped part of the video must be manually removed and the subtitle part that follows the clipped part must be manually re-timed. The tool makes this work easier by automating it. From an arbitrarily edited version of the video file (cuts), the original file and the original subtitles, a version of subtitles will be created that fits the edited version of the video file. Simply put, the goal is to align the original subtitles with the edited video file. The solution is the conversion of video files to audio files (.wav, wavfile), extraction of MFCC (Mel-frequency cepstral coefficients) and subsequent mutual comparison with the Dynamic Time Warping (DTW) algorithm. From the alignment path (DTW output), signal differences (cuts in the video) are detected and subtitles are adjusted based on them. A dataset was created to test the application consisisting of public domain films and own recordings. The created application provides 69 – 90 % subtitle alignment success on a dataset that contains videos of length 1 – 60 minutes.
Keywords: algorithm; alignment; audio; cross-correlation; cut; downsampling; DTW; ffmpeg; FFT; MFCC; MSA; resampling; retiming; signal; SRT; subtitles; synchronisation; tkinter; video; waveform

Institution: Brno University of Technology (web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library.
Original record: http://hdl.handle.net/11012/211066

Permalink: http://www.nusl.cz/ntk/nusl-529343


The record appears in these collections:
Universities and colleges > Public universities > Brno University of Technology
Academic theses (ETDs) > Bachelor's theses