Original title: Audiovizuální rozpoznávání osoby
Translated title: Audiovisual person recognition
Authors: Bahounek, Ondřej ; Mošner, Ladislav (referee) ; Plchot, Oldřich (advisor)
Document type: Bachelor's theses
Year: 2024
Language: cze
Publisher: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract: [cze] [eng]
Tahle práce se zabývá audiovizuální verifikací osoby ve videu nebo ze snímku obličeje a hlasové nahrávky. Modely využívají fúze hlasových a obličejových embeddingů. Modely přidělují váhy oběma modalitám, podle nichž kladou větší pozornost na jednu z nich. Výsledky modelů se vyznačují dobrou odolností proti poškození jedné z modalit. This work focuses on audiovisual verification of a person in a video or from a facial image and a voice recording. The models use a fusion of voice and face embeddings. The models assign weights to both modalities, allowing them to give more attention to one or the other. The results from these models demonstrate good resistance to the degradation of one of the modalities.
Keywords: audivisual person verification; embedding fusion; embeddings; face recognition; Inception Resnet; MHFA; multi-modal fusion; speaker recognition; WavLM; audiovizuální verifikace osoby; embeddingy; fúze embeddingů; fúze modalit; Inception Resnet; MHFA; rozpoznání tváře; rozpoznání řečníka; WavLM

Institution: Brno University of Technology (web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library.
Original record: https://hdl.handle.net/11012/247445

Permalink: http://www.nusl.cz/ntk/nusl-617590


The record appears in these collections:
Universities and colleges > Public universities > Brno University of Technology
Academic theses (ETDs) > Bachelor's theses