Original title:
Systém pro vyhledávání lidí pomocí textového popisu
Translated title:
System for person retrieval based on text description
Authors:
Hryn, Yaroslav ; Hradiš, Michal (referee) ; Juránková, Markéta (advisor) Document type: Bachelor's theses
Year:
2026
Language:
eng Publisher:
Vysoké učení technické v Brně. Fakulta informačních technologií Abstract:
[eng][cze]
Tato bakalářská práce se zabývá návrhem a implementací webové aplikace pro vyhledávání osob v obrazových datasetech na základě textového popisu. Motivací je situace, kdy uživatel hledá konkrétní osobu a zná pouze její vzhled – například barvu oblečení nebo jiné vizuální vlastnosti – ale nemá k dispozici fotografii. Jádrem systému je převod textových dotazů a obrázků do společného vektorového prostoru pomocí vision-language modelů s podporou načítání libovolného modelu z platformy HuggingFace. Vektory jsou indexovány a vyhledávány prostřednictvím cloudové vektorové databáze Qdrant. Pro zpřesnění výsledků byla implementována metoda negativního promptování jako forma re-rankingu, která umožňuje aktivně vyloučit nežádoucí vizuální vlastnosti. Výsledky lze navíc seskupovat podle identity osoby na základě identifikátorů obsažených v metadatovém souboru. Výsledná aplikace umožňuje správu datasetů a modelů, vyhledávání přirozeným jazykem, použití negativních dotazů a prohlížení výsledků ve třech režimech zobrazení. Systém byl experimentálně otestován porovnáním několika modelů na reálném datasetu.
This bachelor's thesis describes the design and implementation of a web application for searching people in image datasets based on natural language descriptions. The motivation comes from scenarios where a user is looking for a specific person and knows only their appearance – such as the colour of their clothing or other visual characteristics – but does not have a photo available. At its core, the system converts both text queries and images into a shared vector space using vision-language models, with support for loading any compatible model from the HuggingFace platform. The resulting embeddings are indexed and searched using the Qdrant cloud vector database. To improve search precision, negative prompting was implemented as a re-ranking method, allowing users to actively exclude unwanted visual attributes from results. Search results can also be grouped by person identity based on identifiers provided in a metadata file. The resulting application allows users to manage datasets and models, search for people using natural language, apply negative queries, and browse results in three different view modes. The system was experimentally evaluated by comparing several vision-language models on a real-world dataset.
Keywords:
negativní prompt; shlukování; textový popis; vektorová databáze; vision-language modely; vyhledávání osob; webová aplikace; clustering; negative prompting; person retrieval; text description; vector database; vision-language models; web application
Institution: Brno University of Technology
(web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library. Original record: http://hdl.handle.net/11012/258834