Original title: Extrakce fotografií osob z historických novin
Translated title: Extraction of photographs of individuals from historical newspapers
Authors: Jánošíková, Simona ; Herout, Adam (referee) ; Vaško, Marek (advisor)
Document type: Master’s theses
Year: 2026
Language: slo
Publisher: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract: [slo] [eng]
Práca sa zaoberá lokalizáciou fotografií osôb v digitalizovaných historických novinách na základe menného dopytu. Cieľom je overiť, či možno na túto úlohu použiť veľký multimodálny model Molmo, ktorý okrem textovej odpovede generuje aj súradnice bodu v obraze. Na dátach odvodených z anotácií bol navrhnutý evaluačný protokol s promptami pre lokalizáciu osoby podľa mena, overenie jej prítomnosti a označenie všetkých fotografií osôb na strane. Vyhodnotený bol pôvodný model Molmo a následne boli natrénované LoRA adaptéry. Pôvodný model dosiahol vysokú úspešnosť pri všeobecnom označení fotografie osoby, ale zlyhával pri negatívnych menne viazaných dopytoch. Najlepší dotrénovaný adaptér A12 dosiahol celkové skóre S_all = 79,39 % a pri označení všetkých fotografií osôb F1 skóre 91,19 %. Výsledky ukazujú, že LoRA adaptácia čiastočne zlepšuje správanie modelu pri negatívnych dopytoch, no lokalizácia osôb v historických novinách zostáva náročnou a dátovo citlivou úlohou. The thesis focuses on the localization of photographs of people in digitized historical newspapers based on person-name queries. The aim is to evaluate whether this task can be addressed using the large multimodal model Molmo, which generates not only a textual answer but also point coordinates in the image. An evaluation protocol was designed on data derived from annotations, using prompts for name-based person localization, presence verification, and marking all photographs of people on a page. The original Molmo model was evaluated, and LoRA adapters were subsequently fine-tuned. The original model achieved high accuracy in the general task of pointing to a photograph of a person, but failed on negative name-based queries. The best fine-tuned adapter, A12, achieved an overall score of S_all = 79.39 % and an F1 score of 91.19 % when marking all photographs of people. The results show that LoRA adaptation partially improves the model's behavior on negative queries, however, localizing people in historical newspapers remains a challenging and data-sensitive task.
Keywords: digitized historical newspapers; historical document analysis; localized answer; LoRA; Molmo; multimodal language models; object detection; person identification by name; person photograph localization; visual grounding

Institution: Brno University of Technology (web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library.
Original record: http://hdl.handle.net/11012/260309

Permalink: http://www.nusl.cz/ntk/nusl-775917


The record appears in these collections:
Universities and colleges > Public universities > Brno University of Technology
Academic theses (ETDs) > Master’s theses