Original title:
Fúze obrazových a nemřížkových dat pro segmentaci objektů
Translated title:
Fusing image and non-grid-like data for object segmentation
Authors:
Repka, Samuel ; Nosko, Svetozár (referee) ; Zemčík, Pavel (advisor) Document type: Master’s theses
Year:
2024
Language:
eng Publisher:
Vysoké učení technické v Brně. Fakulta informačních technologií Abstract:
[eng][cze]
Objekt záujmu sa často dá popísať viacerými dátovými zdrojmi. Napríklad, z obrazu auta sa dá zistiť farba, značka, alebo aj jeho typ. Čo sa ale najskôr nedá, je zistiť stav motora, či beží alebo nie. Táto informácia sa ale dá zistiť inak, sluchom alebo aj dotykom. Aj keď je možné, že jeden dátový zdroj poskytuje všetky potrebné informácie, pridanie modality môže zlepšiť riešenie, kvôli možnej komplementarite dát. Tento proces dátovej fúzie môže byť ale pomerne komplikovaný proces. Rôzne dáta majú rôzne vlastnosti, štruktúry a rôzne výzvy, ktoré s nimi súvisia. Existuje veľké množstvo rôznych metód dátovej fúzie, ktoré sú ale často aplikovateľné len na konkrétne modality. Táto práca prezentuje nový prístup k dátovej fúzii dvoch modalít, primárne za účelom segmentácie obrazu. Jedna z modalít je obraz, druhá je ľubovoľná neštrukturovaná modalita. Prezentovaná metóda využíva graf na spoločnú reprezentáciu oboch modalít, dizajnovanú tak, aby čo najpresnejšie zachytila závislosti v modalitách aj medzi nimi. Graf je potom spracovaný, výsledkom čoho je graf so spojenými dátami, alebo aj priama segmentácia. Prezentované riešenie bolo otestované na dvoch datasetoch (z oblasti mineralógie a drevárskeho priemyslu) a porovnané s inými metódami. Výsledky ukazujú, že riešenie má veľký potenciál ale aj svoje limitácie. V prípade datasetu z mineralógie, výsledky boli výborné a ukazujú, že metóda je schopná dátovej fúzie a dokáže prekonať aj súčasné metódy vo viacerých metrikách. V druhom prípade, výsledky až tak jednoznačné neboli, pretože metóda nevylepšila výsledky v porovnaní s iným riešením, čo ale mohlo byť spôsobené aj ťažkým datasetom.
Quite often, a phenomenon of interest can described by more than one data source. For example, a car's appearance shows its colour and brand, but not its engine status. However, other data sources do provide us with this information, be it a sound or mere touch. Such data source is often referred to as a modality. While using a single data source to extract the needed information may be sufficient, the addition of more modalities can be beneficial, because of their complementary nature. This data fusion, however, may be a quite challenging process. Different kinds of data have different properties, structures and various challenges connected to them. A plethora of different methods has been proposed, but usually, the methods are very data-dependent. This thesis presents a new approach to the fusion of two modalities, primarily for the purpose of image segmentation. One of the modalities is image, and the second one is any non-grid-like modality. The method uses a graph to jointly represent both modalities, aiming to capture the intra and inter-modalities relationships as accurately as possible. The graph is then processed, producing a graph with fused data, or a direct segmentation. The proposed method was evaluated on two datasets (from the fields of mineralogy and timber processing) and compared to another solution, showing both the potential and limitations of the method. In case of the mineralogy dataset, the results are very encouraging, showing that the method is capable of data fusion, even outperforming a contemporary method. In case of the timber dataset, the results were not as conclusive, as the method failed to improve the results when compared to a baseline solution, which may have been caused by a challenging dataset.
Keywords:
dátová fúzia; multimodálne dáta; počítačové videnie; segmentácia obrazu; computer vision; data fusion; image segmentation; multimodal data
Institution: Brno University of Technology
(web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library. Original record: https://hdl.handle.net/11012/248929
guest ::
