|
|
Towards concept visualization through image generation
Nguyen, Tien Dat ; Pecina, Pavel (vedoucí práce) ; Žabokrtský, Zdeněk (oponent)
Název: Vizualizace konceptů pomocí generování obrazu Autor: Tien Dat Nguyen Katedra: Ústav formální a aplikované lingvistiky Vedoucí práce: RNDr. Pavel Pecina, Ph.D., Ústav formální a aplikované lingvistiky MFF UK a Angeliki Lazaridou, Ra_aella Bernardi, Marco Baroni (University of Trento), Počítačová lingvistika a počítačové vidění mají společný způsob, jak zachytit sémantiku lingvistických/vizuálních jednotek pomocí vektorové reprezentace. Navíc kvalitní sémantická reprezentace může být efektivně sestrojena pomocí nedávných pokroků v metodách neuronových sítí. Avšak jejich pochopení zůstává omezené a je nutné je posuzovat intuitivně. Mezimodální mapování je mapování mezi vektorovou sémantikou zabudovanou do slov a vizuálních reprezentací odpovídajících objektů v obrazu. Invertování obrazové reprezentace zahrnuje učení inverze obrazu vizuálních vektorů (SIFT, HOG a CNN rysy) pro rekonstrukci původní informace. Cílem této práce je vybudování úplné pipeline, ve které jsou slovní reprezentace transformovány do obrazových vektorů pomocí mezimodálního mapování a tyto vektory jsou promítnuty do pixelového prostoru použitím inverze. Ukazuje se, že tento způsob může být průlomovým prostředkem, jakým lze zkontrolovat a vyhodnotit sémantiku zakódovanou v reprezentaci slov generováním obrázků, které jej reprezentují.
|
host ::
RSS.