Original title:
Vyhledávání tlačítek ve formulářích
Translated title:
Button Search in Forms
Authors:
Dyk, Tomáš ; Šolony, Marek (referee) ; Zemčík, Pavel (advisor) Document type: Master’s theses
Year:
2020
Language:
cze Publisher:
Vysoké učení technické v Brně. Fakulta informačních technologií Abstract:
[cze][eng]
Diplomová práce popisuje systém pro automatickou detekci tlačítek z fotografie obrazovky.Systém je využit společně s robotickou rukou a kamerou, aby detekoval tlačítka na obrazovce vestavěných zařízení. Po detekci tlačítek na obrazovce algoritmus vydá příkaz robotickému rameni, aby klikl na pozici detekovaného tlačítka. Systematickým proklikáváním všech tlačítek algoritmus vytvoří navigační mapu, ve které jsou vidět všechny obrazovky daného zařízení. U každé obrazovky jsou uloženy pozice detekovaných tlačítek a cíl na jakou obrazovku odkazují.
Diploma thesis describes a system for automatic detection of buttons from a screen photo.The system is used together with a robotic arm and a camera to detect buttons on the screens of embedded devices. After detecting buttons on the screen, the algorithm commands the robotic arm to click on the position of the detected button. The algorithm creates a navigation map in which all screens of the device are visible by systematically clicking through all buttons on all screens. For each screen, the positions of the detected buttons and the destination to which the screen points are stored.
Keywords:
buttons; computer vision; Detection; graphical interface; localization; neural netwoks; Detekce; grafické rozhraní; lokalizace; neuronové sítě; počítačové vidění; tlačítka
Institution: Brno University of Technology
(web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library. Original record: http://hdl.handle.net/11012/192487