Original title:
Vyhodnocení mrkání a pozorovaného místa na monitoru
Translated title:
Evaluation of blinking and the observed place on the monitor
Authors:
Klimeš, Petr ; Jirgl, Miroslav (referee) ; Janáková, Ilona (advisor) Document type: Master’s theses
Year:
2022
Language:
cze Publisher:
Vysoké učení technické v Brně. Fakulta elektrotechniky a komunikačních technologií Abstract:
[cze][eng]
Cílem práce je vytvořit systém pro analýzu obličeje uživatele simulátoru řízení. Je prove- dena rešerše existujících přístupů pro detekci významných bodů obličeje, směru pohledu, natočení hlavy a mrkání. Dále je popsán software a hardware simulátoru řízení a je přidána kamera pro snímání uživatele. V praktické části je otestována detekce mrkání pomocí měření Eye Aspect Ratio, detekce natočení hlavy z významných bodů obličeje a odhad směru pohledu pomocí konvolučních neuronových sítí. Z existujících algoritmů je zhodnocena funkčnost knihovny OpenFace. Následně je implementována knihovna OpenFace do Unreal Engine, její funkce jsou využity pro analýzu pohledu i mrkání uži- vatele. V poslední části je otestována přesnost měření směru pohledu a je porovnáno měření směru pohledu s kalibrací a bez kalibrace.
The purpose of this thesis is to create a system for user’s gaze and eye analysis in a driving simulator. There is a research of existing methods for facial landmark detection, head pose and gaze estimation and eye blink detection. Software and hardware of the simulator is described and a camera is added for user recording. In the main part, the Eye Aspect Ratio method is tested for blink detection. Next, head pose detection from facial landmarks is tested. Furthermore, Convolutional Neural Networks are created and trained for gaze estimation. From existing algorithms, OpenFace library is tested. OpenFace library is added to existing software in Unreal Engine and used for gaze and blink detection. A gaze calibration procedure is created and tested for better accuracy.
Keywords:
blink detection; driving simulator; facial landmark detection; Gaze detection; OpenFace; Unreal Engine; detekce mrkání; Detekce směru pohledu; detekce významných bodů obličeje; OpenFace; simulátor řízení; Unreal Engine
Institution: Brno University of Technology
(web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library. Original record: http://hdl.handle.net/11012/204942