Original title: Hluboké neuronové sítě pro detekci landmarků na 3D modelu
Translated title: Deep Neural Networks for Landmark Detection on 3D Models
Authors: Kubík, Tibor ; Kodym, Oldřich (referee) ; Španěl, Michal (advisor)
Document type: Bachelor's theses
Year: 2021
Language: eng
Publisher: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract: [eng] [cze]
Detekcia významných bodov je častým krokom pri analýze medicínskych dát. Čoraz bežnejšie sú tieto dáta reprezentované vo forme 3D modelov, príkladom sú povrchové skeny zubného oblúka pacienta. Hlboké neurónové siete sú vhodný spôsob, ako detekovať významné body v obraze. V prípade 3D dát je však toto spracovanie časovo i pamäťovo náročné, čo nevyhovuje požiadavkám kladeným medicínskymi aplikáciami. V tejto práci navrhujem metódu, ktorá tento problém eliminuje a detekuje významné body na povrchu polygonálnych modelov čeľustí. V metóde sú použité rôzne architektúry neurónových sietí, založené na architektúre U-Net. Viacpohľadový prístup presúva spracovanie do 2D, kde navrhnuté architektúry detekujú body regresiou tepelných máp z niekoľkých pohľadov. Pomocou konsezus metódy je následne z týchto pohľadov určená konečná pozícia bodov v 3D priestore. V práci sú predstavené experimenty s dvoma konsenzus metódami: stredná hodnota predikcií a geometrický prístup založený na algoritme RANSAC a metóde najmenších štvorcov. Experimenty ukázali, že varianta kombinujúca Attention U-Net, 100 pohľadov a geometrickú konsenus metódu je schopná detekovať významné body s chybou 1.20 +- 1.81 mm, pričom 94.01% predikcií dosahuje chybu menšiu ako 2 mm. Landmark detection is a frequent step during medical data analysis. More and more often, these data are represented in the form of 3D models. An example is a 3D intraoral scan of dentition. Deep neural networks are an appropriate way of detecting landmarks in images. In terms of 3D data, the processing comes with high memory requirements and computational time, which does not meet the needs of medical applications. In this work, I propose a method that eliminates this problem and detects landmarks on the surface of polygonal models of jaws. Different architectures of neural networks, all of which are based on the U-Net architecture, are used in this work. The multi-view approach transforms the task into a 2D domain, where the suggested networks detect landmarks by heatmap regression from several viewpoints. Using a consensus method, final estimates from multiple views are predicted in 3D space. This work introduces experiments with two consensus methods: a centroid of predictions and a geometric approach based on the RANSAC algorithm and least-squares fit. Experiments have shown that a combination of Attention U-Net, 100 viewpoints, and RANSAC consensus method, is able to detect landmarks with an error of 1.20 +- 1.81 mm, while 94.01% of landmarks is predicted with an error of less than 2 mm.
Keywords: detekcia landmarkov v 3D; polygonálne modely; RANSAC; regresia tepelných máp; U-Net; viacpohľadové neurónové siete; heatmap regression; landmark detection in 3D; multi-view neural networks; polygonal models; RANSAC; U-Net

Institution: Brno University of Technology (web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library.
Original record: http://hdl.handle.net/11012/199342

Permalink: http://www.nusl.cz/ntk/nusl-572684


The record appears in these collections:
Universities and colleges > Public universities > Brno University of Technology
Academic theses (ETDs) > Bachelor's theses