Original title: Hodnocení neurčitosti predikcí neuronových sítí v úlohách klasifikace, detekce a segmentace
Translated title: Assessment of Uncertainty of Neural Net Predictions in the Tasks of Classification, Detection and Segmentation
Authors: Vlasák, Jiří ; Kohút, Jan (referee) ; Herout, Adam (advisor)
Document type: Bachelor's theses
Year: 2022
Language: cze
Publisher: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract: [cze] [eng]
Tato práce se zaměřuje na porovnání tří široce používaných metod pro zlepšení odhadů neurčitosti: hlubokých ansámlů, monte carlo dropout a temperature scaling. Tyto metody jsou aplikovány na šest modelů pro počítačové vidění, mezi nimiž jsou předtrénované modely i modely trénované od nuly. Tyto modely jsou hodnoceny na datasetech počítačového vidění pro úlohy klasifikace, sémantické segmentace a detekce objektů, při použití široké škály metrik. Modely jsou rovněž evaluovány na transformovaných datasetech, kvůli jejich ohodnocení na datech mimo trénovací distribuci.       Tyto modifikované modely dosahují slibných výsledků. Ansámbly překonávají ostatní modely až o 70 % v přesnosti a o 0.2 v IOU na transformovaném segmentačním datasetu MedSeg COVID-19 a zároveň překonávají ostatní modely na datasetech CIFAR-100 a FMNIST. This work focuses on comparing three widely used methods for improving uncertainty estimations: Deep Ensembles, Monte Carlo Dropout, and Temperature Scaling. These methods are applied to six computer vision models that are pretrained as well as trained from scratch. The models are then evaluated on computer vision datasets for classification, semantic segmentation, and object detection using a wide range of metrics. The models are also evaluated on distorted versions of these datasets to measure their performance on out-of-distribution data.      These modified models achieve promising results. Ensembles outperform the other models by as high as 70 % in accuracy and 0.2 in IOU on the distorted MedSeg COVID-19 segmentation dataset while also outperforming the other models on the CIFAR-100 and FMNIST datasets.
Keywords: CIFAR-100; classification; dataset shift; deep ensembles; FMNIST; model calibration; monte carlo dropout; object detection; PASCAL-VOC; semantic segmentation; temperature scaling; CIFAR-100; detekce objektů; FMNIST; hluboké ansámbly; kalibrace modelů; klasifikace; monte carlo dropout; PASCAL-VOC; posunutí datasetu; sémantická segmentace; temperature scaling

Institution: Brno University of Technology (web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library.
Original record: http://hdl.handle.net/11012/207397

Permalink: http://www.nusl.cz/ntk/nusl-504939


The record appears in these collections:
Universities and colleges > Public universities > Brno University of Technology
Academic theses (ETDs) > Bachelor's theses