Název: Hodnocení neurčitosti predikcí neuronových sítí v úlohách klasifikace, detekce a segmentace
Překlad názvu: Assessment of Uncertainty of Neural Net Predictions in the Tasks of Classification, Detection and Segmentation
Autoři: Vlasák, Jiří ; Kohút, Jan (oponent) ; Herout, Adam (vedoucí práce)
Typ dokumentu: Bakalářské práce
Rok: 2022
Jazyk: cze
Nakladatel: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstrakt: [cze] [eng]
Tato práce se zaměřuje na porovnání tří široce používaných metod pro zlepšení odhadů neurčitosti: hlubokých ansámlů, monte carlo dropout a temperature scaling. Tyto metody jsou aplikovány na šest modelů pro počítačové vidění, mezi nimiž jsou předtrénované modely i modely trénované od nuly. Tyto modely jsou hodnoceny na datasetech počítačového vidění pro úlohy klasifikace, sémantické segmentace a detekce objektů, při použití široké škály metrik. Modely jsou rovněž evaluovány na transformovaných datasetech, kvůli jejich ohodnocení na datech mimo trénovací distribuci.       Tyto modifikované modely dosahují slibných výsledků. Ansámbly překonávají ostatní modely až o 70 % v přesnosti a o 0.2 v IOU na transformovaném segmentačním datasetu MedSeg COVID-19 a zároveň překonávají ostatní modely na datasetech CIFAR-100 a FMNIST. This work focuses on comparing three widely used methods for improving uncertainty estimations: Deep Ensembles, Monte Carlo Dropout, and Temperature Scaling. These methods are applied to six computer vision models that are pretrained as well as trained from scratch. The models are then evaluated on computer vision datasets for classification, semantic segmentation, and object detection using a wide range of metrics. The models are also evaluated on distorted versions of these datasets to measure their performance on out-of-distribution data.      These modified models achieve promising results. Ensembles outperform the other models by as high as 70 % in accuracy and 0.2 in IOU on the distorted MedSeg COVID-19 segmentation dataset while also outperforming the other models on the CIFAR-100 and FMNIST datasets.
Klíčová slova: CIFAR-100; detekce objektů; FMNIST; hluboké ansámbly; kalibrace modelů; klasifikace; monte carlo dropout; PASCAL-VOC; posunutí datasetu; sémantická segmentace; temperature scaling; CIFAR-100; classification; dataset shift; deep ensembles; FMNIST; model calibration; monte carlo dropout; object detection; PASCAL-VOC; semantic segmentation; temperature scaling

Instituce: Vysoké učení technické v Brně (web)
Informace o dostupnosti dokumentu: Plný text je dostupný v Digitální knihovně VUT.
Původní záznam: http://hdl.handle.net/11012/207397

Trvalý odkaz NUŠL: http://www.nusl.cz/ntk/nusl-504939


Záznam je zařazen do těchto sbírek:
Školství > Veřejné vysoké školy > Vysoké učení technické v Brně
Vysokoškolské kvalifikační práce > Bakalářské práce