|
|
Using unlabeled data for retinal segmentation
Shemshur, Andrii ; Jakubíček, Roman (referee) ; Vičar, Tomáš (advisor)
Tato bakalářská práce se zabývá vývojem a hodnocením pokročilých metod pro segmentaci lékařských snímků v kontextu omezených trénovacích dat. Studie zkoumá techniky učení pod dohledem využívající konvoluční neuronové sítě (CNN), přenosové učení s předtrénovanými modely a strategie učení s částečným dohledem. Jako základní model byl použit model konvoluční neuronové sítě (CNN) s dohledem založený na architektuře U-Net, který dosáhl koeficientu Dice 77,6% a průniku nad sjednocením (IoU) 63,4%. Použití přenosového učení pomocí kodéru ResNet34 předtrénovaného na síti ImageNet vedlo k výraznému zlepšení výkonu s koeficientem Dice 81,9%, IoU 69,3% a přesností 96,7%. Kromě toho byly ke zvýšení výkonu modelu použity strategie učení s částečným dohledem, včetně pseudoznačení a předtrénování denoizace. Přístup pseudoznačení přinesl koeficient Dice 81,7% a IoU 69,1%, čímž prokázal účinnost využití neoznačených dat. Přístup před tréninkem denoizace prokázal robustní výkonnost a dosáhl koeficientu Dice 80,3% a IoU 67,0%, a to i v přítomnosti zašuměných a neoznačených dat. Tyto výsledky podtrhují potenciál transferového učení a poloprovozních metod pro zvýšení přesnosti segmentace při analýze lékařských snímků. Poskytují solidní základ pro budoucí výzkum v této oblasti.
|
|
|
Aligning pre-trained models for spoken language translation
Sedláček, Šimon ; Beneš, Karel (referee) ; Kesiraju, Santosh (advisor)
Tato práce zkoumá nový end-to-end přístup k překladu mluveného jazyka (ST) využívající předtrénovaných modelů pro přepis řeči (ASR) a strojový překlad (MT), propojené malým spojovacím modulem (Q-Former, STE). Ten má za úkol překlenout mezeru mezi modalitami řeči a textu mapováním embedding reprezentací ASR enkodéru do latentního prostoru reprezentací MT modelu. Během trénování jsou zvolené ASR a MT model zmrazeny, laděny jsou pouze parametry spojovacího modulu. Trénování a evaluace jsou prováděny na datasetu How2, obsahujícím ST data z Angličtiny do Portugalštiny. V našich experimentech zjišťujeme, že většina sladěných systémů překonává referenční kaskádový ST systém, přičemž využívají stejné základní modely. Navíc, při zachování konstantní a ve srovnání malé (10M parametrů) velikosti spojovacího modulu, větší a silnější ASR a MT modely univerzálně zlepšují výsledky překladu. Zjišťujeme, že spojovací moduly mohou také sloužit jako doménové adaptéry pro zvolené základní systémy, kdy významně zlepšují výsledky překladu ve sladěném ST prostředí, a to i oproti holému MT výkonu daného MT modelu. Nakonec navrhujeme proceduru pro předtrénování spojovacího modulu s potenciálem snížit množství ST dat potřebných pro trénink obdobných sladěných systémů.
|
|
|
Rozpoznávání nemocí rostlin pomocí umělé inteligence
Juliš, Adam ; Kubík, Tibor (referee) ; Bažout, David (advisor)
The aim of this work was to investigate the possibility of plant disease detection in the ab- sence of training data. The possibility of extracting the pattern of each disease and apply- ing these patterns to unknown plants was investigated. While still in the theoretical part of the thesis, this approach was found to be flawed. Furthermore, datasets with images of plant pathogens were analyzed and compared. An augmented image generator and several models were created over a smaller dataset validating existing approaches
|
|
|
Deep neural network learning methods with limited datasets
Németh, Filip ; Vičar, Tomáš (referee) ; Jakubíček, Roman (advisor)
The master thesis aims to investigate the effectiveness of deep neural networks in image processing with limited training data. As part of the work, the effects of various techniques and approaches on the learning of these networks were analyzed, including transfer learning, data augmentation, and neural style transfer method. Experimental results suggest that transfer learning using pre-trained weights from large datasets such as ImageNet is effective in improving results on limited data, achieving high F1-scores. The use of different forms of data augmentation can lead to variable results, where it provides different advantages and disadvantages that have a significant impact on the success and efficiency of the models. In general, the method using a neural style transfer network does not yield significant improvements and proved less effective for dataset with a large diversity of perspectives and geometric features.
|
|
|
Classification of board defects in semiconductor manufacturing
Jašek, Filip ; Vágner, Martin (referee) ; Dřínovský, Jiří (advisor)
This diploma thesis focuses on detecting defects in semiconductor wafer manufacturing. It explores methods for identifying faulty chips and controlling yield during production. To classify defects machine learning techniques are used. Initially, ResNet18 architecture was used for inference, but low accuracy was attributed to limited input data. Transfer learning with ResNet50v2 was then attempted, resulting in improved metric with different dataset. Hyperparameter tuning and data augmentations were also explored. The study found that autoencoders for data compression during inference increased speed but led to degraded evaluation metrics.
|
|
|
Segmentation of multiple sclerosis lesions using deep neural networks
Sasko, Dominik ; Myška, Vojtěch (referee) ; Kolařík, Martin (advisor)
Hlavným zámerom tejto diplomovej práce bola automatická segmentácia lézií sklerózy multiplex na snímkoch MRI. V rámci práce boli otestované najnovšie metódy segmentácie s využitím hlbokých neurónových sietí a porovnané prístupy inicializácie váh sietí pomocou preneseného učenia (transfer learning) a samoriadeného učenia (self-supervised learning). Samotný problém automatickej segmentácie lézií sklerózy multiplex je veľmi náročný, a to primárne kvôli vysokej nevyváženosti datasetu (skeny mozgov zvyčajne obsahujú len malé množstvo poškodeného tkaniva). Ďalšou výzvou je manuálna anotácia týchto lézií, nakoľko dvaja rozdielni doktori môžu označiť iné časti mozgu ako poškodené a hodnota Dice Coefficient týchto anotácií je približne 0,86. Možnosť zjednodušenia procesu anotovania lézií automatizáciou by mohlo zlepšiť výpočet množstva lézií, čo by mohlo viesť k zlepšeniu diagnostiky individuálnych pacientov. Našim cieľom bolo navrhnutie dvoch techník využívajúcich transfer learning na predtrénovanie váh, ktoré by neskôr mohli zlepšiť výsledky terajších segmentačných modelov. Teoretická časť opisuje rozdelenie umelej inteligencie, strojového učenia a hlbokých neurónových sietí a ich využitie pri segmentácii obrazu. Následne je popísaná skleróza multiplex, jej typy, symptómy, diagnostika a liečba. Praktická časť začína predspracovaním dát. Najprv boli skeny mozgu upravené na rovnaké rozlíšenie s rovnakou veľkosťou voxelu. Dôvodom tejto úpravy bolo využitie troch odlišných datasetov, v ktorých boli skeny vytvárané rozličnými prístrojmi od rôznych výrobcov. Jeden dataset taktiež obsahoval lebku, a tak bolo nutné jej odstránenie pomocou nástroju FSL pre ponechanie samotného mozgu pacienta. Využívali sme 3D skeny (FLAIR, T1 a T2 modality), ktoré boli postupne rozdelené na individuálne 2D rezy a použité na vstup neurónovej siete s enkodér-dekodér architektúrou. Dataset na trénovanie obsahoval 6720 rezov s rozlíšením 192 x 192 pixelov (po odstránení rezov, ktorých maska neobsahovala žiadnu hodnotu). Využitá loss funkcia bola Combo loss (kombinácia Dice Loss s upravenou Cross-Entropy). Prvá metóda sa zameriavala na využitie predtrénovaných váh z ImageNet datasetu na enkodér U-Net architektúry so zamknutými váhami enkodéra, resp. bez zamknutia a následného porovnania s náhodnou inicializáciou váh. V tomto prípade sme použili len FLAIR modalitu. Transfer learning dokázalo zvýšiť sledovanú metriku z hodnoty približne 0,4 na 0,6. Rozdiel medzi zamknutými a nezamknutými váhami enkodéru sa pohyboval okolo 0,02. Druhá navrhnutá technika používala self-supervised kontext enkodér s Generative Adversarial Networks (GAN) na predtrénovanie váh. Táto sieť využívala všetky tri spomenuté modality aj s prázdnymi rezmi masiek (spolu 23040 obrázkov). Úlohou GAN siete bolo dotvoriť sken mozgu, ktorý bol prekrytý čiernou maskou v tvare šachovnice. Takto naučené váhy boli následne načítané do enkodéru na aplikáciu na náš segmentačný problém. Tento experiment nevykazoval lepšie výsledky, s hodnotou DSC 0,29 a 0,09 (nezamknuté a zamknuté váhy enkodéru). Prudké zníženie metriky mohlo byť spôsobené použitím predtrénovaných váh na vzdialených problémoch (segmentácia a self-supervised kontext enkodér), ako aj zložitosť úlohy kvôli nevyváženému datasetu.
|
|
|
End-to-End Speech Recognition for Low-Resource Languages
Sokolovskii, Vladislav ; Schwarz, Petr (referee) ; Karafiát, Martin (advisor)
Oblast automatického rozpoznávání řeči začala přijímat end-to-end řešení neuronové sítě pro vytváření rozpoznávačů řeči. Povaha datového hladu těchto typů systémů však umožňuje vytvářet rozpoznávače pouze pro jazyky s velkými zdroji, jako je angličtina, čínština nebo španělština. Ve scénářích s nízkými zdroji je třeba vyvinout některá řešení, která zmírní problém nedostatku dat. Jednou z nejúčinnějších technik je doladění předtrénovaného modelu. Problém se stávajícími přístupy ladění spočívá v tom, že sada tokenů cílového a zdrojového jazyka se obvykle liší. To je důvod, proč předchozí přístupy k učení vícejazyčného přenosu vyžadovaly změnu výstupní vrstvy nebo smíchání tokenů z různých jazyků ve výstupní vrstvě, případně použití univerzální sady tokenů anebo samostatné výstupní vrstvy pro každý jazyk. To je nežádoucí, jelikož sdílení napříč jazyky je v tomto případě latentní a neovladatelné ve výstupním prostoru, když jsou grafémy specifické pro daný jazyk disjunktní. Proto tato práce navrhuje mapování tokenů do společné sady před začátkem předtréninku. Stávající řešení spočívá v transliteraci zdrojového jazyka do cílového, novým přístupem je romanizace, kde je sada tokenů cílového jazyka romanizována tak, aby odpovídala anglické abecedě. Následně lze diakritiku z romanizovaných hypotéz obnovit pomocí dalšího modelu obnovy. To má výhodu ve zvýšení sdílení v prostoru výstupního grafému.
|
|
|
Volumetric Segmentation of Dental CT Data
Berezný, Matej ; Kodym, Oldřich (referee) ; Čadík, Martin (advisor)
The main goal of this work was to use neural networks for volumetric segmentation of dental CBCT data. As a byproducts, both new dataset including sparse and dense annotations and automatic preprocessing pipeline were produced. Additionally, the possibility of applying transfer learning and multi-phase training in order to improve segmentation results was tested. From the various tests that were carried out, conclusion can be drawn that both multi-phase training and transfer learning showed substantial improvement in dice score for both sparse and dense annotations compared to the baseline method.
|
|
|
Interactive 3D CT Data Segmentation Based on Deep Learning
Trávníčková, Kateřina ; Hradiš, Michal (referee) ; Kodym, Oldřich (advisor)
This thesis deals with CT data segmentation using convolutional neural nets and describes the problem of training with limited training sets. User interaction is suggested as means of improving segmentation quality for the models trained on small training sets and the possibility of using transfer learning is also considered. All of the chosen methods help improve the segmentation quality in comparison with the baseline method, which is the use of automatic data specific segmentation model. The segmentation has improved by tens of percents in Dice score when trained with very small datasets. These methods can be used, for example, to simplify the creation of a new segmentation dataset.
|
|
|
Low-Resource Neural Machine Translation
Filo, Denis ; Fajčík, Martin (referee) ; Jon, Josef (advisor)
This thesis deals with neural machine translation (NMT) for low-resource languages. The goal was to evaluate current techniques by using the experiments and suggest their improvements. The translation systems in this thesis used the neural network transformer architecture and were trained by the Marian framework. The selected language pairs were Slovak with Croatian and Slovak with Serbian. The subjects of the experiments were the transfer learning techniques and semi-supervised learning.
|
guest ::
