|
|
Rekurentní neuronové sítě pro klasifikaci textů
Myška, Vojtěch ; Kolařík, Martin (oponent) ; Povoda, Lukáš (vedoucí práce)
Diplomová práce se zabývá návrhem neuronových sítí pro klasifikaci pozitivních a negativních textů. Vývoj probíhal v programovacím jazyce Python. Návrh modelů hlubokých neuronových sítí byl proveden pomocí vysokoúrovňového API Keras využívající knihovnu pro numerické výpočty TensorFlow. Výpočetní operace byly provedeny pomocí GPU využívající CUDA architekturu. Výstupem práce je jazykově nezávislý model neuronových sítí umožňující klasifikaci textů na úrovni znaků. Vzorky byly úspěšně klasifikovány až v 93,64% případů. Trénovací a testovací data byla poskytnuta vícejazyčnou a Yelp databází. Simulace byly provedeny na 1200000 anglických, 12000 českých, německých a španělských textů.
|
|
| |
|
|
Time series analysis using deep learning
Hladík, Jakub ; Kolařík, Martin (oponent) ; Uher, Václav (vedoucí práce)
The aim of the thesis was to create a tool for time-series prediction based on deep learning. The first part of the work is a brief description of deep learning and its comparison to classical machine learning. In the next section contains brief analysis of some tools, that are already used for time-series forecasting. The last part is focused on the analysis of the problem as well as on the actual creation of the program.
|
|
|
Segmentation of multiple sclerosis lesions using deep neural networks
Sasko, Dominik ; Myška, Vojtěch (oponent) ; Kolařík, Martin (vedoucí práce)
This master thesis focused on automatic segmentation of Multiple Sclerosis (MS) lesions on MRI images. We tested the latest methods of segmentation using Deep Neural Networks and compared the approaches of weight initialization by transfer learning and self-supervised learning. The automatic segmentation of MS lesions is a very challenging task, primarily due to the high imbalance of the dataset (brain scans usually contain only a small amount of damaged tissue). Another challenge is a manual annotation of these lesions, as two different doctors can mark other parts of the brain as damaged and the Dice Coefficient of these annotations is approximately 0.86, which further underlines the complexity of this task. The possibility of simplifying the annotation process by automatization could improve the lesion load determination and might lead to better diagnostic of each individual patient. Our goal was to propose two techniques that use transfer learning to pre-train weights to later improve the performance of existing segmentation models. The theoretical part describes the division of artificial intelligence, machine learning and deep neural networks and their use in image segmentation. Afterwards, the work provides a description of Multiple Sclerosis, its types, symptoms, diagnosis and treatment. The practical part begins with data preprocessing. Firstly, brain scans were adjusted to the same resolution with the same voxel size. This was needed due to the usage of three different datasets, in which the scans had been created by devices from different manufacturers. One dataset also included the skull, therefore it was necessary to remove it by an FSL tool, leaving only the patient's brain in the scan. The preprocessed data were 3D scans (FLAIR, T1 and T2 modalities), which were cut into individual 2D slices and used as an input for the neural network with encoder-decoder architecture. The whole dataset consisted a total of 6,720 slices with a resolution of 192 x 192 pixels for training (after removing slices where the mask was empty). Loss function was Combo loss (combination of Dice Loss with modified Cross-Entropy). The first technique was to use the pre-trained weights from the ImageNet dataset on encoder in U-Net network, with and without locked encoder weights, respectively, and compare the results with random weight initialization. In this case, we used only the FLAIR modality. Transfer learning has proven to increase the metrics from approximately 0.4 to 0.6. The difference between encoder with and without locked weights was about 0.02. The second proposed technique was to use a self-supervised context encoder with Generative Adversarial Networks (GAN) to pre-train the weights. This network used all three modalities also with the empty slices (23,040 slices in total). The purpose of GAN was to recreate the brain image, which was covered by a checkerboard. Weights learned during this training were later loaded for the encoder to apply to our segmentation problem. The following experiment did not show any improvement, with a DSC value of 0.29 and 0.09, with and without a locked encoder, respectively. Such a decrease in performance might have been caused by the use of weights pre-trained on two distant problems (segmentation and self-supervised context encoder) or by difficulty of the task considering the hugely unbalanced dataset.
|
|
|
Optimalizace výroby hliníkového odlitku s použitím numerické simulace
Kolařík, Martin ; Lána, Ivo (oponent) ; Krutiš, Vladimír (vedoucí práce)
Diplomová práce se zabývá rozborem technologie lití vybraného odlitku ze slitiny hliníku. Jedná se o odlitek frézovací hlavy do CNC stroje, odlévaný technologií gravitačního lití do kovové formy. Byla provedena analýza vad, které jsou příčinou vysokého procenta neshodné výroby. Dále je součástí práce kompletní analýza plnění a tuhnutí tohoto odlitku v simulačním programu ProCast. Je provedeno ověření výsledků numerické simulace a její doladění. Poté jsou na několika vypočtených variantách dokázány příčiny problematických vad. Jsou navržena opatření, které minimalizují sklony ke vzniku vad vedoucích k neshodné výrobě.
|
|
|
Filtrování spamových zpráv pomocí metod umělé inteligence
Safonov, Yehor ; Uher, Václav (oponent) ; Kolařík, Martin (vedoucí práce)
V moderním počítačovém světě e-mailová komunikace patří do nejpoužívanějších prostředků pro výměnu zpráv mezi uživateli. Jedná se o volně dostupný, efektivní a jednoduchý způsob sloužící ke sdělení informací. Tyto tři základní pilíře přispívají k její světové rozšířenosti a strmému nárůstu přenášených elektronických zpráv. Na druhou stranu, rostoucí popularita této technologie v sobě skrývá velká bezpečnostní rizika a tvoří z ní ideální nástroj pro šíření nevyžádaného obsahu a realizaci útoků cílených jak na koncové uživatele, tak i na celé počítačové infrastruktury. Ačkoliv v dnešní době používané klasické nástroje na filtrování spamu dosahují vysokých přesností, často neumožňují pokrytí dynamičnosti vývoje spamových technik a trpí problémy s přeučením, uváznutím v nevhodných lokálních minimech, neschopností efektivně zpracovávat vysoce dimenzionální data a z dlouhodobého hlediska disponují problémy s udržitelností. Hlavním cílem této diplomové práce je vytvoření a naučení modelů hlubokých neuronových sítí použitím nejmodernějších technik a přístupů existujících ve světě zpracování přirozeného jazyka a strojového učení. V rámci teoretické části se práce zaměřuje na problematiku e-mailové komunikace se zaměřením na filtrování nevyžádané pošty. Následně se věnuje doméně strojového učení a umělých neuronových sítí, zejména principům jejich fungování, základním vlastnostem a možnostem jejich aplikování na okruh problémů spojených s provedením textové analýzy. Mezi silné stránky práce patří provedení podrobného srovnání současných metod strojového učení, jejich specifik a přesnosti při aplikování na klasifikaci spamu. V praktické části práce byl důraz položen na zpracování datové sady surových e-mailů a srovnání modelů ULMFiT, BERT a XLNet. Zpracování dat bylo rozděleno do pěti etap, a to s cílem zachování co nejvyšší informační hodnoty zpráv a vytvoření kvalitní datové sady, která byla použita pro trénování, testování a validaci zvolených druhů neuronových sítí. Dále diplomová práce zahrnuje popis procesu učení sítí včetně etapy finálního přizpůsobení dat k modelování. Na konci práce byly implementované modely srovnány a byla nastíněna případná rozšíření do budoucna.
|
|
|
Automatic 3D segmentation of brain images
Bafrnec, Matúš ; Dorazil, Jan (oponent) ; Kolařík, Martin (vedoucí práce)
This bachelor thesis describes the design and implementation of the system for automatic 3D segmentation of a brain based on convolutional neural networks. The first part is dedicated to a brief history of neural networks and a theoretical description of the functionality of convolutional neural networks. It represents a fast introduction to the problematics and provides theoretical basics needed for the understanding and creation of the system. Individual layers of the neural network and principles of their functionality and mutual relations are also described in this part. The second part of the thesis is about problem analysis, designing of a solution and a comparison between neural networks and other solutions. The result of a magnetic resonance imaging of the head is a series of black-and-white images representing a 3D scan. The task is to tag a brain and to remove unnecessary information in the form of surrounding tissues. The final image of the brain can be utilized in a volumetry or during a diagnostic of neurodegenerative diseases. The advantage of neural networks in comparison with deterministic systems is their flexibility. They allow an adaptation to other segmentation problems just by changing the training dataset, without a need of changes in the architecture. One of the systems performing fully automatic 3D segmentation is called U-Net – its name comes from the similarity of the architecture with the letter U. Three real solutions, the first implementation of U-Net, extended U-Net and recurrent U-Net were presented. The first version of U-Net has been very memory-demanding, it required a training on a processor instead of a graphic card and has not allowed data processing in full resolution. The extended U-Net has resolved these problems by loading data in overlaying series of three images. In addition to the possibility of a training on a graphic card with related decrease in learning time, the accuracy was increased by adding interconnections to the internal architecture of the network. The last version, recurrent U-Net, aims for the optimization of extended U-Net based on the reusage of existing levels. This brings a decrease in a time and resource difficulty. The number of parameters of the network was lowered to less than 20%, without any increase in case of further level addition. This network is one of first recurrent networks used on the problem of 3D segmentation and provides a foundation to further research. The last part focuses on the evaluation of results and the comparison of accuracy, speed and requirements between particular networks. The accuracy of human and machine segmentation is also compared. The extended and recurrent U-Net have surpassed their human opponent, which in real case could save a lot of doctors time and prevent human mistakes. The result of this work is a theoretical basis providing an introduction to the problematics of convolutional neural networks and segmentation, fully working systems for automatic 3D segmentation and the foundation for further research in the field of recurrent networks.
|
|
|
Automatická kontrola kvality výroby lakovaných kovových dílů s pomocí neuronových sítí
Ježek, Štěpán ; Kolařík, Martin (oponent) ; Burget, Radim (vedoucí práce)
Tato práce je zaměřena na problematiku vizuální kontroly kvality při výrobě kovových lakovaných dílů. Hlavním problémem řešeným v rámci práce je návrh automatizované metody kontroly kvality, založené na moderních poznatcích z oblasti umělé inteligence a počítačového vidění. Kontrola kvality představuje významnou součást velkého množství průmyslových výrobních procesů, ve kterých je nutné zajistit splnění řady kvalitativních požadavků na vyráběné produkty. Dosud je kontrola kvality prováděna především spe- cializovanými pracovníky, na které je k provádění kontroly kladena řada požadavků na odborné znalosti. Aktuálně známé metody vizuální kontroly kvality založené na umělé inteligenci se vyznačují vysokou náročností na velikost trénovací datové množiny a nízkou tolerancí na výraznější změnu polohy a rotace kontrolovaných objektů vůči snímacímu zařízení. Důsledkem těchto nedostatků je znemožněno nasazení automatizované vizuální kontroly kvality v řadě současných průmyslových aplikacích. Hlavním přínosem této práce je návrh nové metody kontroly kvality, která vykazuje silnou schopnost spolehlivě fungo- vat i v případech, kdy v dané průmyslové výrobě dochází k výše uvedeným jevům změny polohy, rotace objektů a nedostatku trénovacích dat. Přesnost metody navržené v této práci je experimentálně ověřena na datové množině vycházející z problematiky kontroly kvality kovových lakovaných dílů. Dle provedeného měření překonává navržená metoda v přesnosti detekce defektů ostatní, současně známé metody o 10, 25 % dle AUROC metriky.
|
|
|
Image segmentation using graph neural networks
Boszorád, Matej ; Kolařík, Martin (oponent) ; Myška, Vojtěch (vedoucí práce)
This diploma thesis describes and implements the design of a graph neural network usedfor 2D segmentation of neural structure. The first chapter of the thesis briefly introduces the problem of segmentation. In this chapter, segmentation techniques are divided according to the principles of the methods they use. Each type of technique contains the essence of this category as well as a description of one representative. The second chapter of the diploma thesis explains graph neural networks (GNN for short). Here, the thesis divides graph neural networks in general and describes recurrent graph neural networks(RGNN for short) and graph autoencoders, that can be used for image segmentation, in more detail. The specific image segmentation solution is based on the message passing method in RGNN, which can replace convolution masks in convolutional neural networks.RGNN also provides a simpler multilayer perceptron topology. The second type of graph neural networks characterised in the thesis are graph autoencoders, which use various methods for better encoding of graph vertices into Euclidean space. The last part ofthe diploma thesis deals with the analysis of the problem, the proposal of its specific solution and the evaluation of results. The purpose of the practical part of the work was the implementation of GNN for image data segmentation. The advantage of using neural networks is the ability to solve different types of segmentation by changing training data. RGNN with messaging passing and node2vec were used as implementation GNNf or segmentation problem. RGNN training was performed on graphics cards provided bythe school and Google Colaboratory. Learning RGNN using node2vec was very memory intensive and therefore it was necessary to train on a processor with an operating memory larger than 12GB. As part of the RGNN optimization, learning was tested using various loss functions, changing topology and learning parameters. A tree structure method was developed to use node2vec to improve segmentation, but the results did not confirman improvement for a small number of iterations. The best outcomes of the practical implementation were evaluated by comparing the tested data with the convolutional neural network U-Net. It is possible to state comparable results to the U-Net network, but further testing is needed to compare these neural networks. The result of the thesisis the use of RGNN as a modern solution to the problem of image segmentation and providing a foundation for further research.
|
|
|
Hluboké učení pro klasifikaci textů
Kolařík, Martin ; Harár, Pavol (oponent) ; Povoda, Lukáš (vedoucí práce)
Práce se zabývá rozborem současných metod strojového učení používaných pro emoční klasifikaci textových dat a testováním různých architektur neuronových sítí na problému binární klasifikace textů na pozitivní a negativní. Výstupem práce je návrh vlastní architektury hluboké konvoluční neuronové sítě, která je optimalizovaná pro problém a dosáhla úspěšnosti 79,9 procent. Navrhovaná metoda není závislá na použitém jazyce a je možno ji aplikovat i při využití méně detailně vytvořených vstupních trénovacích databází. Trénovací a testovací množina dat se skládala z kratších amatérských filmových recenzí v češtině a angličtině. Skripty byly psány v programovacím jazyce Python, využita byla knihovna pro modelování neuronových sítí Keras a výpočetní knihovna Theano. Kvůli zvýšení rychlosti výpočtu byly početní operace prováděny přes architekturu CUDA na grafické kartě. Součástí práce je také přehled teoretického základu pro práci s konvolučními neuronovými sítěmi a historie neuronových sítí.
|
host ::
RSS.