|
|
Detection of Malicious Websites using Machine Learning
Šulák, Ladislav ; Černocký, Jan (referee) ; Beneš, Karel (advisor)
Táto práca sa zaoberá problematikou škodlivého kódu na webe so zameraním na analýzu a detekciu škodlivého JavaScriptu umiestneného na strane klienta s využitím strojového učenia. Navrhnutý prístup využíva známe i nové pozorovania s ohľadom na rozdiely medzi škodlivými a legitímnymi vzorkami. Tento prístup má potenciál detekovať nové exploity i zero-day útoky. Systém pre takúto detekciu bol implementovaný a využíva modely strojového učenia. Výkon modelov bol evaluovaný pomocou F1-skóre na základe niekoľkých experimentov. Použitie rozhodovacích stromov sa podľa experimentov ukázalo ako najefektívnejšia možnosť. Najefektívnejším modelom sa ukázal byť Adaboost klasifikátor s dosiahnutým F1-skóre až 99.16 %. Tento model pracoval s 200 inštanciami randomizovaného rozhodovacieho stromu založeného na algoritme Extra-Trees. Viacvrstvový perceptrón bol druhým najlepším modelom s dosiahnutým F1-skóre 97.94 %.
|
|
| |
|
|
Linear Logistic Regression Demo
Bak, Adam ; Kesiraju, Santosh (referee) ; Beneš, Karel (advisor)
This bachelor's thesis deals with the machine learning model logistic regression.The aim is to closely inspect and analyze the workings of this model for classification, in order to be able to provide a learning tool in the form of demonstrative application. All of the mathematical formulae, logistic sigmoid, cross entropy error function and gradient are derived and explained in a concise manner. This thesis also provides some insight into the form of the cross entropy error function in the case of linear logistic regression.
|
|
|
Machine Translation Using Artificial Neural Networks
Holcner, Jonáš ; Beneš, Karel (referee) ; Szőke, Igor (advisor)
The goal of this thesis is to describe and build a system for neural machine translation. System is built with recurrent neural networks - encoder-decoder architecture in particular. The result is a nmt library used to conduct experiments with different model parameters. Results of the experiments are compared with system built with the statistical tool Moses.
|
|
|
Gaussian Processes Based Hyper-Optimization of Neural Networks
Coufal, Martin ; Landini, Federico Nicolás (referee) ; Beneš, Karel (advisor)
Cílem této diplomové práce je vytvoření nástroje pro optimalizaci hyper-parametrů umělých neuronových sítí. Tento nástroj musí být schopen optimalizovat více hyper-parametrů, které mohou být navíc i korelovány. Tento problém jsem vyřešil implmentací optimalizátoru, který využívá Gaussovské procesy k predikci vlivu jednotlivých hyperparametrů na výslednou přesnost neuronové sítě. Z provedených experimentů na několika benchmark funkcích jsem zjistil, že implementovaný nástroj je schopen dosáhnout lepších výsledků než optimalizátory založené na náhodném prohledávání a snížit tak v průměru počet potřebných kroků optimalizace. Optimalizace založená na náhodném prohledávání dosáhla lepších výsledků pouze v prvních krocích optimalizace, než si optimalizátor založený na Gaussovských procesech vytvoří dostatečně přesný model problému. Nicméně téměř všechny experimenty provedené na datasetu MNIST prokázaly lepší výsledky optimalizátoru založeného na náhodném prohledávání. Tyto rozdíly v provedených experimentech jsou pravděpodobně dány složitostí zvolených benchmark funkcí nebo zvolenými parametry implementovaného optimalizátoru.
|
|
|
Transformer Neural Networks for Handwritten Text Recognition
Vešelíny, Peter ; Beneš, Karel (referee) ; Kohút, Jan (advisor)
This Master's thesis aims to design a system using the transformer neural network and perform experiments with this proposed model in the task of handwriting text recognition. In this thesis, a multilingual dataset with predominate Czech texts is used. The experiments examine the influence of basic hyperparameters, such as network size, convolutional encoder type, and the use of different text tokenizers. In this work, I also use text corpora of the Czech language which is used to train the network decoder. Furthermore, I experiment with the usage of additional textual information during the decoding process. This information comes from the previous line of the transcribed image. The transformer achieves a character recognition error rate of 3.41 % on the test data set which is 0.16 % worse performance than the recurrent neural network achieves. To compare this model with other transformer-based models from available articles, the network was trained on the IAM dataset, where it achieved an error of 2.48 % and therefore outperformed other models in handwriting text recognition task.
|
|
|
Recurrent Neural Networks with Elastic Time Context in Language Modeling
Beneš, Karel ; Veselý, Karel (referee) ; Hannemann, Mirko (advisor)
Tato zpráva popisuje experimentální práci na statistické jazykovém modelování pomocí rekurentních neuronových sítí (RNN). Je zde předložen důkladný přehled dosud publikovaných prací, následovaný popisem algoritmů pro trénování příslušných modelů. Většina z popsaných technik byla implementována ve vlastním nástroji, založeném na knihovně Theano. Byla provedena rozsáhlá sada experimentů s modelem Jednoduché rekurentní sítě (SRN), která odhalila některé jejich dosud nepublikované vlastnosti. Při statické evaluaci modelu byly dosažené výsledky relativně cca. o 2.7 % horší, než nejlepší publikované výsledky. V případě dynamické evaluace však bylo dosaženo relativního zlepšení o 1 %. Dále bylo experimentováno i s modelem Strukturně omezené rekurentní sítě, ale ten se nepodařilo natrénovat k předpokládáným výkonům. Konečně bylo navrženo rozšíření SRN, pojmenované Náhodně prořidlá rekurentní neuronová síť. Experimentálně bylo potvrzeno, že RS-RNN dosahuje lepších výsledků v učení vlastního trénovacího korpusu a kombinace několika RS-RNN modelů přináší o 30 % větší zlepšení než kombinace stejného počtu SRN.
|
|
|
Detecting Stress in Speech
Šoltés, Samuel ; Beneš, Karel (referee) ; Grézl, František (advisor)
Stress influences people in several ways and can lead to decrease in performance and / or critical mistakes. Stress detection in speech measures the influence of stress in speech. The goal of this thesis is to offer a closer look at the impacts of stress, choose adequate parameters of speech which would manifest these impacts, implement their estimation and compare their results. The thesis contains description of stress and its effects on humans; glottal pulse, spectrum, fundamental frequency and formants as the parameters chosen for stress estimation; design and implementation of parameter value estimation from speech signal and obtained values of given parameters on two different databases.
|
|
|
Image-Based Clustering of Microbial Colonies
Láncoš, Jan ; Kišš, Martin (referee) ; Beneš, Karel (advisor)
Laboratorní analýza mikrobiálních kolonií pěstovaných na Petriho miskách je v současné době předmětem intenzivního výzkumu ve snaze o dosažení totální laboratorní automatizace. Jádro tohoto problému spočívá v přesné lokalizaci kolonií při obrazové analýze. Současná řešení nejčastěji využívají strojové učení, které je však obecně závislé na kvalitních datech, kterých je v tomto odvětví k dispozici jen velmi málo. Abych adresoval tento problém, vytvořil jsem víceúčelový generátor syntetických dat. Úspěšně jsem jej aplikoval jak při segmentaci tak při shlukování kolonií. Výsledné segmentační F1 skóre se mi podařilo navýšit z 0,518 na 0,729 a při shlukování jsem s využitím této segmentace dosáhl V-measure skóre 0,830. Prací navržený přístup ke generování syntetických dat nás posouvá o krok blíže k plné laboratorní automatizaci.
|
|
|
Artificial Intelligence for the Santorini Board Game
Rybanský, Adam ; Kocour, Martin (referee) ; Beneš, Karel (advisor)
The aim of this thesis was to use create an intelligent agent using Reinforcement learning to play Santorini, a 2-player zero-sum board game. The specific algorithm that was implemented was a modified version of Deep Q-learning, with the use of convolutional neural networks (one for training and the other for estimating future Q-value) and a memory of previously executed moves, from which the agent chooses randomly during training. Numerous experiments resulted in 2 final models. One was trained by playing against basic bots, with gradually increasing difficulty. The other was trained by playing against itself from the start. The outcome shows that the model playing against itself produces better results, however both models still perform worse than a bot which uses heuristic function.
|
guest ::
RSS feed.