|
|
Recent Trends in Machine Learning with a Focus on Applications in Finance
Kalina, Jan ; Neoral, Aleš
Machine learning methods penetrate to applications in the analysis of financial data, particularly to supervised learning tasks including regression or classification. Other approaches, such as reinforcement learning or automated machine learning, are not so well known in the context of finance yet. In this paper, we discuss the advantages of an automated data analysis, which is beneficial especially if a larger number of datasets should be analyzed under a time pressure. Important types of learning include reinforcement learning, automated machine learning, or metalearning. This paper overviews their principles and recalls some of their inspiring applications. We include a discussion of the importance of the concept of information and of the search for the most relevant information in the field of mathematical finance. We come to the conclusion that a statistical interpretation of the results of theautomatic machine learning remains crucial for a proper understanding of the knowledge acquired by the analysis of the given (financial) data.
|
|
|
Agent optimization by means of genetic programming
Šmíd, Jakub ; Neruda, Roman (vedoucí práce) ; Kazík, Ondřej (oponent)
Tato práce se zabývá problémem výběru nejvhodnějšího agenta pro novou, agenty doposud neviděnou úlohu z oblasti dobývání znalostí. Je navržena metrika na prostoru úloh z oblasti dobývání znalostí a na základě této metriky je vybráno několik nejbližších úloh. Tento výběr je předložen jako vstup programu, který byl vyvinut pomocí genetického programování a který odhaduje výsledky agentů na nové úloze jak z pohledu chybovosti, tak z pohledu časové náročnosti. Je implementován JADE agent poskytující rozhraní umožňující získat výsledky odhadu ostatním agentům v reálném čase.
|
|
|
Computational Intelligence Methods in Metalearning
Šmíd, Jakub ; Neruda, Roman (vedoucí práce) ; Vanschoren, Joaquin (oponent) ; Vomlelová, Marta (oponent)
Tato práce je zaměřena na problematiku výběru algoritmu, která má za cíl doporučit algoritmus strojového učení k nové úloze. Řešení problému vychází z myšlenky, že se algoritmy chovají podobně na podobných datech. Tato podobnost je často založena na extrakci pevného počtu metaatributů z každé úlohy. Vzhledem k tomu, že počet atributů se u různých úloh typicky liší, ztrácíme tak důležité informace. V této práci popíšeme třídu algoritmů, která dokáže zpracovat také informace o jednotlivých atributech. Naše metody jsou založeny na přiřazování atributů. Výsledná vzdálenost mezi úlohami je dána jako součet vzdáleností mezi atributy určenými optimálním přiřazením. Dále dokážeme, že za určitých podmínek můžeme zaručit, že výsledná vzdálenost mezi úlohami je metrika. Provedeme sadu experimentů na datech extrahovaných z OpenML repozitáře. Vytvoříme vzdálenost mezi atributy prostřednictvím genetických algoritmů, genetického programování a několika regularizačních technik, jako je koevoluce a zavedení vícekriteriality. Výsledky experimentů naznačují, že výsledná vzdálenost mezi úlohami může být úspěšně použita na problematiku výběru algoritmu. Ačkoliv jsme naše metody použili výhradně k metaučení, lze je aplikovat i v jiných oblastech. Navržené algoritmy jsou aplikovatelné kdekoliv, kde máme definovanou vzdálenost...
|
|
|
Hyperparameter optimization in AutoML systems
Pešková, Klára ; Neruda, Roman (vedoucí práce) ; Awad, Mariette (oponent) ; Kordik, Pavel (oponent)
Zpracování dat se v posledních letech stalo nedílnou součástí mnoha oblastní lidské činnosti. Spolu s tím prudce roste zájem o automatické systémy strojového učení, které využívají metaučící postupy k tomu, aby usnadnily proces strojového učení, navrhli jeho optimální průběh a na- stavení. V této práci jsme navrhli algoritmy metaučení pro optimalizaci hyper- parametrů, zužování rozsahů hyperparametrů a doporučování metod strojového učení pro zcela nová data. Implementovali jsme dva systémy automatického strojového učení (AutoML), ve kterých jsme použili navržené metaučící techniky. V práci prezentujeme výsledky rozsáhlých experimentů, ve kterých tyto techniky vyhodnocujeme a porovnáváme.
|
|
|
Hyperparameter optimization in AutoML systems
Pešková, Klára ; Neruda, Roman (vedoucí práce) ; Awad, Mariette (oponent) ; Kordik, Pavel (oponent)
Zpracování dat se v posledních letech stalo nedílnou součástí mnoha oblastní lidské činnosti. Spolu s tím prudce roste zájem o automatické systémy strojového učení, které využívají metaučící postupy k tomu, aby usnadnily proces strojového učení, navrhli jeho optimální průběh a na- stavení. V této práci jsme navrhli algoritmy metaučení pro optimalizaci hyper- parametrů, zužování rozsahů hyperparametrů a doporučování metod strojového učení pro zcela nová data. Implementovali jsme dva systémy automatického strojového učení (AutoML), ve kterých jsme použili navržené metaučící techniky. V práci prezentujeme výsledky rozsáhlých experimentů, ve kterých tyto techniky vyhodnocujeme a porovnáváme.
|
|
|
How to down-weight observations in robust regression: A metalearning study
Kalina, Jan ; Pitra, Z.
Metalearning is becoming an increasingly important methodology for extracting knowledge from a data base of available training data sets to a new (independent) data set. The concept of metalearning is becoming popular in statistical learning and there is an increasing number of metalearning applications also in the analysis of economic data sets. Still, not much attention has been paid to its limitations and disadvantages. For this purpose, we use various linear regression estimators (including highly robust ones) over a set of 30 data sets with economic background and perform a metalearning study over them as well as over the same data sets after an artificial contamination.
|
|
|
Robust Metalearning: Comparing Robust Regression Using A Robust Prediction Error
Peštová, Barbora ; Kalina, Jan
The aim of this paper is to construct a classification rule for predicting the best regression estimator for a new data set based on a database of 20 training data sets. Various estimators considered here include some popular methods of robust statistics. The methodology used for constructing the classification rule can be described as metalearning. Nevertheless, standard approaches of metalearning should be robustified if working with data sets contaminated by outlying measurements (outliers). Therefore, our contribution can be also described as robustification of the metalearning process by using a robust prediction error. In addition to performing the metalearning study by means of both standard and robust approaches, we search for a detailed interpretation in two particular situations. The results of detailed investigation show that the knowledge obtained by a metalearning approach standing on standard principles is prone to great variability and instability, which makes it hard to believe that the results are not just a consequence of a mere chance. Such aspect of metalearning seems not to have been previously analyzed in literature.
|
|
|
How to down-weight observations in robust regression: A metalearning study
Kalina, Jan ; Pitra, Zbyněk
Metalearning is becoming an increasingly important methodology for extracting knowledge from a data base of available training data sets to a new (independent) data set. The concept of metalearning is becoming popular in statistical learning and there is an increasing number of metalearning applications also in the analysis of economic data sets. Still, not much attention has been paid to its limitations and disadvantages. For this purpose, we use various linear regression estimators (including highly robust ones) over a set of 30 data sets with economic background and perform a metalearning study over them as well as over the same data sets after an artificial contamination. We focus on comparing the prediction performance of the least weighted squares estimator with various weighting schemes. A broader spectrum of classification methods is applied and a support vector machine turns out to yield the best results. While results of a leave-1-out cross validation are very different from results of autovalidation, we realize that metalearning is highly unstable and its results should be interpreted with care. We also focus on discussing all possible limitations of the metalearning methodology in general.
|
|
|
Computational Intelligence Methods in Metalearning
Šmíd, Jakub ; Neruda, Roman (vedoucí práce) ; Vanschoren, Joaquin (oponent) ; Vomlelová, Marta (oponent)
Tato práce je zaměřena na problematiku výběru algoritmu, která má za cíl doporučit algoritmus strojového učení k nové úloze. Řešení problému vychází z myšlenky, že se algoritmy chovají podobně na podobných datech. Tato podobnost je často založena na extrakci pevného počtu metaatributů z každé úlohy. Vzhledem k tomu, že počet atributů se u různých úloh typicky liší, ztrácíme tak důležité informace. V této práci popíšeme třídu algoritmů, která dokáže zpracovat také informace o jednotlivých atributech. Naše metody jsou založeny na přiřazování atributů. Výsledná vzdálenost mezi úlohami je dána jako součet vzdáleností mezi atributy určenými optimálním přiřazením. Dále dokážeme, že za určitých podmínek můžeme zaručit, že výsledná vzdálenost mezi úlohami je metrika. Provedeme sadu experimentů na datech extrahovaných z OpenML repozitáře. Vytvoříme vzdálenost mezi atributy prostřednictvím genetických algoritmů, genetického programování a několika regularizačních technik, jako je koevoluce a zavedení vícekriteriality. Výsledky experimentů naznačují, že výsledná vzdálenost mezi úlohami může být úspěšně použita na problematiku výběru algoritmu. Ačkoliv jsme naše metody použili výhradně k metaučení, lze je aplikovat i v jiných oblastech. Navržené algoritmy jsou aplikovatelné kdekoliv, kde máme definovanou vzdálenost...
|
|
|
Robust Regression Estimators: A Comparison of Prediction Performance
Kalina, Jan ; Peštová, Barbora
Regression represents an important methodology for solving numerous tasks of applied econometrics. This paper is devoted to robust estimators of parameters of a linear regression model, which are preferable whenever the data contain or are believed to contain outlying measurements (outliers). While various robust regression estimators are nowadays available in standard statistical packages, the question remains how to choose the most suitable regression method for a particular data set. This paper aims at comparing various regression methods on various data sets. First, the prediction performance of common robust regression estimators are compared on a set of 24 real data sets from public repositories. Further, the results are used as input for a metalearning study over 9 selected features of individual data sets. On the whole, the least trimmed squares turns out to be superior to the least squares or M-estimators in the majority of the data sets, while the process of metalearning does not succeed in a reliable prediction of the most suitable estimator for a given data set.
|
host ::
RSS.