|
|
How to down-weight observations in robust regression: A metalearning study
Kalina, Jan ; Pitra, Z.
Metalearning is becoming an increasingly important methodology for extracting knowledge from a data base of available training data sets to a new (independent) data set. The concept of metalearning is becoming popular in statistical learning and there is an increasing number of metalearning applications also in the analysis of economic data sets. Still, not much attention has been paid to its limitations and disadvantages. For this purpose, we use various linear regression estimators (including highly robust ones) over a set of 30 data sets with economic background and perform a metalearning study over them as well as over the same data sets after an artificial contamination.
|
|
|
Robust Metalearning: Comparing Robust Regression Using A Robust Prediction Error
Peštová, Barbora ; Kalina, Jan
The aim of this paper is to construct a classification rule for predicting the best regression estimator for a new data set based on a database of 20 training data sets. Various estimators considered here include some popular methods of robust statistics. The methodology used for constructing the classification rule can be described as metalearning. Nevertheless, standard approaches of metalearning should be robustified if working with data sets contaminated by outlying measurements (outliers). Therefore, our contribution can be also described as robustification of the metalearning process by using a robust prediction error. In addition to performing the metalearning study by means of both standard and robust approaches, we search for a detailed interpretation in two particular situations. The results of detailed investigation show that the knowledge obtained by a metalearning approach standing on standard principles is prone to great variability and instability, which makes it hard to believe that the results are not just a consequence of a mere chance. Such aspect of metalearning seems not to have been previously analyzed in literature.
|
|
|
How to down-weight observations in robust regression: A metalearning study
Kalina, Jan ; Pitra, Zbyněk
Metalearning is becoming an increasingly important methodology for extracting knowledge from a data base of available training data sets to a new (independent) data set. The concept of metalearning is becoming popular in statistical learning and there is an increasing number of metalearning applications also in the analysis of economic data sets. Still, not much attention has been paid to its limitations and disadvantages. For this purpose, we use various linear regression estimators (including highly robust ones) over a set of 30 data sets with economic background and perform a metalearning study over them as well as over the same data sets after an artificial contamination. We focus on comparing the prediction performance of the least weighted squares estimator with various weighting schemes. A broader spectrum of classification methods is applied and a support vector machine turns out to yield the best results. While results of a leave-1-out cross validation are very different from results of autovalidation, we realize that metalearning is highly unstable and its results should be interpreted with care. We also focus on discussing all possible limitations of the metalearning methodology in general.
|
|
|
Algoritmy pro detekci anomálií v datech z klinických studií a zdravotnických registrů
Bondarenko, Maxim ; Blaha, Milan (oponent) ; Schwarz, Daniel (vedoucí práce)
Daná diplomová práce se zabývá problematikou detekci anomálií v datech z klinických studií a zdravotnických registrů. Cílem práce je provedení literární rešerše problematiky kvality dat ve zdravotnickém výzkumu a realizace vlastního algoritmu detekce anomálních záznamů založeného na metodách strojového učení v reálných klinických datech z běžících nebo uzavřených klinických studií či registrů. V praktické části je popsán realizovaný algoritmus detekce, který se skládá z několika častí: import datového souboru z informačního systému, předzpracování a transformace importovaných datových záznamů s proměnnými různých datových typů na numerické vektory, využití známých statistických metod pro detekce outlierů a hodnoceni kvality a přesnosti algoritmu. Výsledkem zpracování algoritmu je vektor parametrů obsahujících anomálií, který má usnadnit práci správci dat. Tento algoritmus je navřen pro rozšíření palety funkcí informačního systému (CLADE-IS) o automatické monitorování kvality dat detekcí anomálních záznamů.
|
|
|
Algoritmy pro detekci anomálií v datech z klinických studií a zdravotnických registrů
Bondarenko, Maxim ; Blaha, Milan (oponent) ; Schwarz, Daniel (vedoucí práce)
Daná diplomová práce se zabývá problematikou detekci anomálií v datech z klinických studií a zdravotnických registrů. Cílem práce je provedení literární rešerše problematiky kvality dat ve zdravotnickém výzkumu a realizace vlastního algoritmu detekce anomálních záznamů založeného na metodách strojového učení v reálných klinických datech z běžících nebo uzavřených klinických studií či registrů. V praktické části je popsán realizovaný algoritmus detekce, který se skládá z několika častí: import datového souboru z informačního systému, předzpracování a transformace importovaných datových záznamů s proměnnými různých datových typů na numerické vektory, využití známých statistických metod pro detekce outlierů a hodnoceni kvality a přesnosti algoritmu. Výsledkem zpracování algoritmu je vektor parametrů obsahujících anomálií, který má usnadnit práci správci dat. Tento algoritmus je navřen pro rozšíření palety funkcí informačního systému (CLADE-IS) o automatické monitorování kvality dat detekcí anomálních záznamů.
|
|
|
Robustní regrese - identifikace odlehlých pozorování
Hradilová, Lenka ; Blatná, Dagmar (vedoucí práce) ; Černý, Jindřich (oponent)
Diplomová práce je zaměřena na metody identifikace odlehlých pozorování. Cílem této práce je posouzení vhodnosti využití robustních metod na reálných datech společnosti EKO-KOM, a.s. První část práce poskytuje celkový přehled a teoretický poklad, týkající se klasických a robustních metod identifikace odlehlých pozorování. Tyto metody jsou následně v praktické části aplikovány na obdržený datový soubor společnosti EKO-KOM, a.s. V závěru práce je na základě srovnání jednotlivých metod provedeno doporučení, které z metod, jsou pro analýzy dané společnosti vhodnější.
|
|
|
Stable distributions and their applications
Volchenkova, Irina ; Klebanov, Lev (vedoucí práce) ; Beneš, Viktor (oponent)
Cílem této práce je ukázat, že použití rozdělení s těžkými chvosty ve financích je teoreticky neodůvodněné a může způsobit značné nedorozumění a omyly v interpretaci modelu. Hlavním důvodem toho je nesprávná interpretace termínu chvost rozdělení. V modelech založených na skutečných datech je rozumnější zaměřit se na centrální části rozdělení a ne na jeho chvostech. Powered by TCPDF (www.tcpdf.org)
|
|
|
Robustification of statistical and econometrical regression methods
Jurczyk, Tomáš ; Víšek, Jan Ámos (vedoucí práce) ; Hlávka, Zdeněk (oponent) ; Malý, Marek (oponent)
Název práce: Robustifikace statistických a ekonometrických metod regrese Autor: Mgr. Tomáš Jurczyk Katedra: Katedra pravděpodobnosti a matematické statistiky Vedoucí disertační práce: prof. RNDr. Jan Ámos Víšek CSc., IES FSV UK Praha Abstrakt: Dva z problémů, které se mohou vyskytnout během regresní analýzy, jsou multikolinearita regresorů a přítomnost odlehlých pozorování. V této práci zkoumáme situace, kdy se v datech vyskytuje kombinace obou těchto problemů zároveň. Nejprve popíšeme, jak se v těchto případech chovají metody pro odhad regresních koeficientů navržených jen pro překonání jednoho z těchto problémů. Také prověříme funkčnost metod používanývh jako robustní detek- tory multikolinearity. Ukážeme, že navržené dvoukrokové metody (jejichž první krok je typicky založen na robustních odhadech regresních koeficientů) selhávají v odhalování odlehlých pozorování a tím pádem i multikolinearity, pokud je v nekontaminovaných datech přítomen vysoký stupeň multikolinearity. Navrhneme a představíme novou jednokrokovou metodu, která je kandidátem na robustní detektor multikolinearity a zároveň robustní hřebenovou regresi. Odvodíme její vlastnosti, popíšeme její chovaní a využití jako diagnostického...
|
|
|
Odlehlá pozorování
Kudrnáč, Vojtěch ; Zvára, Karel (vedoucí práce) ; Anděl, Jiří (oponent)
Tato práce se zabývá metodami identifikace odlehlých pozorování v jinak normálně rozděleném datovém souboru. Je zde popsáno několik významných testů a kritérií určených k tomuto účelu, Peirceovo kritérium, Chauvenetovo kritérium, Grubbsův test, Dixonův test a Cochranův test. U testů a kritérií je naznačeno jejich odvození a nakonec jsou zkoumány výsledky použití testů a kritérií na simulovaných datech s normálním rozdělením a vloženým odlehlým pozorováním. Součástí práce jsou i kódy v programovacím jazyce R s implementací těchto testů a kritérií s využitím už existujících funkcí. Powered by TCPDF (www.tcpdf.org)
|
|
|
Robust Regression Estimators: A Comparison of Prediction Performance
Kalina, Jan ; Peštová, Barbora
Regression represents an important methodology for solving numerous tasks of applied econometrics. This paper is devoted to robust estimators of parameters of a linear regression model, which are preferable whenever the data contain or are believed to contain outlying measurements (outliers). While various robust regression estimators are nowadays available in standard statistical packages, the question remains how to choose the most suitable regression method for a particular data set. This paper aims at comparing various regression methods on various data sets. First, the prediction performance of common robust regression estimators are compared on a set of 24 real data sets from public repositories. Further, the results are used as input for a metalearning study over 9 selected features of individual data sets. On the whole, the least trimmed squares turns out to be superior to the least squares or M-estimators in the majority of the data sets, while the process of metalearning does not succeed in a reliable prediction of the most suitable estimator for a given data set.
|
host ::
RSS.