Original title: Evaluating Stability of Single and Multiple Feature Selectors that Optimize Feature Subset Cardinality
Translated title: Vyhodnocení stability jednotlivých metod i skupin metod výběru příznaků, který optimalizují kardinalitu podmnožiny příznaků
Authors: Somol, Petr ; Novovičová, Jana
Document type: Research reports
Year: 2009
Language: eng
Series: Research Report, volume: 2251
Abstract: [eng] [cze]
Stability (robustness) of feature selection methods is a topic of recent interest yet often neglected importance with direct impact on the reliability of machine learning systems. We investigate the problem of evaluating the stability of feature selection processes yielding subsets of varying size. We introduce several novel feature selection stability measures and adjust some existing measures in a unifying framework that offers broad insight into the stability problem. We study in detail the properties of considered measures and demonstrate on various examples what information about the feature selection process can be gained. We also introduce an alternative approach to feature selection evaluation in form of measures that enable comparing the similarity of two feature selection processes. These measures enable comparing, e.g., the output of two feature selection methods or two runs of one method with different parameters. The information obtained using the considered stability and similarity measures is shown usable for assessing feature selection methods (or criteria) as such Stabilita (robustnost) metod výběru příznaků je jedno z aktuálních témat diskutovaných v současné době, neboť má vliv na spolehlivost systémů strojového učení. Byly navrženy nové míry stability procesu výběru příznaků, které vyhodnocují celkový výskyt jednotlivých příznaků ve vybraných podmnožinách příznaků ne nutně stejné kardinality. Podrobně jsou studovány vlastnosti uvažovaných měr a na mnoha příkladech demonstrováno, jaké informace je možné získat o procesu výběru příznaků. V práci je také uvažován alternativní přístup k vyhodnocování výběru příznaků pomocí měr, které umožňují porovnat podobnost dvou procesů výběru příznaků
Keywords: consistency measure; feature selection; feature selection evaluation; feature subset size optimization; floating search; individual ranking; sequential search; stability measure
Project no.: CEZ:AV0Z10750506 (CEP), GA102/07/1594 (CEP), GA102/08/0593 (CEP), 2C06019 (CEP), 1M0572 (CEP)
Funding provider: GA ČR, GA ČR, GA MŠk, GA MŠk

Institution: Institute of Information Theory and Automation AS ČR (web)
Document availability information: Fulltext is available at the institute of the Academy of Sciences.
Original record: http://hdl.handle.net/11104/0172988

Permalink: http://www.nusl.cz/ntk/nusl-40280


The record appears in these collections:
Research > Institutes ASCR > Institute of Information Theory and Automation
Reports > Research reports