Original title: On the Estimation of Mutual Information
Translated title: O odhadu vzájemné informace
Authors: Marek, Tomáš ; Tichavský, Petr
Document type: Papers
Conference/Event: ROBUST 2008. Letní škola JČMF /15./, Pribylina (SK), 2008-09-08 / 2008-09-12
Year: 2009
Language: eng
Abstract: [eng] [cze]
The mutual information is useful measure of a random vector component dependence. It is important in many technical applications. The estimation methods are often based on the well known relation between the mutual information and the appropriate entropies. In 1999 Darbellay and Vajda proposed a direct estimation methods. In this paper we compare some available estimation methods using different 2-D random distributions. Vzájemná informace je hojně užívanou mírou vzájemné závislosti jednotlivých složek vícerozměrných náhodných vektorů. Časté uplatnění nachází především v inženýrských aplikacích. Metody odhadu vzájemné informace většinou vychází ze známého vztahu mezi vzájemnou informací a entropiemi příslušných rozdělení, ale vzájemnou informaci je možné odhadnout také přímo. Na příkladech různých typů dvojrozměrných rozdělení srovnáme některé dostupné metody odhadu vzájemné informace.
Keywords: adaptive histogram; mutual information; redundancy
Project no.: CEZ:AV0Z10750506 (CEP), 1M0572 (CEP)
Funding provider: GA MŠk
Host item entry: ROBUST 2008, ISBN 978-80-7015-004-7

Institution: Institute of Information Theory and Automation AS ČR (web)
Document availability information: Fulltext is available at external website.
External URL: http://library.utia.cas.cz/separaty/2009/SI/marek-on the estimation of mutual information.pdf
Original record: http://hdl.handle.net/11104/0175693

Permalink: http://www.nusl.cz/ntk/nusl-40492


The record appears in these collections:
Research > Institutes ASCR > Institute of Information Theory and Automation
Conference materials > Papers