|
|
Míry kvality klasifikačních modelů a jejich převod
Hanusek, Lubomír ; Hebák, Petr (vedoucí práce) ; Řezanková, Hana (oponent) ; Skalská, Hana (oponent)
Prediktivní sílu klasifikačních modelů lze vyhodnotit různými ukazateli. V oblasti data miningu (dále DM) se nejvíce využívají míry Giniho koeficient, Kolmogorovova-Smirnovova statistika a lift. Tyto míry jsou založeny na zcela rozdílném způsobu výpočtu a je-li analytik zvyklý používat jednu z těchto měr, může být pro něj těžké udělat si představu o kvalitě modelu vyhodnoceném jinou mírou. Tato práce si klade za cíl nalézt mezi jednotlivými mírami převodní mechanismus. Přestože hlavní důraz je kladen na tři výše uvedené míry, práce se zabývá i dalšími ukazateli, a to sensitivitou, specificitou, celkovou správností a plochou pod ROC křivkou. Při vývoji DM modelů často vzniká potřeba pracovat nikoli s původním základním souborem o rozsahu miliónů či desítek miliónů pozorování, ale s výběrem, který je stratifikovaný dle hodnot vysvětlované proměnné Y. Vyhodnotí-li se pak model na stratifikovaných datech, vzniká potřeba vědět, jak se jednotlivé míry změní při přepočtu na základní soubor. Tato práce popisuje způsob, jak tento převod uskutečnit. Součástí této práce je i softwarová aplikace, která výše uvedené převody umožňuje. S její pomocí lze nejen převádět jednu míru kvality na druhou, ale také převádět míry získané na stratifikovaném souboru na soubor základní. Výstupem této aplikace je vedle požadovaných měr (sensitivita, specificita, celková správnost, Giniho koeficient, Kolmogorovova-Smirnovova statistika) také konfuzní matice a grafy kvality (lift křivka, gains křivka, ROC křivka a KS křivka). Internetová adresa, kde lze aplikaci stáhnout, a také uživatelský manuál k této aplikaci jsou součástí této práce. Veškerá teorie popsaná v této práci byla ověřena na reálných datových souborech.
|
host ::
RSS.