|
| |
|
|
Jazykové modelování pro němčinu
Tlustý, Marek ; Bojar, Ondřej (vedoucí práce) ; Hana, Jiří (oponent)
Práce se zabývá jazykovým modelováním pro němčinu. Soustředí se na specifika německé gramatiky, která činí běžným n-gramovým modelům problémy. Nejprve popisuje statistické metody jazykového modelování a vysvětluje problematické jevy němčiny. Následně navrhuje vlastní varianty n-gramových jazykových modelů s cílem tyto problémy zlepšit. Vlastní modely jsou trénovány jednak jako standardní n-gramové, a jednak také metodou maximální entropie s n-gramovými rysy. Oba typy jsou vždy porovnány z hlediska korelace ručně hodnocené plynulosti vět a automatického hodnocení - perplexity. Srovnány jsou zároveň výpočetní nároky. Dále je navrhnuta množina vlastních rysů reprezentující počet gramatických chyb vybraných jevů. Úspěšnost se ověřuje na schopnosti predikovat ručně hodnocenou plynulost. Využito je modelů maximální entropie a vlastních modelů klasifikujících jen na základě mediánů hodnot rysů vypočtených z trénovacích dat.
|
|
|
Využití syntaxe v metodách pro vyhledávání informací
Straková, Jana
Název práce: Využití syntaxe v metodách pro vyhledávání informací Autor: Bc. Jana Kravalová Katedra (ústav): Ústav formální a aplikované lingvistiky Vedoucí diplomové práce: Mgr. Pavel Pecina, Ph.D. e-mail vedoucího: pecina@ufal.mff.cuni.cz Abstrakt: V posledních letech výzkumu v oblasti vyhledávání informací je věnována značná pozornost metodám založeným na jazykovém modelování. I přesto, že tento přístup dovoluje použití libovolného jazykového modelu, většina publikovaných experimentů byla prováděna s klasickým n-gramovým modelem (mnohdy pouze s unigramovým modelem). Cílem diplomové práce je navrhnout, implementovat a vyhodnotit (na českých datech) metodu, která by pravděpodobnostní model obohatila o použití syntaktické informace získané automaticky (strojově\) z dokumentů i dotazů. V předkládané práci se pokusíme vhodným způsobem zavést syntaktickou informaci do jazykových modelů a ex- perimentálně srovnáme navržený přístup s výsledky unigramového a bigramo- vého povrchového modelu. Kromě využití syntaktické informace se zaměříme také na vliv vyhlazování, stemmingu, lemmatizace, použití stopwords a me- tody rozšiřování dotazů - pseudo relevance feedback. Provedeme také detailní analýzu použitých systémů vyhledávání informace a podrobně popíšeme jejich vlastnosti. Experimenty budou prováděny na...
|
|
|
Jazykové modelování pro němčinu
Tlustý, Marek ; Bojar, Ondřej (vedoucí práce) ; Hana, Jiří (oponent)
Práce se zabývá jazykovým modelováním pro němčinu. Soustředí se na specifika německé gramatiky, která činí běžným n-gramovým modelům problémy. Nejprve popisuje statistické metody jazykového modelování a vysvětluje problematické jevy němčiny. Následně navrhuje vlastní varianty n-gramových jazykových modelů s cílem tyto problémy zlepšit. Vlastní modely jsou trénovány jednak jako standardní n-gramové, a jednak také metodou maximální entropie s n-gramovými rysy. Oba typy jsou vždy porovnány z hlediska korelace ručně hodnocené plynulosti vět a automatického hodnocení - perplexity. Srovnány jsou zároveň výpočetní nároky. Dále je navrhnuta množina vlastních rysů reprezentující počet gramatických chyb vybraných jevů. Úspěšnost se ověřuje na schopnosti predikovat ručně hodnocenou plynulost. Využito je modelů maximální entropie a vlastních modelů klasifikujících jen na základě mediánů hodnot rysů vypočtených z trénovacích dat.
|
|
|
Využití syntaxe v metodách pro vyhledávání informací
Straková, Jana
Název práce: Využití syntaxe v metodách pro vyhledávání informací Autor: Bc. Jana Kravalová Katedra (ústav): Ústav formální a aplikované lingvistiky Vedoucí diplomové práce: Mgr. Pavel Pecina, Ph.D. e-mail vedoucího: pecina@ufal.mff.cuni.cz Abstrakt: V posledních letech výzkumu v oblasti vyhledávání informací je věnována značná pozornost metodám založeným na jazykovém modelování. I přesto, že tento přístup dovoluje použití libovolného jazykového modelu, většina publikovaných experimentů byla prováděna s klasickým n-gramovým modelem (mnohdy pouze s unigramovým modelem). Cílem diplomové práce je navrhnout, implementovat a vyhodnotit (na českých datech) metodu, která by pravděpodobnostní model obohatila o použití syntaktické informace získané automaticky (strojově\) z dokumentů i dotazů. V předkládané práci se pokusíme vhodným způsobem zavést syntaktickou informaci do jazykových modelů a ex- perimentálně srovnáme navržený přístup s výsledky unigramového a bigramo- vého povrchového modelu. Kromě využití syntaktické informace se zaměříme také na vliv vyhlazování, stemmingu, lemmatizace, použití stopwords a me- tody rozšiřování dotazů - pseudo relevance feedback. Provedeme také detailní analýzu použitých systémů vyhledávání informace a podrobně popíšeme jejich vlastnosti. Experimenty budou prováděny na...
|
|
|
ChatBot založený na jazykovém modelování
Radvanský, Matěj ; Szőke, Igor (oponent) ; Skála, František (vedoucí práce)
Tato práce řeší využití jazykového modelování v chatbotovi pomocí neuronových sítí. Tento problém je řešen tak, že pomocí zpracování přirozeného jazyka je při vytváření odpovědi na uživatelskou zprávu prvně zpráva analyzována. Poté jsou vytvořeny počátky vět odpovědi, které jsou doplněny výstupem neuronové sítě. Dohromady tyto věty tvoří odpověď chatbota. Proběhlo porovnání s existujícím chatbotem Cleverbotem a byla zjišťována míra inteligence obou chatbotů, na jejichž základě jsou uvedeny možnosti dalšího vývoje.
|
|
| |
host ::
RSS.