|
|
Akcelerace neuronové sítě pro jazykové modelování
Labaš, Dominik ; Černocký, Jan (oponent) ; Beneš, Karel (vedoucí práce)
Táto práca sa zaoberá akceleráciou neurónovej siete pre jazykové modelovanie. Cieľom práce je optimalizovať model doprednej neurónovej siete. Pri urýchľovaní neurónovej siete sme využili zmenu aktivačnej funkcie, predpočítanie matíc pre výpočet skrytej vrstvy, implementáciu cache histórie modelu a odstránenie normalizácie. Model s najlepšími výsledkami bol zrýchlený o 75.3\%.
|
|
|
Využití neanotovaných dat pro trénování OCR
Buchal, Petr ; Dobeš, Petr (oponent) ; Hradiš, Michal (vedoucí práce)
Vytvoření kvalitního systému rozpoznání textu (OCR) vyžaduje velké množství anotovaných dat. Získání, potažmo vytvoření anotací je nákladný proces. Tato práce se zabývá několika způsoby efektivního využití neanotovaných dat pro trénování OCR neuronové sítě. Navržené metody využívající neanotovaná data spadají do kategorie self-training algoritmů. Obecný postup navržených metod se dá sumarizovat tak, že nejprve je na omezeném množství anotovaných dat natrénován počáteční model neuronové sítě. Ten je následně spolu s jazykovým modelem použit k vygenerování pseudo-štítků neanotovaných dat. Takto strojově anotovaná data jsou zkombinována s trénovacími daty, která byla použita k vytvoření počátečního modelu a následně jsou využita k natrénování cílového modelu. Úspěšnost jednotlivých metod je měřena na ručně psaném ICFHR 2014 Bentham datasetu. Experimenty byly provedeny na dvou datových sadách, které reprezentují různou míru dostupnosti anotovaných dat. Nejlepší model trénovaný na malé datové sadě dosahuje 3.70 CER [%], což je relativní zlepšení o 42 % oproti počátečnímu modelu trénovanému pouze na anotovaných datech a nejlepší model trénovaný na velké datové sadě dosahuje 1.90 CER [%], což je relativní zlepšení o 26 % oproti počátečnímu modelu. Za pomocí navržených metod lze efektivně zvýšit úspěšnost OCR s využitím neanotovaných dat.
|
|
|
Dynamický dekodér pro rozpoznávání řeči
Veselý, Michal ; Glembek, Ondřej (oponent) ; Schwarz, Petr (vedoucí práce)
Výstupem této práce je funkční a značně optimalizovaná implementace dynamického dekodéru, která funguje na principu dynamického generování rozpoznávací sítě a dekódování modifikovaným algoritmem Token Passing. Implementované řešení poskytuje srovnatelné výsledky se vzorovým statickým dekodérem z BSCORE (API firmy Phonexia), přičemž přináší výraznou paměťovou úsporu, která umožňuje využití více komplexních jazykových modelů a usnadňuje integraci do mobilních zařízení či dynamické přidávání nových slov do rozpoznávače.
|
|
|
Napovídač textu pomocí neuronové sítě v prohlížeči
Kubík, Ján Jakub ; Zemčík, Pavel (oponent) ; Kolář, Martin (vedoucí práce)
Cieľom tejto práce je vytvoriť a natrénovať neurónovú sieť, ktorá sa následne bude používať v internetovom prehliadači pre napovedanie sekvencií anglických slov v priebehu písania textu používateľom. Zámerom je zjednodušenie písania častých slovných obratov. Zvolený problém je vyriešený pomocou rekurentnej neurónovej siete schopnej predpovedať textové sekvencie zo vstupného textu. Natrénovaná neurónová sieť je použitá v rozšírení pre prehliadač Google Chrome. Na základe normalizovaného výstupu neurónovej siete, následného výberu tokenov pomocou samplovacieho dekódovacieho algoritmu a ich spájaním je rozšírenie schopné generovať sekvencie anglických slov, ktoré sú zobrazované používateľovi ako navrhovaný text. Výsledná neurónová sieť je optimalizovaná pomocou výberu vhodného počtu rekurentných vrstiev a neurónov v jednotlivých vrstvách, stratovej funkcie a počtu trénovacích epôch. Prínosom tejto práce je použitie neurónovej siete na predpovedanie sekvencií anglických slov v prehliadači, ktoré zjednodušuje menej zdatným používateľom každodennú prácu s písaním textu na internete.
|
|
|
Modelování dynamiky prosodie pro rozpoznávání řečníka
Jančík, Zdeněk ; Fapšo, Michal (oponent) ; Matějka, Pavel (vedoucí práce)
V současných systémech pro rozpoznání mluvčího se zpravidla využívají krátkodobé akustické příznaky. Jiné příznaky se používají jen zřídka. V práci se zaměřím na prosodické příznaky získané z průběhu základního tónu a energie. Tyto příznaky modelují průběh základního tónu v jednotlivých fonémech nebo slabikách. Z literatury je známo, že systémy založené na prosodii neposkytují tak dobré výsledky jako akustické, ale spojením akustického systému a systému založeného na prosodii se dosáhne značného zlepšení výsledků. To ověřím spojením s akustickým systémem vyvinutým na VUT. Při experimentech použiji data z evaluací pořádaných Národním úřadem pro standardy a technologie (NIST).
|
|
|
STATISTICAL LANGUAGE MODELS BASED ON NEURAL NETWORKS
Mikolov, Tomáš ; Zweig, Geoffrey (oponent) ; Hajič,, Jan (oponent) ; Černocký, Jan (vedoucí práce)
Statistical language models are crucial part of many successful applications, such as automatic speech recognition and statistical machine translation (for example well-known Google Translate). Traditional techniques for estimating these models are based on Ngram counts. Despite known weaknesses of N-grams and huge efforts of research communities across many fields (speech recognition, machine translation, neuroscience, artificial intelligence, natural language processing, data compression, psychology etc.), N-grams remained basically the state-of-the-art. The goal of this thesis is to present various architectures of language models that are based on artificial neural networks. Although these models are computationally more expensive than N-gram models, with the presented techniques it is possible to apply them to state-of-the-art systems efficiently. Achieved reductions of word error rate of speech recognition systems are up to 20%, against stateof-the-art N-gram model. The presented recurrent neural network based model achieves the best published performance on well-known Penn Treebank setup.
|
|
|
Czech-English Translation
Petrželka, Jiří ; Schmidt, Marek (oponent) ; Smrž, Pavel (vedoucí práce)
This Master's thesis describes the principles of statistical machine translation and demonstrates how to assemble the Moses statistical machine translation system. In the preparation step, a research on freely available bilingual Czech-English corpora is done. An empirical analysis of time requirements of multithreaded word alignment tools demonstrates that MGIZA++ can achieve a five-fold speed-up, while PGIZA++ can reach an eight-fold speed-up (compared to GIZA++).Three scenarios of morphological pre-processing of Czech training data are tested, using simple unfactored models. While pure lemmatization can aggravate the BLEU, more sophisticated approaches usually raise BLEU. The positive effect of morphological pre-processing diminishes as corpus size rises. The relation between other corpora characteristics (size, genre, extra data) and the resulting BLEU are empirically gauged. A final system is trained on the CzEng 0.9 corpus and evaluated on the testing set from WMT 2010 workshop.
|
|
|
Analýza videozáznamov správ z oblasti finančných trhov
Mikula, Michal
Tato práce se zabývá analýzou videozáznamu zpráv z oblasti finančních trhů. Mnoho médií z finanční sféry stále frekventovaněji zveřejňuje informace prostřednictvím videa, či dokonce tento formát v některých případech upřednostňuje. Manuální analýza těchto videozáznamů je časově velmi náročná. Práce se proto zabývá vytvořením nástroje umožňujícího jejich automatickou analýzu. V práci jsou řešeny dvě hlavní oblasti. První oblastí je automatické rozpoznávání řeči pro získávání přepisů videí a druhou oblastí je zpracování přirozeného jazyka pro provedení textové analýzy daného videa. Textová analýza přepisu videa v sobě zahrnuje analýzu sentimentu, textovou sumarizaci a extrakci klíčových frází.
|
|
|
Uspořádání fragmentů textu s pomocí jazykového modelu
Holubec, Michael ; Kocour, Martin (oponent) ; Beneš, Karel (vedoucí práce)
Cílem této práce je sestrojit a experimentálně ověřit účinnost jazykového modelu při identifikaci posloupnosti čtení (Reading Order). K tomuto účelu byl sestrojen jazykový model využívající rekurentní neuronovou síť LSTM. Práce dále navrhuje a implementuje celkem tři metody, jazykovou analýzu, prostorovou analýzu a kombinovanou analýzu, pomocí kterých je posloupnost čtení identifikována. Jazyková a kombinovaná analýza ke své činnosti přímo používají vytvořený jazykový model. Úspěšnost identifikace posloupnosti prostřednictvím všech tří metod byla změřena na třech datasetech obsahující novinové články s různým rozložením. Jazyková analýza dosahuje úspěšnosti 57,6 %, prostorová analýza dosahuje 91,6 %. Nejlepších výsledků dosahuje kombinovaná analýza, která vykazuje úspěšnost 92,9 %. Práce ukazuje, že jazykový model lze pro identifikaci posloupnosti čtení použít, avšak výsledky experimentů naznačují, že je vhodné zpracování odhadu posloupnosti doplnit o další informace, jako je to například v kombinované analýze, která pracuje jak s jazykovým modelem, tak s prostorovými informacemi.
|
|
|
Adaptace jazykového modelu na cílovou doménu využívající stahování veřejných dat
Gregušová, Sabína ; Švec, Ján (oponent) ; Karafiát, Martin (vedoucí práce)
Cieľom práce je implementovať systém pre automatickú adaptáciu jazykového modelu pre Phonexia ASR systém. Systém prijíma vstupný súbor, ktorý analyzuje a vyberie vhodné výrazy pre webové vyhľadávanie. Každé webové vyhľadávanie prináša množinu dokumentov, ktoré podstupujú čistenie a filtrovanie. Výsledný webový korpus sa zmieša s Phonexia modelom a vykoná sa evaluácia. Pre odhad optimálnych parametrov boli vykonané viaceré experimenty pre hindštinu, češtinu a mandarínsku čínštinu. Výsledky experimentov boli pozitívne a implementovaný systém bol schopný znížiť perplexitu a Word Error Rate vo väčšine experimentov.
|
host ::
RSS.