|
|
Uspořádání fragmentů textu s pomocí jazykového modelu
Holubec, Michael ; Kocour, Martin (oponent) ; Beneš, Karel (vedoucí práce)
Cílem této práce je sestrojit a experimentálně ověřit účinnost jazykového modelu při identifikaci posloupnosti čtení (Reading Order). K tomuto účelu byl sestrojen jazykový model využívající rekurentní neuronovou síť LSTM. Práce dále navrhuje a implementuje celkem tři metody, jazykovou analýzu, prostorovou analýzu a kombinovanou analýzu, pomocí kterých je posloupnost čtení identifikována. Jazyková a kombinovaná analýza ke své činnosti přímo používají vytvořený jazykový model. Úspěšnost identifikace posloupnosti prostřednictvím všech tří metod byla změřena na třech datasetech obsahující novinové články s různým rozložením. Jazyková analýza dosahuje úspěšnosti 57,6 %, prostorová analýza dosahuje 91,6 %. Nejlepších výsledků dosahuje kombinovaná analýza, která vykazuje úspěšnost 92,9 %. Práce ukazuje, že jazykový model lze pro identifikaci posloupnosti čtení použít, avšak výsledky experimentů naznačují, že je vhodné zpracování odhadu posloupnosti doplnit o další informace, jako je to například v kombinované analýze, která pracuje jak s jazykovým modelem, tak s prostorovými informacemi.
|
|
|
Adaptace jazykového modelu na cílovou doménu využívající stahování veřejných dat
Gregušová, Sabína ; Švec, Ján (oponent) ; Karafiát, Martin (vedoucí práce)
Cieľom práce je implementovať systém pre automatickú adaptáciu jazykového modelu pre Phonexia ASR systém. Systém prijíma vstupný súbor, ktorý analyzuje a vyberie vhodné výrazy pre webové vyhľadávanie. Každé webové vyhľadávanie prináša množinu dokumentov, ktoré podstupujú čistenie a filtrovanie. Výsledný webový korpus sa zmieša s Phonexia modelom a vykoná sa evaluácia. Pre odhad optimálnych parametrov boli vykonané viaceré experimenty pre hindštinu, češtinu a mandarínsku čínštinu. Výsledky experimentov boli pozitívne a implementovaný systém bol schopný znížiť perplexitu a Word Error Rate vo väčšine experimentov.
|
|
|
Využití neanotovaných dat pro trénování OCR
Buchal, Petr ; Dobeš, Petr (oponent) ; Hradiš, Michal (vedoucí práce)
Vytvoření kvalitního systému rozpoznání textu (OCR) vyžaduje velké množství anotovaných dat. Získání, potažmo vytvoření anotací je nákladný proces. Tato práce se zabývá několika způsoby efektivního využití neanotovaných dat pro trénování OCR neuronové sítě. Navržené metody využívající neanotovaná data spadají do kategorie self-training algoritmů. Obecný postup navržených metod se dá sumarizovat tak, že nejprve je na omezeném množství anotovaných dat natrénován počáteční model neuronové sítě. Ten je následně spolu s jazykovým modelem použit k vygenerování pseudo-štítků neanotovaných dat. Takto strojově anotovaná data jsou zkombinována s trénovacími daty, která byla použita k vytvoření počátečního modelu a následně jsou využita k natrénování cílového modelu. Úspěšnost jednotlivých metod je měřena na ručně psaném ICFHR 2014 Bentham datasetu. Experimenty byly provedeny na dvou datových sadách, které reprezentují různou míru dostupnosti anotovaných dat. Nejlepší model trénovaný na malé datové sadě dosahuje 3.70 CER [%], což je relativní zlepšení o 42 % oproti počátečnímu modelu trénovanému pouze na anotovaných datech a nejlepší model trénovaný na velké datové sadě dosahuje 1.90 CER [%], což je relativní zlepšení o 26 % oproti počátečnímu modelu. Za pomocí navržených metod lze efektivně zvýšit úspěšnost OCR s využitím neanotovaných dat.
|
|
|
Napovídač textu pomocí neuronové sítě v prohlížeči
Kubík, Ján Jakub ; Zemčík, Pavel (oponent) ; Kolář, Martin (vedoucí práce)
Cieľom tejto práce je vytvoriť a natrénovať neurónovú sieť, ktorá sa následne bude používať v internetovom prehliadači pre napovedanie sekvencií anglických slov v priebehu písania textu používateľom. Zámerom je zjednodušenie písania častých slovných obratov. Zvolený problém je vyriešený pomocou rekurentnej neurónovej siete schopnej predpovedať textové sekvencie zo vstupného textu. Natrénovaná neurónová sieť je použitá v rozšírení pre prehliadač Google Chrome. Na základe normalizovaného výstupu neurónovej siete, následného výberu tokenov pomocou samplovacieho dekódovacieho algoritmu a ich spájaním je rozšírenie schopné generovať sekvencie anglických slov, ktoré sú zobrazované používateľovi ako navrhovaný text. Výsledná neurónová sieť je optimalizovaná pomocou výberu vhodného počtu rekurentných vrstiev a neurónov v jednotlivých vrstvách, stratovej funkcie a počtu trénovacích epôch. Prínosom tejto práce je použitie neurónovej siete na predpovedanie sekvencií anglických slov v prehliadači, ktoré zjednodušuje menej zdatným používateľom každodennú prácu s písaním textu na internete.
|
|
|
Akcelerace neuronové sítě pro jazykové modelování
Labaš, Dominik ; Černocký, Jan (oponent) ; Beneš, Karel (vedoucí práce)
Táto práca sa zaoberá akceleráciou neurónovej siete pre jazykové modelovanie. Cieľom práce je optimalizovať model doprednej neurónovej siete. Pri urýchľovaní neurónovej siete sme využili zmenu aktivačnej funkcie, predpočítanie matíc pre výpočet skrytej vrstvy, implementáciu cache histórie modelu a odstránenie normalizácie. Model s najlepšími výsledkami bol zrýchlený o 75.3\%.
|
|
|
Neural Language Models with Morphology for Machine Translation
Musil, Tomáš ; Bojar, Ondřej (vedoucí práce) ; Straková, Jana (oponent)
Jazykové modely hrají důležitou roli v mnoha oblastech zpracování přirozeného jazyka. V této práci se zaměřujeme na jazykové modely tvořené umělou neuronovou sítí. Zkoumáme možnosti použití morfologické anotace v těchto modelech. Navrhujeme architekturu neuronové sítě pro jazykový model, která explicitně využívá morfologickou anotaci vstupní věty: místo slovních tvarů zpracovává lemata a tvaroslovné značky. Základní i nová metoda jsou vyhod- noceny jak samostatně pomocí perplexity, tak v kontextu strojového překladu automatickým hodnocením kvality překladu. Zatímco izolovaně nový model sig- nifikantně překonává model původní, ve strojovém překladu se zlepšení nepro- jevilo. 1
|
|
|
Dynamický dekodér pro rozpoznávání řeči
Veselý, Michal ; Glembek, Ondřej (oponent) ; Schwarz, Petr (vedoucí práce)
Výstupem této práce je funkční a značně optimalizovaná implementace dynamického dekodéru, která funguje na principu dynamického generování rozpoznávací sítě a dekódování modifikovaným algoritmem Token Passing. Implementované řešení poskytuje srovnatelné výsledky se vzorovým statickým dekodérem z BSCORE (API firmy Phonexia), přičemž přináší výraznou paměťovou úsporu, která umožňuje využití více komplexních jazykových modelů a usnadňuje integraci do mobilních zařízení či dynamické přidávání nových slov do rozpoznávače.
|
|
|
Automatický dešifrátor pro šifrovací hry
Hlásek, Filip ; Mareček, David (vedoucí práce) ; Rosa, Rudolf (oponent)
Práce se zaměřuje na substituční šifry používané při terénních šifrovacích hrách. Nejprve získáme vzorky jazyka používaného v souvisejících textech a prozkoumáme jeho zvláštnosti. Dále navrhneme jazykový model speciálně určený pro práci s omezeným množstvím dat. Poté prozkoumáme různé možnosti vyhledávání pravděpodobných řešení a předvedeme, jak je možné přímočarý algoritmus vylepšit na poměrně efektivní. Podstatnou součást celého projektu tvoří softwarové dílo, jímž je konzolová aplikace sloužící k luštění šifer. Ta je schopna kompletně vyřešit více než 15 % šifer, na kterých byla testována. Dalšího zlepšení je možné dosáhnout zadáním zeměpisných souřadnice místa, na kterém se uživatel nachází. Program pak bude hledat polohu další šifry pouze na nepříliš vzdálených místech. To umožní dešifrátoru prozkoumat více možností a docílit větší přesnosti. Powered by TCPDF (www.tcpdf.org)
|
|
|
STATISTICAL LANGUAGE MODELS BASED ON NEURAL NETWORKS
Mikolov, Tomáš ; Zweig, Geoffrey (oponent) ; Hajič,, Jan (oponent) ; Černocký, Jan (vedoucí práce)
Statistical language models are crucial part of many successful applications, such as automatic speech recognition and statistical machine translation (for example well-known Google Translate). Traditional techniques for estimating these models are based on Ngram counts. Despite known weaknesses of N-grams and huge efforts of research communities across many fields (speech recognition, machine translation, neuroscience, artificial intelligence, natural language processing, data compression, psychology etc.), N-grams remained basically the state-of-the-art. The goal of this thesis is to present various architectures of language models that are based on artificial neural networks. Although these models are computationally more expensive than N-gram models, with the presented techniques it is possible to apply them to state-of-the-art systems efficiently. Achieved reductions of word error rate of speech recognition systems are up to 20%, against stateof-the-art N-gram model. The presented recurrent neural network based model achieves the best published performance on well-known Penn Treebank setup.
|
|
|
Rychlý a přesný detektor klíčových slov
Lenčéš, Marián ; Karafiát, Martin (oponent) ; Schwarz, Petr (vedoucí práce)
Tato práce se zabývá rychlou a přesnou detekcí klíčových slov z audio nahrávek. Cílem práce bylo prostudovat možnosti detekce slov a vytvořit několik typů jazykových modelů. Tyto modely následně mezi sebou porovnat. Zaměřujeme se zde na detekci klíčových slov z anglicky namluvených audio nahrávek.
|
host ::
RSS.