|
|
Speech-Informed Inverse Text Normalization
Stankov, Vladislav ; Bojar, Ondřej (vedoucí práce) ; Plátek, Ondřej (oponent)
V oblasti automatického rozpoznávání řeči (ASR) se po rozpoznání řeči používá in- verzní normalizace textu (ITN), která transformuje rozpoznaný verbalizovaný text do písemné podoby. Tento proces může zahrnovat převod verbalizovaných čísel na číslice, formátování dat, peněžních částek a aplikaci správné kapitalizace a vkládání interpunkce. Vzhledem k tomu, že ITN systémy se používají pro zpracování výstupů ASR, je také možné do ITN systému integrovat původní zvukový vstup jako další signál. V této diplo- mové práci zkoumáme vliv zvukového signálu na výkonnost neuronových ITN modelů a vytváříme datovou sadu pro trénování a vyhodnocování ITN modelů používajících řeč. Náš nejlepší model vykazuje výrazné zlepšení přesnosti a úplnosti při vkládání teček, čárek a otazníků, stejně jako při přidávání velkých písmen ve srovnání s výchozím modelem, který pracuje pouze s textem. Pozorujeme také zlepšení u méně častých interpunkčních znamének, i když toto zlepšení není statisticky významné. 1
|
|
|
Self-Supervised Summarization via Reinforcement Learning
Kripner, Matěj ; Bojar, Ondřej (vedoucí práce) ; Straka, Milan (oponent)
Sumarizační modely v kontextu hlubokého učení jsou tradičně trénovány metodou ma- ximální věrohodnosti s použitím referenčních souhrnů. Aktivní je také výzkum v oblasti učení s vlastním dohledem (self-supervised), kde reference nejsou vyžadovány a výsledné modely jimi nejsou limitovány. Na tento výzkum navazujeme v této práci návrhem nové funkce odměn (reward function), která hodnotí kvalitu jednotlivých tokenů souhrnu. Tuto funkci pak aplikujeme ve zpětnovazebním učení. Celou trénovací logiku implementujeme modulárně, kdy nezávisle na sobě vyhodnocujeme a ladíme modul učení s učitelem, al- goritmus zpětnovazebního učení a funkci odměn. Stejně tak ladíme i výsledný program po propojení těchto komponent. Výsledné modely vyhodnocujeme na 12 automatických a 3 manuálních metrikách. V téměř všech případech náš přístup zlepšil skóre na metrikách nevyžadujících referenční souhrn (reference-free). 1
|
|
|
Multi-Source Simultaneous Speech Translation
Macháček, Dominik ; Bojar, Ondřej (vedoucí práce) ; Yvon, Francois (oponent) ; Niehues, Jan (oponent)
Neuronový strojový překlad má schopnost překládat z několika paralelních vstupů v různých jazycích. Kvalita současného automatického simultánního překladu řeči trpí zejména když je zdroj zašumněný. Zkoumáme možnost využití více paralelních řečových signálů - originál a simultánní tlumočení - jako zdroje překladu s cílem dosáhnout vyšší kvality. Proto jsme vytvořili evaluační dataset ESIC (Europarl Simultaneous Interpreting Corpus). Dále analyzujeme aspekty simultánního tlumočení jako doplňkového paralel- ního zdroje. Poté zkoumáme odolnost vícezdrojového překladu proti chybám v přepisu a hodnotíme spolehlivost metrik strojového překladu na hodnocení simultánního překladu řeči. V neposlední řadě implementujeme Whisper-Streaming, nástroj na simultánní re- žim velkých offline modelů pro převod z řeči na text, který demonstruje současný stav poznání. 1
|
|
|
Algonauts challenge 2023: predicting human fMRI activity in response to visual stimulation
Petliak, Nataliia ; Antolík, Ján (vedoucí práce) ; Bojar, Ondřej (oponent)
V této diplomové práci zkoumáme využití předtrénovaných hlubokých neuronových sítí, zejména Vision Transformers (ViT), pro predikce lidské fMRI aktivity při stimu- laci vizuálními stimuli. Dataset z Algonauts Challenge 2023, která slouží jako rozsáhlý standard pro data fMRI lidského mozku, nám umožňuje hodnotit výkon ViT ve srovnání s etablovanými architekturami CNN, jako jsou VGG a ResNet. Naše studie zdůrazňuje složitost tohoto úkolu, zejména při přesném modelování různorodých oblastí celé vizuální kůry. Identifikujeme konkrétní vrstvy ViT, které jsou v souladu s hierarchickým zpra- cováním mozku a ukazují se jako nejpředpovědnější. Jedním z omezení, na které jsme narazili u předtrénovaného ViT, je jeho snížená adaptabilita kvůli vrozené variabilitě subjektů. Toto omezení zdůrazňuje výzvu ve vývoji jediného modelu, který je univer- zálně účinný pro různé jedince. Abychom toto řešili, implementujeme iterativní strategii trénování, začínající vrstvami, které fungují nejlépe napříč všemi subjekty, následované jemným laděním pro specifické vizuální oblasti jednotlivých subjektů. Navzdory těmto snahám se účinnost ViT liší; u některých subjektů dosahuje uspokojivých výsledků, ale u jiných se potýká, zejména ve word-selectivnich oblastech. Přidání textových dat ke vstupu vede ke zlepšení výkonu modelu v...
|
|
| |
|
|
Learning capabilities in Transformer Neural Networks
Variš, Dušan ; Bojar, Ondřej (vedoucí práce) ; Sennrich, Rico (oponent) ; Dušek, Ondřej (oponent)
Název práce: Schopnosti učení neuronových sítí Transformer Autor: Dušan Variš Katedra: Ústav formální a aplikované lingvistiky Vedoucí práce: doc. RNDr. Ondřej Bojar, Ph.D., Ústav formální a aplikované lingvistiky Abstrakt: Přestože současné neuronové sítě, inspirované biologickými neurony, byly v posled- ních letech schopny dosáhnout lidské úrovně na mnoha úlohách, proces jejich op- timalizace (učení) je stále velmi odlišný od procesů pozorovaných u lidí. Tato práce zkoumá různé aspekty učení současných neuronových sítí Transformer, převláda- jící architektury pro zpracování přirozeného jazyka. V první části zkoumáme úro- veň generalizace v Transformerech pomocí analytických experimentů založených na myšlence adversariální evaluace. V části druhé pak zkoumáme jejich potenciál pro kontinuální učení s použitím regularizace založené na elastické konsolidaci vah. V závěru práce navrhujeme modulární rozšíření stávající sítě Transformer umožňující výběr podsítí podmíněný zpracovaným vstupem spolu s demonstrací vlastností této síťové modularizace. Naše hypotézy testujeme především v kontextu neuronového strojového překladu a vícejazyčného překladu, přičemž naměřené výsledky odhalují limity původního Transformeru i metody regularizace pomocí elastické konsolidace vah. Navíc prezentujeme slibné výsledky navržené...
|
|
|
Towards Machine Translation Based on Monolingual Texts
Kvapilíková, Ivana ; Bojar, Ondřej (vedoucí práce) ; Espana-Bonet, Cristina (oponent) ; Čmejrek, Martin (oponent)
Název: Strojový překlad na základě jednojazyčných textů Autor: Ivana Kvapilíková Ústav: Ústav aplikované a formální lingvistiky Vedoucí: doc. RNDr. Ondřej Bojar, Ph.D., Ústav aplikované a formální lingvistiky Abstrakt: Současné systémy strojového překladu (SP) jsou závislé na existenci paralelních dat, tedy textů, které byly dříve přeloženy lidmi. Tento typ dat je drahý a je dostupný pouze pro několik jazykových párů v omezených doménách. Vznikl tedy nový výzkumný směr zaměřený na navrhování modelů schopných naučit se překládat z jednojazyčných textů, které jsou výrazně dostupnější než texty paralelní, např. z internetu. I když je působivé, že takové modely překládat skutečně dokáží, kvalita jimi vyprodukovaných výstupů je pro praktické aplikace stále nedostatečná. Tato disertační práce se snaží vylepšit jejich výkonnost. Zkoumáme stávající přístupy používání jednojazyčných zdrojů k trénování překladových modelů a navrhujeme novou techniku generování pseudo-paralelních trénovacích dat uměle, bez drahého lidského vstupu. Automaticky hledáme podobné věty v jednojazyčný korpusech v různých jazycích a ukazujeme, že jejich použití v počátečních fázích trénování SP vede k...
|
|
|
Practical neural dialogue management using pretrained language models
Šafář, Jaroslav ; Dušek, Ondřej (vedoucí práce) ; Bojar, Ondřej (oponent)
Dialogové systémy zaměřené na úkoly představují výzvu vzhledem ke své složitosti a potřebě zvládnout komponenty, jako porozumění jazyku, sledování stavu, výběr akcí a generování jazyka. V této práci zkoumáme zlepšení řízení dialogu pomocí předtréno- vaných jazykových modelů. Představujeme tři modely, postevané na předtrénovaných jazykových modelech, jejichž cílem je poskytnout praktický přístup k návrhu dialogových systémů schopných efektivně řešit porozumění jazyku, sledování stavu a úlohu výběru akcí. Náš model pro sledování stavu dialogu dosahuje přesnosti 74%. V úloze pro výběr akcí identifikujeme problémy ve zpracování složitých nebo vícekrokových uživatelských požadavků. Tento výzkum podtrhuje potenciál předtrénovaných jazykových modelů v dialogovém managementu a zároveň ukazuje na oblasti pro další zlepšení. 1
|
|
|
Methods of User-Assisted Summarization of Meetings
Kmječ, František ; Bojar, Ondřej (vedoucí práce) ; Kasner, Zdeněk (oponent)
Automatické zapisování schůzek je oblastí, ve které bylo za posledních několik let dosaženo velkých pokroků, zejména díky úspěchům velkých jazykových modelů. Plně automatické přístupy jsou ale pro seriózní použití stále velmi nespolehlivé. Modely halu- cinují, generují nepřesný výstup nebo opomínají důležité informace a je těžké jim plně důvěřovat. Pro překonání těchto nedostatků zavádíme nástroj Minuteman pro snadnou uživatelskou interakci se zapisovacími modely a jejich výstupy. Nástroj generuje živý transkript schůzky a iterativně tvoří její zápis, přičemž obojí ukládá do sdíleného edi- toru, aby uživatelé na tvorbě zápisků a opravách modelů mohli spolupracovat. Uvádíme popis našich experimentů s tvorbou vlastních zapisovacích modelů. Nakonec připoju- jeme vyhodnocení použití nástroje při zkušebních schůzkách a posuzujeme jeho hlavní přednosti a úskalí. 1
|
|
|
German Compounds in Transformer Models
Neumannová, Kristýna ; Bojar, Ondřej (vedoucí práce) ; Zeman, Daniel (oponent)
Němčina je známá svou velmi produktivní slovotvorbou, zejména v oblasti kompoz- ice a derivace. V této práci se zaměřujeme na německé nominální složeniny a jejich zastoupení ve výstupech strojového překladu. Navzdory jejich důležitosti v německých textech, běžně používané metriky pro hodnocení kvality překladu, jako je BLEU, ne- dokážou použití složenin dostatečně zachytit. Cílem této práce bylo zkoumat generování německých složenin v modelech typu Transformer a prozkoumat faktory, které vedou k jejich tvorbě. Zjistili jsme, že strojové překladové systémy produkují méně složenin než lidé. Také se ukázalo, že kvůli velmi produktivní povaze německých složenin není možné je identifikovat na základě fixního seznamu. I po ručním vyhledání nových kompozit jich lidské překlady obsahovaly více než strojové. Natrénovali jsme vlastní model typu Transformer pro překlad z angličtiny do němčiny, abychom to mohli zkoumat různé faktory, které ovlivňují produkci složenin, včetně seg- mentace slov a frekvence složenin v trénovacích datech. Dále jsme experimentovali s vynuceným dekódováním (forced decoding) a zjišťovali, jak se změní výstup systému po poskytnutí prvních slov překládané věty. Naše výsledky zdůrazňují důležitost dalšího výzkumu v oblasti strojového překladu, aby se byly překladové systémy schopny lépe...
|
host ::
RSS.