|
|
Financování projektů z Fondu soudržnosti
Jurenková, Eva ; Dušek, Ondřej (oponent) ; Koleňák, Jiří (vedoucí práce)
Bakalářská práce řeší problematiku čerpání dotací z Fondu soudržnosti prostřednictvím Operačního programu Životní prostředí a zaměřuje se především na první prioritní osu tohoto operačního programu. Cílem této práce je zpracování modelové žádosti o dotaci na projekt výstavby kanalizace a čistírny odpadních vod v obci Sloupnice.
|
|
| |
|
| |
|
|
Low-resource methods for dialogue systems applications
Hudeček, Vojtěch ; Dušek, Ondřej (vedoucí práce) ; Skantze, Gabriel (oponent) ; Schwarz, Petr (oponent)
Tato práce se zaměřuje na vývoj a zdokonalování návrhu tzv. task-oriented dialogových systémů v rychle se rozvíjejícím prostředí výzkumu umělé inteligence a zpracování přirozeného jazyka. Navrhujeme techniky, které mohou podstatně snížit náklady na vývoj a nasazení těchto systémů, což je motivováno snahou o jejich větší přizpůsobivost a škálovatelnost. V práci představujeme několik nových přístupů k dosažení těchto cílů. Nejdříve představujeme automatickou metodu anotace dat, která dokáže extrahovat sadu sémanticky koherentních konceptů (dialogových slotů) z prostého přepisu zaznamenaných konverzací. Tímto přístupem snižujeme množství manuální anotace potřebné pro porozumění přirozenému jazyku v dané doméně a výrazně tak zefektivňujeme proces vývoje. Zkoumáme také modely využívající latentní proměnné v modelování task-oriented dialogových systémů. Tato oblast je do značné míry neprobádána. Modely využívající latentní proměnné nabízejí možnost využití neanotovaných dat s potenciálem odhalit strukturu vzorců chování pozorovaných v dialogu. Toho lze dosáhnout prostřednictvím analýzy latentního prostoru a porovnání s akcemi provedenými modelem. Dále zkoumáme potenciál těchto modelů pro vytváření hierarchických reprezentací pomocí námi navržené architektury. V návaznosti na nedávný pokrok v této oblasti také...
|
|
|
Learning capabilities in Transformer Neural Networks
Variš, Dušan ; Bojar, Ondřej (vedoucí práce) ; Sennrich, Rico (oponent) ; Dušek, Ondřej (oponent)
Název práce: Schopnosti učení neuronových sítí Transformer Autor: Dušan Variš Katedra: Ústav formální a aplikované lingvistiky Vedoucí práce: doc. RNDr. Ondřej Bojar, Ph.D., Ústav formální a aplikované lingvistiky Abstrakt: Přestože současné neuronové sítě, inspirované biologickými neurony, byly v posled- ních letech schopny dosáhnout lidské úrovně na mnoha úlohách, proces jejich op- timalizace (učení) je stále velmi odlišný od procesů pozorovaných u lidí. Tato práce zkoumá různé aspekty učení současných neuronových sítí Transformer, převláda- jící architektury pro zpracování přirozeného jazyka. V první části zkoumáme úro- veň generalizace v Transformerech pomocí analytických experimentů založených na myšlence adversariální evaluace. V části druhé pak zkoumáme jejich potenciál pro kontinuální učení s použitím regularizace založené na elastické konsolidaci vah. V závěru práce navrhujeme modulární rozšíření stávající sítě Transformer umožňující výběr podsítí podmíněný zpracovaným vstupem spolu s demonstrací vlastností této síťové modularizace. Naše hypotézy testujeme především v kontextu neuronového strojového překladu a vícejazyčného překladu, přičemž naměřené výsledky odhalují limity původního Transformeru i metody regularizace pomocí elastické konsolidace vah. Navíc prezentujeme slibné výsledky navržené...
|
|
|
Practical neural dialogue management using pretrained language models
Šafář, Jaroslav ; Dušek, Ondřej (vedoucí práce) ; Bojar, Ondřej (oponent)
Dialogové systémy zaměřené na úkoly představují výzvu vzhledem ke své složitosti a potřebě zvládnout komponenty, jako porozumění jazyku, sledování stavu, výběr akcí a generování jazyka. V této práci zkoumáme zlepšení řízení dialogu pomocí předtréno- vaných jazykových modelů. Představujeme tři modely, postevané na předtrénovaných jazykových modelech, jejichž cílem je poskytnout praktický přístup k návrhu dialogových systémů schopných efektivně řešit porozumění jazyku, sledování stavu a úlohu výběru akcí. Náš model pro sledování stavu dialogu dosahuje přesnosti 74%. V úloze pro výběr akcí identifikujeme problémy ve zpracování složitých nebo vícekrokových uživatelských požadavků. Tento výzkum podtrhuje potenciál předtrénovaných jazykových modelů v dialogovém managementu a zároveň ukazuje na oblasti pro další zlepšení. 1
|
|
|
Data-to-text generation with text-editing models
Grajcar, Peter ; Dušek, Ondřej (vedoucí práce) ; Variš, Dušan (oponent)
Skúmame použitie rôznych rozšírení modelu FELIX, neurónovej sieti na úpravu textu založenej na transformeroch, pre generovanie textu z dát. Náš prístup je založený na iteratívnom editovaní textu - transformovaní jednotli- vých vstupných dát do krátkych viet pomocou jednoduchých šablón a násled- nom iteratívnom zlepšovaní textu zlúčením viet pomocou modelu na úpravu textu. Naše rozšírenia zahŕňajú nahradenie neautoregresívneho dekodéra mo- delu FELIX autoregresívnym transformérovým dekodérom, rozšírenie dekó- dovania tak, aby bolo možné zachovať vstupné dáta vo výstupnom texte a pridanie mechanizmu na reorganizáciu klauzí založeného na tzv. pointer ne- tworks. Ďalej navrhujeme vlastné nové verzie datasetov WebNLG a Disco- Fuse pre trénovanie modelov na úpravu textu. Naše modely vyhodnocujeme na datasete WebNLG pomocou automatických metrík a manuálne analyzu- jeme výstupy vybraných modelov.
|
|
|
Gender stereotypes in neural sentence representations
Al Ali, Adnan ; Libovický, Jindřich (vedoucí práce) ; Dušek, Ondřej (oponent)
V posledných rokoch zasznamenali neurónové siete prudký nárast popularity v oblasti spracovania prirodzeného jazyka. Konzistentne prekonávajú tradičné metódy a vyžadujú menej ľudskej práce na zdokonaľovanie, nakoľko sú trénované bez učiteľa na rozsiahlych textových korpusoch. Tieto korpusy však môžu obsahovať nechcené javy, akými sú pred- sudky. V práci skúmame viacero modelov, s dôrazom najmä na český monolinguálny mo- del - RobeCzech. V prvej časti práce predstavujeme nástroj na dynamický benchmarking slúžiaci na identifikáciu rodových stereotypov v jazykovom modeli. Následne tento nástroj predkladáme skupine anotátorstva, čím získavame dátovú sadu stereotypných viet. V dru- hej časti práce navrhujeme metódu merania politických hodnôt mužov a žien naučených v jazykovom modeli a porovnávame tieto hodnoty so skutočnými dátami. Dovoľujeme si tvrdiť, že naša metóda má značné výhody oproti iným metódam, o ktorých vieme. V modeloch nenachádzame žiadne silné systematické presvedčenia ani rodové stereotypy. V prílohe pripájame zdrojový kód a vytvorené dátové sady. 1
|
|
|
Neuronové generování textu z pojmů se znalostními grafy
Szabová, Kristína ; Dušek, Ondřej (vedoucí práce) ; Libovický, Jindřich (oponent)
Moderní jazykové modely jsou schopné generovat gramaticky správný, přirozený ja- zyk. Stále však mají potíže s commonsense reasoningem, což je úkol zahrnující vyvozování závěrů o běžných každodenních situacích bez explicitně uvedených informací. Předchozí výzkum tohoto tématu ukázal, že poskytnutí dodatečných informací z externích zdrojů pomáhá jazykovým modelům generovat lepší výstupy. V této práci zkoumáme metody získávání informací ze znalostních grafů a jejich využití jako dodatečného vstupu pro předem natrénovaný generativní jazykový model. Děláme to buď extrakcí podgrafu rele- vantního pro kontext, nebo pomocí grafových neuronových sítí, které předpovídají, které informace jsou relevantní. Kromě toho experimentujeme s post-editačním přístupem a s modelem natrénovaným ve víceúlohovém setupu (generování a klasifikace konzistence). Naše metody jsou hodnoceny na benchmarku CommonGen pro generativní common- sense reasoning s využitím automatických metrik i podrobné analýzy chyb na malém vzorku výstupů. Ukazujeme, že metody se zlepšují ve srovnání s jednoduchým přístu- pem spočívajícím ve vyladění jazykového modelu, ačkoli nepřekonávají nejlepší současné modely. 1
|
|
|
Normalization of numbers into spoken form for text-to-speech systems
Růžička, Jakub ; Dušek, Ondřej (vedoucí práce) ; Peterek, Nino (oponent)
Název práce: Normalizace čísel pro výslovnost syntézou řeči Autor: Jakub Růžička Ústav: Ústav formální a aplikované lingvistiky Vedoucí bakalářské práce: Mgr. et Mgr. Ondřej Dušek, Ph.D., Ústav formální a apliko- vané lingvistiky Abstrakt: Nezbytnou součástí každého systému pro syntézu řeči je normalizace slov obsahujících číslice. Přesnost tohoto procesu může významně ovlivnit kvalitu výsledné promluvy. Hlavním cílem této práce je návrh a implementace modulu pro normalizaci číslic v češtině. Slova obsahující číslice jsou nejprve zařazena do jedné z předem defino- vaných kategorií. Na jejímž základě jsou následně generovány možné rozepsané podoby. Pro výběr kontextově správné varianty je využit existující jazykový model. Systém je distribuován jako balíček v jazyce Python. Může běžet na systému Linux nebo v Docker kontejneru, jehož konfigurace je součástí projektu. Současně byla navržena a napsána specializovaná aplikace pro anotaci dat, která slouží k vytváření datových sad pro nor- malizaci textu. Pomocí aplikace byly vytvořeny dvě datové sady s 1.882 větami a 3.185 slovy vyžadujícími normalizaci. Systém dosáhl na obou získaných datasetech přesnosti přes 80 % (měřeno na úrovni věty). Na základě analýzy chyb popisujeme možná zlepšení. Klíčová slova: normalizace českého textu, normalizace čísel, systém pro...
|
host ::
RSS.