|
|
Větné reprezentace s interpretací podobnosti
Svobodová, Zuzana ; Hudeček, Vojtěch (vedoucí práce) ; Libovický, Jindřich (oponent)
Větné reprezentace - tzv. embeddingy, získané z modelů neuronových sítí, tvoří jádro mnoha aplikací jak v akademickém prostředí, tak v průmyslu. Ačkoliv embed- dingy dosahují vynikajících výsledků v korelaci s lidským vnímáním větné podobnosti, často chybí vysvětlení, proč modely rozhodly o větách, že jsou podobné či nepodobné. V této práci se snažíme zvýšit interpretovatelnost embeddingů začleněním různých sé- mantických anotací do průběhu tréninku modelu. Představujeme takto natrénovaný model SBERTslice, který vytváří embeddingy schopné rozlišovat různé sémantické vlast- nosti textu, včetně prvků jako je negace, sentiment, jmenné entity, emocionální tón a sémantické vztahy mezi větným slovesem a dalšími slovy ve větě. Otestovali jsme embeddingy generované modelem SBERTslice v určování sémantické podobnosti vět a klasifikaci textu, kde SBERTslice ve většině případů překonal původní model SBERT. 1
|
|
|
Understanding cross-lingual abilities in large multilingual language models
Del Valle Girón, José Jacobo ; Libovický, Jindřich (vedoucí práce) ; Limisiewicz, Tomasz (oponent)
Cross-lingual abilities have been evident in large multilingual language models over the past few years. However, understanding why and under what circumstances they work is not entirely clear. In this work, we work towards a better understanding of these aspects in a specific subset of multilingual models, namely modular multilingual models with cross-lingual transfer learning abilities. We try to quantify claims in Pfeiffer et al. [2022] regarding their proposed model, X-MOD, as it was tested in a very specific setting which may not align with common low-resource settings. Specifically, we evaluate how the following factors may affect downstream performance: the amount of available pre- training data; hyperparameters such as number of training steps, checkpoint selection criteria, available overlapping lexicon. With the help of our findings, we also aim to provide guidelines on how to best use X-MOD, especially from a low-resource perspective. 1
|
|
|
Gender stereotypes in neural sentence representations
Al Ali, Adnan ; Libovický, Jindřich (vedoucí práce) ; Dušek, Ondřej (oponent)
V posledných rokoch zasznamenali neurónové siete prudký nárast popularity v oblasti spracovania prirodzeného jazyka. Konzistentne prekonávajú tradičné metódy a vyžadujú menej ľudskej práce na zdokonaľovanie, nakoľko sú trénované bez učiteľa na rozsiahlych textových korpusoch. Tieto korpusy však môžu obsahovať nechcené javy, akými sú pred- sudky. V práci skúmame viacero modelov, s dôrazom najmä na český monolinguálny mo- del - RobeCzech. V prvej časti práce predstavujeme nástroj na dynamický benchmarking slúžiaci na identifikáciu rodových stereotypov v jazykovom modeli. Následne tento nástroj predkladáme skupine anotátorstva, čím získavame dátovú sadu stereotypných viet. V dru- hej časti práce navrhujeme metódu merania politických hodnôt mužov a žien naučených v jazykovom modeli a porovnávame tieto hodnoty so skutočnými dátami. Dovoľujeme si tvrdiť, že naša metóda má značné výhody oproti iným metódam, o ktorých vieme. V modeloch nenachádzame žiadne silné systematické presvedčenia ani rodové stereotypy. V prílohe pripájame zdrojový kód a vytvorené dátové sady. 1
|
|
|
Neuronové generování textu z pojmů se znalostními grafy
Szabová, Kristína ; Dušek, Ondřej (vedoucí práce) ; Libovický, Jindřich (oponent)
Moderní jazykové modely jsou schopné generovat gramaticky správný, přirozený ja- zyk. Stále však mají potíže s commonsense reasoningem, což je úkol zahrnující vyvozování závěrů o běžných každodenních situacích bez explicitně uvedených informací. Předchozí výzkum tohoto tématu ukázal, že poskytnutí dodatečných informací z externích zdrojů pomáhá jazykovým modelům generovat lepší výstupy. V této práci zkoumáme metody získávání informací ze znalostních grafů a jejich využití jako dodatečného vstupu pro předem natrénovaný generativní jazykový model. Děláme to buď extrakcí podgrafu rele- vantního pro kontext, nebo pomocí grafových neuronových sítí, které předpovídají, které informace jsou relevantní. Kromě toho experimentujeme s post-editačním přístupem a s modelem natrénovaným ve víceúlohovém setupu (generování a klasifikace konzistence). Naše metody jsou hodnoceny na benchmarku CommonGen pro generativní common- sense reasoning s využitím automatických metrik i podrobné analýzy chyb na malém vzorku výstupů. Ukazujeme, že metody se zlepšují ve srovnání s jednoduchým přístu- pem spočívajícím ve vyladění jazykového modelu, ačkoli nepřekonávají nejlepší současné modely. 1
|
|
|
Implicit information extraction from news stories
Kydlíček, Hynek ; Libovický, Jindřich (vedoucí práce) ; Helcl, Jindřich (oponent)
Tato práce se zabývá extrakcí informací z českých zpravodajských článků. Zaměřujeme se na čtyři úlohy: vydavatelský server, kategorie článku, tex- tový gender autora a den vydání článk. Vzhledem k absenci vhodné da- tové sady pro tyto úlohy představujeme datovou sadu CZEch NEws Clas- sification (CZE-NEC), jeden z největších českých klasifikačních datasetů, který je složen ze zpravodajských článků z různých zdrojů pokrývající ob- dobí dvaceti let. Úlohy jsou řešeny pomocí Lineární regrese a předtrénovaných Transformerů. Důraz je kladen na metody dotrénování Transformerů, které jsou podrobně vyhodnoceny. Modely jsou porovnány s lidskými hodnotiteli, kteří zaostávají za modely na všech úlohách. Dále jsou modely porovnány s komerčním velkým jazykovým modelem GPT-3, který je překonán na polov- ině úloh, přestože je GPT-3 výrazně větší. Naše práce představuje silný startovní výsledek na sadě CZE-NEC, který umožňuje další výzkum v této oblasti.
|
|
|
Automatic generation of medical reports from chest X-rays in Czech
Chaloupský, Lukáš ; Rosa, Rudolf (vedoucí práce) ; Libovický, Jindřich (oponent)
Tato práce se zabývá problémem automatického generovaní lékařských zpráv v českém jazyce na základě vstupních rentgenových snímků hrudníku pomocí hlubokých neurono- vých sítí. První část se zabývá analýzou problému samotného včetně porovnání existují- cích řešení z několika společných úhlů pohledu. Za účelem interpretace lékařských snímků v českém jazyce představujeme natrénovaný český GPT-2 model specializovaný na lékař- ské texty, který vychází z původního předtrénovaného anglického GPT-2 modelu, spolu s jeho vyhodnocením. Ve druhé části je vytvořené české GPT-2 použito pro trénování modelu neuronové sítě pro generování lékařských zpráv. Trénování bylo provedeno na volně dostupných datech spolu s předzpracováním dat a jejich úpravou pro český jazyk. Dále jsou výsledky modelu diskutovány a vyhodnoceny pomocí standardních metrik pro zpracování přirozeného jazyka za účelem určení výkonnosti. 1
|
|
|
Hluboké učení jako sociálně konstruovaná technologie
Libovický, Jindřich ; Orhan, Mehmet A. (vedoucí práce) ; Lütke Notarp, Ulrike (oponent)
Předkládaná práce se zabývá hlubokým strojovým učením a umělou inteligencí jako sociálně konstruovanou technologií. Místo obvyklého pohledu, který vysvětluje vznik hlubokého učení jako důsledek stavu technologické reality, používám Bijkerův teoretický rámec a vysvětluji vývoj prostřednictvím hodnot a zájmů relevantních sociálních skupiny (veřejnost, lidé se zvláštním zájmem o technologie, IT specialisté a výzkumníci v oblasti umělé inteligence). Pro každou z těchto skupin jsem vybral anglicky psaná online média, která se na danou skupinu zaměřují a analzyzoval jejich obsahy v~letech 2012--2016. Analýza ukázala posun od vědeckých k technologickým tématům v článcích cílených na výzkuníky v oblasti umělé inteligence a širokou veřejnost, které považují hluboké učeníza přelomovu technologii. Články cílené na čtenáře se zvláštním zájmem o technologie se umělé inteligenci podobně věnují, ale není jí zde přikládán zvláštní status. Stejně jako v případě médií cílených na IT specialisty, považují hluboké učení za technologii jako každou jinou.
|
|
| |
|
|
Multimodality in Machine Translation
Libovický, Jindřich ; Pecina, Pavel (vedoucí práce) ; Specia, Lucia (oponent) ; Čech, Jan (oponent)
Multimodalita ve strojovém překladu Jindřich Libovický Tradičně se většina úloh zpracování přirozeného jazyka řeší výhradně uvnitř jazyka, kdy modely spoléhají na distribuční vlastnosti slov. Hluboké učení se svojí schopností učit se vhodné reprezentace vstupních dat umožňuje využití více informací tím, že trénovací signál nepochází pouze z jazyka, ale o i z obrazové modality. Jednou z úloh, které se pokoušejí využít vizuální informace, je multimodální strojový překlad: překlad popisků obrázků, kdy je stále k dispozici původní obrázek, který lze využít jako vstup pro překladač. Tato práce shrnuje metody společného zpracovávání jazykových dat a fotografií s využitím hlubokého učení. Uvádíme přehled metod, které se využívají k řešení multimodálního strojového překladu a popisujeme náš původní příspěvek k řešení této úlohy. Představujeme metody kombinování více vstupů z potenciálně různých modalit v modelech sekvenčního učení založených na rekurentních neuronových sítích a neuronových sítí s mechanismem sebepozornosti. Uvádíme výsledky, kterých jsme dosáhli při řešení multimodálního strojového překladu a dalších úloh souvisejících se strojovým překladem. Na závěr analyzujeme, jak multimodalita ovlivňuje sémantické vlastnosti větných reprezentací, které v sítích vznikají, a jak sémantické vlastnosti...
|
|
|
Automatický expresivní čtený projev
Výkruta, Jan ; Hajič, Jan (vedoucí práce) ; Libovický, Jindřich (oponent)
Expresivní čtení je jedním ze způsobů verbálního projevu. Obvykle bývá čte- ným textem próza nebo poezie. Zatím málo prací se zabývalo tím, co ovlivňuje expresivitu a jestli se dá vygenerovat pomocí počítače. LibriSpeech je velkým korpusem čtené prózy a poezie, a umožňuje nám otestovat generování expre- sivního čtení pomocí metod strojového učení. Soustředili jsme se na poezii, neboť obvykle vyžaduje větší expresivitu. Implementovali jsme metody, které mohu být využity k natrénování dalších modelů i k vytvoření nových dat, která mohou být použita v našich metodách na trénování. Dále jsme vytvořili roz- šiřitelnou aplikaci, která dostane báseň, předpoví její expresivní čtení a toto čtení vizualizuje. Navíc ještě přehraje audio nahrávku vygenerovanou pomocí Text-To-Speech systému. 1
|
host ::
RSS.