|
|
Automatizace generování popisů produktů pomocí neuronových jazykových modelů
Hrouda, Václav ; Kasner, Zdeněk (vedoucí práce) ; Helcl, Jindřich (oponent)
Popisky produktů jsou důležitou součástí prezentace zboží v ecommerce. Tato bakalářská práce zkoumá možnosti použití jazykových modelů, založe- ných na architektuře Transformer, ke generování popisků produktů na zá- kladě textových informací o produktech. Během práce byla použita data z reálného eshopu a byly vyzkoušeny tři různé přístupy. Fine-tuning ma- lého modelu GPT2 small czech, využití modelu Mistral s překladem jeho vstupů a výstupů do angličtiny a přímé použití ChatGPT na českých da- tech. K vyhodnocení vygenerovaných textů byla použita kombinace auto- matických metrik a lidského hodnocení. Výsledkem je jasné pořadí těchto přístupů (ChatGPT, Mistral, GPT2 small czech) s tím, že se ukázalo, že pro použití v praxi není žádný z přístupů dostatečně spolehlivý.
|
|
|
Implicit information extraction from news stories
Kydlíček, Hynek ; Libovický, Jindřich (vedoucí práce) ; Helcl, Jindřich (oponent)
Tato práce se zabývá extrakcí informací z českých zpravodajských článků. Zaměřujeme se na čtyři úlohy: vydavatelský server, kategorie článku, tex- tový gender autora a den vydání článk. Vzhledem k absenci vhodné da- tové sady pro tyto úlohy představujeme datovou sadu CZEch NEws Clas- sification (CZE-NEC), jeden z největších českých klasifikačních datasetů, který je složen ze zpravodajských článků z různých zdrojů pokrývající ob- dobí dvaceti let. Úlohy jsou řešeny pomocí Lineární regrese a předtrénovaných Transformerů. Důraz je kladen na metody dotrénování Transformerů, které jsou podrobně vyhodnoceny. Modely jsou porovnány s lidskými hodnotiteli, kteří zaostávají za modely na všech úlohách. Dále jsou modely porovnány s komerčním velkým jazykovým modelem GPT-3, který je překonán na polov- ině úloh, přestože je GPT-3 výrazně větší. Naše práce představuje silný startovní výsledek na sadě CZE-NEC, který umožňuje další výzkum v této oblasti.
|
|
|
Investigating Large Language Models' Representations Of Plurality Through Probing Interventions
Hanna, Michael ; Mareček, David (vedoucí práce) ; Helcl, Jindřich (oponent)
Title: Investigating Large Language Models' Representations Of Plurality Through Probing Interventions Author: Michael Hanna Institute: Institute of Formal and Applied Linguistics Supervisor: RNDr. David Mareček, Ph.D., Institute of Formal and Applied Linguistics Abstract: Large language models (LLMs) have become ubiquitous in natural language processing, but how exactly they process their input and arrive at good downstream task performance is still poorly understood. While much work has been done using probing to examine LLM internals, or behavioral studies, to determine LLMs' linguistic capabilities, these techniques are too weak to allow us to draw conclusions how LLMs process language. In this paper, I use both probing and causal intervention methods to investigate the question of subject-verb agreement with respect to the subject's plurality. I find that while probing reveals that subject plurality information is distributed throughout a sentence, causal interventions suggest that only information stored in linguistically relevant tokens is used. Probing interventions suggest that some but not all probes capture information in a way that reflects LLMs' usage thereof. Keywords: Interpretability, Probing, Natural Language Processing, Computational Linguistics
|
|
|
Non-Autoregressive Neural Machine Translation
Helcl, Jindřich ; Hajič, Jan (vedoucí práce) ; Duh, Kevin (oponent) ; Popel, Martin (oponent)
V poslední době nabídl výzkum strojového překladu nové metody pro zrych- lení generování. Jedním z navrhovaných metod je takzvaný neautoregresivní neuronový strojový překlad. V klasických autoregresivních překladových sys- témech jsou výstupní pravděpodobnostní rozdělení modelována podmíněně na předchozích výstupech. Tato závislost umožňuje modelům sledovat stav překlá- dání a obvykle vede ke generování velmi plynulých textů. Autoregresivní postup je však ze své podstaty sekvenční a nelze jej paralelizovat. Neautoregresivní sys- témy modelují pravděpodobnosti jednotlivých cílových slov jako navzájem pod- míněně nezávislé, což znamená, že dekódování lze paralelizovat snadno. Nevýho- dou je ovšem nízká kvalita překladu ve srovnání s modely autoregresivními. Cíl výzkumu neautoregresivních metod strojového překladu je zlepšit kvalitu pře- kladu a zároveň uchovat vysokou rychlost dekódování. Naše práce předkládá re- šerši publikovaných metod a poukazuje na některé nedostatky plynoucí z obecně přijímané evaluační metodologie. Popisujeme experimenty s neautoregresivními modely trénovaných pomocí takzvané " connectionist temporal classification". Z našich výsledků plyne, že i když dosahujeme nejlepších výsledků mezi neautore- gresivními modely na datech z WMT z roku 2014, při porovnání s nejnovějšími...
|
|
|
Machine Translation of Spoken English into Czech
Cífka, Ondřej ; Bojar, Ondřej (vedoucí práce) ; Helcl, Jindřich (oponent)
Automatický překlad mluvené řeči z jednoho jazyka do druhého se v dnešní době stává žádaným nástrojem k překonání jazykové bariéry. Tato práce se věnuje strojovému překladu mluvené angličtiny do češtiny jakožto pomůcce pro zahraniční turisty. Nejprve jsme z volně dostupných součástí sestavili plně funkční překladový systém a s jeho pomocí nasbírali od uživatelů ukázkové vstupy. Poté jsme se zaměřili na dvě nejdůležitější součásti systému - automatické rozpoznání řeči (ASR) a strojový překlad (MT) - a pokusili se je nahradit vlastními modely, přizpůsobenými pro danou doménu. Nakonec jsme tato vylepšení vyhodnotili na nasbíraných datech. Powered by TCPDF (www.tcpdf.org)
|
|
|
Vícejazyčná databáze kolokací
Helcl, Jindřich ; Hajič, Jan (vedoucí práce) ; Mareček, David (oponent)
Kolokace jsou skupiny slov, které se v daném jazyce vyskytují častěji spolu, nežli odděleně. Patří mezi ně také spojení, která dávají několika nezávislým slovům nový význam. Tato práce se zabývá nalezením kolokací v objemných datech a vytvořením databáze sloužící k jejich vyhledávání. Pro nalezení kolokací v textu počítáme hodnotu Pointwise Mutual Information založenou na počtu výskytů jednotlivých skupin slov v korpusu. Slova s nejvyšší hodnotou PMI jsou kandidáty na vhodné kolokace. Vybrané kolokace jsou uložené do databáze ve formátu použitelném pro vyhledávání pomocí Apache Lucene. Součástí práce je k vytvořené databázi přidat webové rozhraní, které umožňuje rychlý a jednoduchý způsob pro vyhledávání kolokací. Pokud by tato služba byla dostatečně rychlá a kolokace kvalitní, mohli by ji používat překladatelé k nacházení vhodných ekvivalentů v cílovém jazyce. Také může být používána studenty cizího jazyka k rozšiřování slovní zásoby. Taková databáze bude tvořena nezávisle v několika jazycích, mezi nimiž bude minimálně Čeština a Angličtina. Powered by TCPDF (www.tcpdf.org)
|
|
|
Rozšiřitelný instant messenger s podporou sdíleného kreslení
Helcl, Jindřich ; Hnětynka, Petr (vedoucí práce) ; Keznikl, Jaroslav (oponent)
V předložené práci popisujeme program iNetPaint, nástroj pro komunikaci mezi dvěma a více uživateli. Tento program podporuje vytváření společného obrázku a je rozšiřitelný o uživatelem definované nové kreslící nástroje. Program je založen na protokolu XMPP, což umožnuje přímou podporu textové komunikace i s ostatními klienty postavenými na témže protokolu, jako jsou Jabber, Google Talk a další. Práce obsahuje uživatelskou a programátorskou dokumentaci, přehled o podobně zaměřených programech a rozdíly mezi nimi a programem iNetPaint. Dále je v práci popsána tvorba nových nástrojů, jejich definice a implementace.
|
|
|
Automatické generování obrázků a jejich využití jako trénovacích dat
Chaloupský, Lukáš ; Rosa, Rudolf (vedoucí práce) ; Helcl, Jindřich (oponent)
Tato práce se zabývá problémem automatického generovaní obrázků na základě vstup- ního textu v přirozeném jazyce. V první části se práce zabývá návrhem a implementací aplikace, která bude pro vstupní danou větu v angličtině generovat na základě určitých pravidel, vzorů a vztahů mezi jednotlivými slovy v zadané vstupní větě obrázky složené z jednotlivých malých obrázků, odpovídající vstupnímu popisu. Rozsah objektů pro ge- nerování je neomezený, jelikož obrázky se stahují dynamicky pomocí REST API volání. Druhým cílem práce je pak použít tuto vzniklou aplikaci pro natrénování neuronové sítě pro úlohu image captioningu, tj. automatického generování popisků k obrázkům, a vy- hodnotit její vliv na kvalitu výstupů této úlohy. Trénování proběhlo na volně dostupných datech a bylo ukázáno, že umělé generování obrázků pro účely trénování neuronových sítí má pozitivní vliv pro úlohu image captioningu. 1
|
|
|
Deep learning and visualization of models for image captioning and multimodal translation
Michalik, Samuel ; Helcl, Jindřich (vedoucí práce) ; Rosa, Rudolf (oponent)
Název práce: Hluboké Učení a Vizualizace Modelů pro Generování Popisků Obrázků a Multimodální Překlad Autor: Samuel Michalik Ústav: Ústav Formální a Aplikované Lingvistiky Vedoucí bakalářské práce: Mgr. Jindřich Helcl, Ústav Formální a Aplikované Lingvistiky Abstrakt: V posledných rokoch sa paradigma strojového učenia, nazývané hlboké učenie, ukázalo, ako vhodné pre exploitáciu moderného paralelného hardvéru a veľkých datasetov, pomáhajúc tak posunúť vpred hranicu súčasného výzkumu v mnohých odvetviach umelej inteligencie a zároveň nachádzajúc komerčné uplat- nenie. Hlboké učenie umožnuje systémom s jedným trénovacím objektívom riešiť komplikované úlohy cez vytváranie komplexných hierarchických reprezentácií. Ti- eto reprezentácie je však náročné interpretovať. V tejto práci skúmame možnosti interpretovateľnosti vizualizácií attention komponent a beam search dekódovania na úlohách image captioningu a multimodálneho prekladu a za týmto účelom vyvýjame softvérovú aplikáciu - Macaque, ktorá môže bežať ako lokálne, alebo ako online služba. Okrem toho predkladáme novú formulácie attention modulu, ktorú nazývame scaled general attention. Experimentálne porovnávame scaled general attention s ďalšími bežnými attention funkciami na štyroch rôznych ar- chitektúrach, vychádzajúcich z encoder-decoder frameworku na...
|
|
|
Využití syntaktické informace pro identifikaci hodnocených entit
Glončák, Vladan ; Hajič, Jan (vedoucí práce) ; Helcl, Jindřich (oponent)
Identifikace hodnocených entit (Opinion Target Extraction, OTE) je zavedená pod-úloha analýzy sentimentu. Zatímco detekce subjektivních výroků a určení jejich polarity (pozitivní, nebo negativní) je samo o sobě užitečné, schopnost identifikovat i tyto "cílové" entity poskytuje mnohem kvalitnější podklady pro rozhodování: majitelka restaurace potřebuje vědět, jestli si hosté stěžují na obsluhu, jídlo, atmosféru, či další aspekty jejího podniku, atp. Ačkoliv tato úloha má stále silnou lexikální složku, je zde i velký potenciál využít obecných syntaktických konstrukcí v evaluativních výrocích: v jedné větě například může být potenciálních cílových entit více, a přiřazení správného cíle k hodnotícímu výroku tak je záležitostí správného rozlišení v syntaktické struktuře věty. Syntaktické vzorce spojené s evlauativními výroky již byly popsány. Tato diplomová práce si klade za cíl zkoumat, jak přítomnost syntaktické informace ovlivňuje na úloze extrakce cílových entit (OTE) chování state-of-the-art modelů strojového učení, jako například rekurentních neuronových sítí. Nepodařilo se nám najít žádné přesvědčivé důkazy, které by nasvědčovaly, že přítomnost syntaktické informace výrazně ovlivňuje chování zvolených modelů.
|
host ::
RSS.