|
|
Strojové učení pro odpovídání na otázky v přirozeném jazyce
Sasín, Jonáš ; Fajčík, Martin (oponent) ; Smrž, Pavel (vedoucí práce)
Práce se zabývá odpovídáním na otázky v přirozeném jazyce nad českou Wikipedií. Systémy pro odpovídání na otázky získávají rostoucí popularitu, většina jich ale vzniká pro angličtinu. Cílem této práce je prozkoumat dostupné možnosti a datové sady a vytvořit takový systém pro češtinu. V práci jsem se zaměřil na dva přístupy. Jeden z nich využívá pro extrakci odpovědi anglický model ALBERT a strojový překlad pasáží. Druhý využívá vícejazyčný model BERT. V práci je provedeno porovnání několika variant systému. Diskutovány jsou také možnosti získávání relevantních pasáží. Pro všechny varianty testovaných systémů je provedeno vyhodnocení pomocí standardních metrik. Nejlepší varianta systému byla vyhodnocena na datové sadě SQAD v3.0 s úspěšností 0,44 EM a 0,55 F1 skóre, což je v porovnání s existujícími systémy vynikající výsledek. Hlavním přínosem této práce je analýza možností a nasazení laťky pro další vývoj lepších systémů pro češtinu.
|
|
|
Určování typů entit na základě extrakce informací z Wikipedie
Rusiňák, Petr ; Otrusina, Lubomír (oponent) ; Smrž, Pavel (vedoucí práce)
Cílem této práce je identifikovat typy článků na Wikipedii (např. rozlišit články o osobách od článků o sportovních utkáních), přičemž tento systém by měl být použitelný pro libovolný typ extrahované entity. Vstupem pro tento systém je seznam několika vzorových článků patřících do hledané entity a seznam několika článků nepatřících do této entity. Na základě těchto seznamů budou vygenerovány příznaky, které lze použít k nalezení všech článků patřící do této entity. Tyto příznaky mohou být založeny jak na základě strukturovaných informací na Wikipedii (např. šablony, kategorie), tak i na základě analýzy přirozeného textu v první větě článku, kde bude nalezeno definiční podstatné jméno vystihující entitu daného článku. Tento systém podporuje extrakci česky a anglicky psaných článků a je rozšířitelný pro podporu dalších jazyků.
|
|
| |
|
|
Znalec encyklopedie
Krč, Martin ; Schmidt, Marek (oponent) ; Smrž, Pavel (vedoucí práce)
Předmětem projektu je systém pro zodpovídání otázek formulovaných v přirozeném jazyce. Práce pojednává nejprve o problémech spjatých se systému tohoto druhu a o některých uplatňovaných přístupech. Důraz je kladen na povrchové metody, které nejsou tolik náročné na dostupnost lingvistických zdrojů. V praktické části je pak popsán návrh systému, který zodpovídá faktografické otázky s využitím české Wikipedie jako zdroje informací. Extrakce odpovědí je založena zčásti na specifických rysech Wikipedie a zčásti na ručně předdefinovaných vzorech. Výsledky ukazují, že pro zodpovídání jednoduchých otázek je systém výrazně přínosnější než běžný vyhledávací stroj.
|
|
|
Extrakce informací z Wikipedie
Valušek, Ondřej ; Otrusina, Lubomír (oponent) ; Smrž, Pavel (vedoucí práce)
Tato práce se zabývá automatickou extrakcí typů entit ve článcích anglické Wikipedie a jejich vybraných atributů. Jsou v ní představeny postupy za využití prvků strojového učení, které lze ke splnění tohoto účelu využít. Z článků jsou také extrahovány některé důležité atributy, jako například data narození u osob, rozlohy u jezer a podobně. Pomocí systému představeného v této práci je možné ze souboru obsahující všechny články Wikipedie (tzv. dump souboru) vytvořit znalostní databázi, ve které budou klasifikovány miliony článků, dle typu entity o které pojednávají, na základě malé tréninkové sady. Při tomto procesu je také generován soubor, kde jsou kromě ostatních příznaků z článků extrahována tzv. definiční slova, což jsou klíčová slova nalezena pomocí analýzy přirozeného textu. Ta je možno použít také v jiných oblastech, než pouze při určování typů entit. Součástí celého systému je také modul, který označí změny mezi jednotlivými verzemi znalostní databáze, tedy například, které články byly přidány, které smazány a u kterých se udála změna.
|
|
|
Extrakce informací z Wikipedie
Musil, Martin ; Otrusina, Lubomír (oponent) ; Schmidt, Marek (vedoucí práce)
Tato bakalárská práce se zabývá tématem automatické extrakce informací z textu. Cílem je vytvorení aplikace, která za užití extrakcních vzoru získává znalosti z clánku informacního internetového serveru Wikipedie. V úvodu jsou vysvetleny základní pojmy této problematiky, hlavní cást práce se venuje experimentum a predevším samotné implementaci rozdelené do dvou cástí - zpracování textu a následného získávání informací. Vyhodnocením projektu je pak samotná analýza výsledku experimentu a efektivita vytvorených pravidel.
|
|
|
Kontrola konzistence informací extrahovaných z textu
Stejskal, Jakub ; Otrusina, Lubomír (oponent) ; Smrž, Pavel (vedoucí práce)
Tato práce je zaměřena na strojové techniky, které jsou využívány při zpracování přirozeného jazyka a extrakce informací z textu. Přibližuje obecné metody začínající zpracováním surového textu, až po extrakci vztahů ze zpracovaných jazykových konstrukcí a uvádí možnosti využití pro získaná relační data, které je možné vidět například u projektu DBpedia. Dalším milníkem této práce je návrh a realizace automatického systému pro extrakci informací o entitách, které nemají vlastní článek na anglické verzi Wikipedie. Práce představuje vytvořené algoritmy pro extrakci entit s vlastním jménem, ověření existence článků extrahovaných entit a nakonec samotnou extrakci informací o jednotlivých entitách, které lze využívat při kontrole konzistence informací. Na závěr je možné zhlédnout dosažené výsledky a návrhy dalšího vývoje vytvořeného systému.
|
|
|
Zjednoznačňování pojmenovaných entit ve slovenštině
Križan, Samuel ; Otrusina, Lubomír (oponent) ; Smrž, Pavel (vedoucí práce)
Práca sa zaoberá rozpoznávaním a zjednoznačňovaním pomenovaných entít. V rámci práce bol vytvorený základný systém obsahujúci všetky prerekvizity potrebné pre zjednoznačňovanie pomenovaných entít v slovenčine. Súčasťou systému je vytvorenie znalostnej bázy z exportu slovenskej Wikipédie. Tá bola následne porovnávaná so znalostnou bázou z Wikidát, čím sa zistilo, že hlavným prínosom použitia znalostnej bázy z Wikipédie pre slovenčinu je väčšie pokrytie entitami s odkazom na slovenskú Wikipédiu a lepšie určovanie tried entít. Okrem toho bola vykonaná aj aktualizácia morfologického slovníka výskumnej skupiny KNOT@FIT, ktorá priniesla zlepšenie v rozsahu 33-39 %. Práca predpokladá možné využitie v spojitosti s rozšírením systému o zjednoznačňovací modul a zlepšením pokrytia alternatívnych pomenovaní.
|
|
| |
|
|
Creating a Bilingual Dictionary using Wikipedia
Ivanova, Angelina ; Zeman, Daniel (vedoucí práce) ; Straňák, Pavel (oponent)
Název práce: Tvorba dvojjazycného slovníku s použitím Wikipedie Autor: Angelina Ivanova Katedra/ Ústav: Ústav formální a aplikované lingvistiky (32-ÚFAL) Vedoucí diplomové práce: RNDr. Daniel Zeman Ph.D. Abstrakt: Strojove citelné slovníky hrají duležitou roli v pocítacové lingvistice. Osved- cily se v oblastech jako je strojový preklad a mezijazykové dobývání informací. V této práci zkoumáme kvalitu a obsah dvojjazycných anglicko-ruských slovníku automaticky získaných z Wikipedie. Slovníky získané z Wikipedie (zde jim pro jednoduchost ríkáme Wiki-slovníky, ale tento pojem nelze zamenovat s Wikislovníkem na http://cs.wiktionary.org) se podstatne liší od tradicních slovníku: pokrytí základní terminologie z Muellerova slovníku je 7,42 %. Pokusy s Wiki-slovníky zabudovanými do trénovacích dat pro strojový preklad vedly k malému, nicméne statisticky významnému poklesu kvality prekladu ve srovnání s experimenty bez Wiki-slovníku. Predpokládáme, že hlavním duvodem je rozdílnost domén mezi slovníkem a korpusem. Na testovacích datech získaných z clánku Wikipedie naopak slovník kvalitu prekladu zlepšuje. V této práci ukazujeme, jak velký je rozdíl mezi slovníky získanými ze struk- tury Wikipedie a tradicními slovníky. Wiki-slovníky...
|
host ::
RSS.