Název: Pojmenované entity a ontologie metodami hlubokého učení
Překlad názvu: Pojmenované entity a ontologie metodami hlubokého učení
Autoři: Rafaj, Filip ; Hajič, Jan (vedoucí práce) ; Žabokrtský, Zdeněk (oponent)
Typ dokumentu: Diplomové práce
Rok: 2021
Jazyk: eng
Abstrakt: [eng] [cze]
In this master thesis we describe a method for linking named entities in a given text to a knowledge base - Named Entity Linking. Using a deep neural architecture together with BERT contextualized word embeddings we created a semi-supervised model that jointly performs Named Entity Recognition and Named Entity Disambiguation. The model outputs a Wikipedia ID for each entity detected in an input text. To compute contextualized word embeddings we used pre-trained BERT without making any changes to it (no fine-tuning). We experimented with components of our model and various versions of BERT embeddings. Moreover, we tested several different ways of using the contextual embeddings. Our model is evaluated using standard metrics and surpasses scores of models that were establishing the state of the art before the expansion of pre-trained contextualized models. The scores of our model are comparable to current state-of-the-art models. V této diplomové práci popisujeme metodu pro propojování pojmenovaných entit a ontologické databáze. S použítím hlubokých neuronových sítí a kontextualizovaných embedingů BERT jsme vytořili model, který společně provádí rozpoznávání a disambiguování pojmenovaných entit. Vstupem do systému je text a výstupem je Wikipedia identifikátor pro každou nalezenou entitu. Kontextualizované embedingy byly získány pomocí předtrénovaného modelu BERT bez jeho dalších úprav (ne fine-tuning). Experimentovali jsme s komponentami našeho modelu a také s různými variantami BERT embedingů. Dále jsme vyzkoušeli různé způsoby použití kontextualizovaných embedingů. Náš model byl vyhodnocen pomocí obvyklých metrik a překonává výsledky dosavadně standardních prací, které nepoužívají předtrénované kontextualizované modely. Naše výsledky jsou srovnatelné s výsledky sočasných nejmodernějších systémů.
Klíčová slova: pojmenované entity|propojení pojmenovaných entit|přirozený jazyk|BERT|hluboké učení; named entities|entity linking|natural language|BERT|contextualized embeddings|deep learning

Instituce: Fakulty UK (VŠKP) (web)
Informace o dostupnosti dokumentu: Dostupné v digitálním repozitáři UK.
Původní záznam: http://hdl.handle.net/20.500.11956/124638

Trvalý odkaz NUŠL: http://www.nusl.cz/ntk/nusl-482184


Záznam je zařazen do těchto sbírek:
Školství > Veřejné vysoké školy > Univerzita Karlova > Fakulty UK (VŠKP)
Vysokoškolské kvalifikační práce > Diplomové práce