Original title:
Pojmenované entity a ontologie metodami hlubokého učení
Translated title:
Pojmenované entity a ontologie metodami hlubokého učení
Authors:
Rafaj, Filip ; Hajič, Jan (advisor) ; Žabokrtský, Zdeněk (referee) Document type: Master’s theses
Year:
2021
Language:
eng Abstract:
[eng][cze] In this master thesis we describe a method for linking named entities in a given text to a knowledge base - Named Entity Linking. Using a deep neural architecture together with BERT contextualized word embeddings we created a semi-supervised model that jointly performs Named Entity Recognition and Named Entity Disambiguation. The model outputs a Wikipedia ID for each entity detected in an input text. To compute contextualized word embeddings we used pre-trained BERT without making any changes to it (no fine-tuning). We experimented with components of our model and various versions of BERT embeddings. Moreover, we tested several different ways of using the contextual embeddings. Our model is evaluated using standard metrics and surpasses scores of models that were establishing the state of the art before the expansion of pre-trained contextualized models. The scores of our model are comparable to current state-of-the-art models.V této diplomové práci popisujeme metodu pro propojování pojmenovaných entit a ontologické databáze. S použítím hlubokých neuronových sítí a kontextualizovaných embedingů BERT jsme vytořili model, který společně provádí rozpoznávání a disambiguování pojmenovaných entit. Vstupem do systému je text a výstupem je Wikipedia identifikátor pro každou nalezenou entitu. Kontextualizované embedingy byly získány pomocí předtrénovaného modelu BERT bez jeho dalších úprav (ne fine-tuning). Experimentovali jsme s komponentami našeho modelu a také s různými variantami BERT embedingů. Dále jsme vyzkoušeli různé způsoby použití kontextualizovaných embedingů. Náš model byl vyhodnocen pomocí obvyklých metrik a překonává výsledky dosavadně standardních prací, které nepoužívají předtrénované kontextualizované modely. Naše výsledky jsou srovnatelné s výsledky sočasných nejmodernějších systémů.
Keywords:
named entities|entity linking|natural language|BERT|contextualized embeddings|deep learning; pojmenované entity|propojení pojmenovaných entit|přirozený jazyk|BERT|hluboké učení
Institution: Charles University Faculties (theses)
(web)
Document availability information: Available in the Charles University Digital Repository. Original record: http://hdl.handle.net/20.500.11956/124638