Název: Využití adverzálních příkladů pro zpracování přirozeného jazyka
Překlad názvu: Using Adversarial Examples in Natural Language Processing
Autoři: Bělohlávek, Petr ; Žabokrtský, Zdeněk (vedoucí práce) ; Libovický, Jindřich (oponent)
Typ dokumentu: Diplomové práce
Rok: 2017
Jazyk: eng
Abstrakt: [eng] [cze]
Machine learning has been paid a lot of attention in recent years. One of the studied fields is employment of adversarial examples. These are artifi- cially constructed examples which evince two main features. They resemble the real training data and they deceive already trained model. The ad- versarial examples have been comprehensively investigated in the context of deep convolutional neural networks which process images. Nevertheless, their properties have been rarely examined in connection with NLP-processing networks. This thesis evaluates the effect of using the adversarial examples during the training of the recurrent neural networks. More specifically, the main focus is put on the recurrent networks whose text input is in the form of a sequence of word/character embeddings, which have not been pretrained in advance. The effects of the adversarial training are studied by evaluating multiple NLP datasets with various characteristics. Strojové učení patří v posledních letech k hojně studovaným oborům. Jednou ze zkoumaných oblastí je využívání adverzálních příkladů, což jsou uměle vytvořené příklady, které mají dva charakteristické rysy. Jsou velmi podobné skutečným trénovacím příkladům a předem natrénované modely na nich dosahují podstatně horších výsledků. Adverzální příklady již byly studovány v kontextu hlubokých konvolučních neuronových sítí, které zpra- covávají obrázky, ale jejich vlastnosti byly jen zřídka zkoumány v souvis- losti s rekurentními sítěmi zpracovávajícími přirozený jazyk. Tato práce an- alyzuje dopady využívání adverzálních příkladů na trénování rekurentních neuronových sítí. Konkrétně se práce soustředí na rekurentní sítě, které mají na vstupu posloupnost slov nebo znaků v jejich vektorových reprezentacích. Tyto reprezentace nebyly předem natrénovány. Za účelem vyhodnocení vlivu adverzálního tréninku jsou studovány různé datové sady z oblasti zpracování přirozeného jazyka.
Klíčová slova: Adverzální příklady; Evaluace; Neuronové sítě; Regularizace; Zpracování přirozeného jazyka; Adversarial examples; Evaluation; Natural language processing; Neural networks; Regularization

Instituce: Fakulty UK (VŠKP) (web)
Informace o dostupnosti dokumentu: Dostupné v digitálním repozitáři UK.
Původní záznam: http://hdl.handle.net/20.500.11956/90576

Trvalý odkaz NUŠL: http://www.nusl.cz/ntk/nusl-365176


Záznam je zařazen do těchto sbírek:
Školství > Veřejné vysoké školy > Univerzita Karlova > Fakulty UK (VŠKP)
Vysokoškolské kvalifikační práce > Diplomové práce