|
|
Automated Truth Discovery
Kočí, Jan ; Ondřej, Karel (referee) ; Fajčík, Martin (advisor)
Cílem práce je (i) porozumět jaké vlastnosti textu jsou využívány content-based metodami při klasifikaci fake news a (ii) vyhodnotit kvality těchto metod na určování spolehlivosti článků a zdrojů. Práce implementuje dva klasifikační modely. První model (baseline), je založen na TF-IDF a Multinomial Naive Bayes klasifikátoru. Druhý model používá architekturu BERT transformeru. K interpretaci výsledků těchto modelů jsou v práci implementovány metody interpretability. Metoda interpretability pro BERT model je založena na Integrovaných gradientech. K trénování obou klasifikátorů je v práci použita datová sada NELA-GT-2021, která je předzpracována vyfiltrováním klíčových slov. V práci je také představena nová datová sada nazvaná FNI dataset. Tato sada obsahuje 46 manuálně vybraných článků a je použita k analýze klasifikátorů. FNI dataset umožňuje analyzovat klasifikátory na článcích z různých oblastí (například covid, fotbal, věda, politika, etc.). Výsledky analýzy odhalily několik nedostatků vytvořených klasifikátorů. Baseline model nebyl schopen správně klasifikovat nedůvěryhodné články na téma fotbal (recall 0\% na FNI datasetu), důvěryhodné vědecké články (recall 0\% na FNI datasetu), etc. Oba klasifikátory byly úspěšnější v identifikování nedůvěryhodných článků. BERT model dosáhl recall 91\% pro třídu unreliable a pouze 78\% pro třídu reliable na FNI datasetu. Metody interpretability dosahovaly také lepších výsledků na třídě unreliable kde se jim dařilo identifikovat šokující titulky používané ve fake news. Klasifikátory jsou také použity k určení důvěryhodnosti zdrojů. Jejich výsledky jsou srovnány s referenčními hodnotami získanými ze state-of-the-art metody, která posuzuje věrohodnost zdrojů na základě vzájemných citací. Jedním z výstupů práce je také challenge datová sada, obsahující články z NELA datasetu, které klasifikátory nedokázaly správně klasifikovat. Tato datová sada může být použita pro budoucí výzkum v tomto oboru.
|
|
|
Implications resulting from finding information in the Internet in regard to relations between search engine and its user
Henych, Filip ; Sklenák, Vilém (advisor) ; Bělohoubková, Lenka (referee)
The aim of this work is to summarize the basic knowledge of ways to search the Internet and its usage. The work focuses on a description of search engines, as well as on description of expanded search options. It thinks out the credibility and recency of the web pages. It focuses on the role of a user as a searcher and the role of search engine as an output of relevant links. In this work, I tried to compare some search engines from the perspective of the relevance of outputs from different queries. Part of the work contains also a question survey focusing on the usage of search engines. It analyzes the problems of communication between the user and the search engine. The work is divided into three parts. In the first part, which contains the first and second chapter, I analyzed the basic ways of internet searching and described the main definitions related to internet searching. In the second part, I focused on the description of some search engines and I tested them by entering different queries.The last part contains the last two chapters. It pays attention to problems with the usage of search engines. It's concerned with credibility and recency of the information appearing on the websites and misusage of content to improve position in search engines. This part ends with a question survey among the users about different ways to use search engines.
|
guest ::
