Original title:
Čištění, extrakce textu a převod webových stránek do vertikálního formátu
Translated title:
Cleaning, extraction of text and transformation of web pages into vertical format
Authors:
Švaňa, Miloš ; Otrusina, Lubomír (referee) ; Dytrych, Jaroslav (advisor) Document type: Bachelor's theses
Year:
2016
Language:
cze Publisher:
Vysoké učení technické v Brně. Fakulta informačních technologií Abstract:
[cze][eng]
Táto práca za zaoberá problematikou extrakcie textu z webových stránok, rozlíšením dôležitého obsahu a jeho prevodom do vertikálneho formátu, ktorý je vhodný na ďalšie spracovanie z pohľadu analýzy prirodzeného jazyka. Analyzuje existujúce riešenie a jeho komponenty so zameraním predovšetkým na jeho nedostatky a popisuje návrh a implemetáciu riešenia nového využívajúce získané znalosti.
This thesis deals with the topic of extraction of text from web page, recognition of important contents and its transformation to vertical format, which can be used as a suitable input for other natural language processing tasks. It analyzes the existing solution and its components with emphasis on its disadvantages and describes the design and implementation of new solution based on obtained knowledge.
Keywords:
Boilerpipe; CommonCrawl; Justext; natural language processing.; text classification; text extraction; Vertcalization; web; Boilerpipe; CommonCrawl; extrakcia textu; Justext; klasifikácia textu; spracovanie prirodzeného jazyka.; Vertikalizácia; web
Institution: Brno University of Technology
(web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library. Original record: http://hdl.handle.net/11012/62205