Název: Automatická identifikace kódování a jazyka textu
Překlad názvu: automatic recognition of encoding and language
Autoři: Hron, Michal ; Pinkas, Otakar (vedoucí práce) ; Pavlíčková, Jarmila (oponent)
Typ dokumentu: Bakalářské práce
Rok: 2015
Jazyk: cze
Nakladatel: Vysoká škola ekonomická v Praze
Abstrakt: [cze] [eng]
Zpracování prostých nebo složitých textů (MIME typ - application) často vyžaduje automatické rozpoznání použitého kódování a jazyka. Některé typy souborů nebo stránek obsahují vnitřní informaci o způsobu kódování. Ovšem může dojít ke konfliktům, např. mezi hlavičkami protokolu HTTP a značkou meta. Někdy je vhodné ověřovat správnost kódování souborů, i když je kódování známé. Není-li identifikace způsobu kódování dostupná, je třeba použít metodu automatického rozpoznávání kódování a jazyka. Jednou z nich je metoda n-gramů. Byla již mnohokrát použita na kategorizaci textů v mnoha programech a v různých programovacích jazycích. Na základě testů se zdá, že automatické rozpoznání češtiny a dalších slovanských jazyků bývá méně úspěšné než rozpoznání jazyků západních. Zjištění příčin a hledání lepších řešení je proto i dnes přínosné. Důležitými parametry úlohy jsou délka vstupního textu a použití více jazyků v jednom dokumentu. Předpokládáme, že text neobsahuje věty v několika různých jazycích. Bakalářská práce má obsahovat kromě základní analýzy i softwarové řešení dílčích problémů, ať už ve formě samostatných programů nebo zásuvných modulů. Processing simple or complex texts (MIME type - application) often requires automatic recognition of encoding and language. Some types of files or pages contain an internal information about the encoding method. There might be some conflicts, however, eg. between the HTTP header and the meta tag. Sometimes it may be useful to verify the accuracy of the file encoding even when the encoding is known. In case that the identification of encoding is not available it is necessary to use a method of automatic recognition of encoding and language. One such method is an n-grams method. It has been used many times to categorize texts in many programs and in various programming languages. Based on tests results, it seems that the automatic recognition of the Czech language and other Slavic languages is less successful than the recognition of Western languages. Determining the reasons and searching for better solutions is therefore beneficial even nowadays. The length of the input text and the use of various languages in one document are important parameters. This thesis does not take text consisting of sentences in several different languages into consideration. In addition to a basic analysis of the topic, the thesis also includes a software solution to particular problems in a form of independent programs or plug-ins.
Klíčová slova: bajt; glyf; HTML; kódování znaků; n-gram; textový soubor; Unicode; znak; znaková sada; byte; character; character set; character-encoding; glyph; HTML; n-gram; text file; Unicode

Instituce: Vysoká škola ekonomická v Praze (web)
Informace o dostupnosti dokumentu: Dostupné v digitálním repozitáři VŠE.
Původní záznam: http://www.vse.cz/vskp/eid/45896

Trvalý odkaz NUŠL: http://www.nusl.cz/ntk/nusl-196001


Záznam je zařazen do těchto sbírek:
Školství > Veřejné vysoké školy > Vysoká škola ekonomická v Praze
Vysokoškolské kvalifikační práce > Bakalářské práce