|
|
OPTIMIZATION OF ALGORITHMS AND DATA STRUCTURES FOR REGULAR EXPRESSION MATCHING USING FPGA TECHNOLOGY
Kaštil, Jan ; Plíva, Zdeněk (oponent) ; Vlček, Karel (oponent) ; Kotásek, Zdeněk (vedoucí práce)
This thesis deals with fast regular expression matching using FPGA. Regular expression matching in high speed computer networks is computationally intensive operation used mostly in the field of the computer network security and in the field of monitoring of the network traffic. Current solutions do not achieve throughput required by modern networks with respect to all requirements placed on the matching unit. Innovative hardware architectures implemented in FPGA or ASIC have the highest throughput. This thesis describes two new architectures suitable for the FPGA and ASIC implementation. The basic idea of these architectures is to use perfect hash function to implement transitional function of deterministic finite automaton. Also, architecture that allows the user to introduce small probability of errors into the matching process in order to reduce memory requirement of the matching unit was introduced. The thesis contains analysis of the effect of these errors to overall reliability of the system and compares it to the reliability of currently used approach. The measurement of properties of regular expressions used in analysis of the traffic in modern computer networks was performed in the thesis. The analysis implies that most of the used regular expressions are suitable for the implementation by proposed architectures. To guarantee high throughput of the matching unit new algorithms for alphabet transformation is proposed. The algorithm allows to transform the automaton to accept several input characters per one transition. The main advantage of the proposed algorithm over currently used solutions is that it does not have any limitation over the number of characters that are accepted at once. Implemented architectures were compared with the current state of the art algorithm and 200MB memory reduction was achieve
|
|
|
Filtrování textů extrahovaných z PDF, OCR nebo webu
Žigárdi, Tomáš ; Plchot, Oldřich (oponent) ; Szőke, Igor (vedoucí práce)
Tato bakalářská práce se zabývá normalizací textů vzniklých převedením z různých formátů a vytvořením výslovnostních slovníků. Jednou z jejich možností využití je například při strojovém zpracování řeči. Analyzovány jsou chyby, které vznikají při převodu a původní řešení tohoto problému. Dále je uveden návrh a implementace normalizačních kroků a výslovnostních slovníků. Výsledky implementovaného řešení jsou vyhodnoceny a porovnány s existujícím řešením.
|
|
|
Konstrukce efektivních automatů pro rozpoznávání regulárních výrazů v HW
Frejlach, Jakub ; Havlena, Vojtěch (oponent) ; Češka, Milan (vedoucí práce)
Motivací této bakalářské práce je užití rozpoznávání regulárních výrazů v aplikačních doménách, kde je vyžadováno rychlé rozpoznávání jako například v hloubkové kontrole paketů. Během akcelerace jsou regulární výrazy ve formě nedeterministických konečných automatů syntetizovány na FPGA. Ačkoliv hardwarová akcelerace řeší rychlostní problémy, tak trpí zvýšenou spotřebou FPGA součástek, konkrétně LUT. Tato práce se zabývá návrhem, implementací a experimentálním vyhodnocením heuristické metody pro aproximaci konečných automatů pro rozpoznávání regulárních výrazů v hardware. Účelem této aproximace je snížení spotřeby LUT součástek při syntéze na FPGA. Princip redukční metody je založen na přidávání nových přechodů, čímž je zajištěna tvorba menšího počtu znakových tříd a je tak dosaženo zredukování spotřeby LUT při implementaci přechodů. Zavedená nepřesnost je minimalizována modifikací pouze méně významných částí automatu. Navržená metoda i s testovacím prostředím je implementována v nástroji TOFA. Technika byla vyhodnocena na syntetických i reálných datech. Výsledky experimentů ukázaly, že přechodová aproximace zvláště dobře funguje na automatech, kde se vyskytuje velký počet znakových tříd.
|
|
|
Měření spolehlivosti vyhledávání vzorů
Dvořák, Milan ; Košař, Vlastimil (oponent) ; Kaštil, Jan (vedoucí práce)
Tato práce se zabývá metodami vyhledávání vzorů pomocí konečných automatů a popisuje některé optimalizace těchto algoritmů. Dále rozebírá návrh a implementaci metodiky pro měření spolehlivosti vyhledávání na základě srovnávání s výsledky PCRE knihovny. Experimentální měření byla provedena pro konečný automat s perfektním hašováním a chybující přechodovou tabulkou. Nakonec je prezentováno výsledné hodnocení spolehlivosti algoritmu spolu s návrhem řešení zjištěných problémů.
|
|
|
Paralelní lexikální analyzátor
Ježek, Lukáš ; Koutný, Jiří (oponent) ; Čermák, Martin (vedoucí práce)
Tato práce se zabývá generováním lexikálního analyzátoru, který analyzuje soubor paralelně, tj. několika vlákny. Analyzátor je vygenerován na základě regulárního jazyka a reprezentován konečným automatem s potřebnými funkcemi. Důraz je zde kladen právě na paralelní zpracování. Diskutuje možnost zpracování dopřednými a zpětnými vlákny. V implementaci byla zvolena metoda dopředných vláken. Rozebírá problémy, které se vyskytly při implementaci a způsobily, že výsledný program nedosáhl téměř žádného zrychlení.
|
|
| |
|
|
Prohledávání textových souborů pomocí regulárních výrazů
Šimek, Ota ; Samek, Jan (oponent) ; Rozman, Jaroslav (vedoucí práce)
Tato práce se zabývá návrhem, analýzou a implementací programu, který slouží pro vyhledávání určitých částí textu v textových a xml souborech. Pro vyhledávání je nutné vytvářet šablony pomocí dvou technik porovnávání textu. Jedná se o regulární výrazy a XPath výrazy. Toto je popsáno v první kapitole. Aplikace umožňuje zpracovávat velké množství souborů a také soubory s velkým obsahem.
|
|
|
Systém pro převod slovníků do podoby lépe využitelné pro strojový překlad
Schovajsa, Michal ; Kouřil, Jan (oponent) ; Smrž, Pavel (vedoucí práce)
Práce se zabývá zpracováním slovníků v elektronické podobě, jejich převodem do jednotné podoby a zejména problémy při tomto procesu vzniklými. Předmětem práce je vytvoření systému pro odstranění některých z těchto problémů s cílem usnadnit strojové zpracování slovníků. Nejprve jsou rozebrány jednotlivé problémy slovníků převedených do jednotné podoby. Poté se práce zabývá jejich řešením a tvorbou nástrojů k tomu určených. Závěrem jsou vyhodnoceny výsledky a úspešnost vytvořených nástrojů.
|
|
|
Automatické shlukování regulárních výrazů
Stanek, Timotej ; Kořenek, Jan (oponent) ; Kaštil, Jan (vedoucí práce)
Práce pojednává o detekci útoků na počítačové síti pomocí IDS systémů. IDS obsahují pravidla pro detekci ve formě regulárních výrazů, které jsou při detekci reprezentovány pomocí konečných automatů. Je vysvětlena náročnost této detekce pomocí nedeterministických a deterministických konečných automatů. Tuto náročnost je možné redukovat pomocí shlukování regulárních výrazů. Je uvedem shlukovací algoritmus a možné přístupy jak tento algoritmus vylepšit a zrychlit. Jedním z přístupů je genetický algoritmus, který dokáže pracovat v reálném čase. Nakonec je popsán přítup pomocí algoritmu Random Search. Na~závěr jsou prezentovány výsledky experimentů s těmito přístupy a jsou porovnány mezi sebou.
|
|
|
Konstrukce zobecněného konečného automatu
Šoka, Martin ; Košař, Vlastimil (oponent) ; Kaštil, Jan (vedoucí práce)
Práce se zabývá vytvořením algoritmu pro konstrukci deterministického zobecněného konečného automatu. Tento automat se od obyčejného deterministického automatu liší tím, že jeho přechody jsou definovány slovy, na základě čeho je možné zredukovat počet stavů obyčejného deterministického automatu. V úvodě jsou vysvětleny základní pojmy, které jsou dále v práci používány. Dále práce popisuje algoritmus samotný, včetně podrobného popisu heuristiky k vyhledání maximálního acyklického podgrafu v grafu atomatu. Popsána je implementace algoritmu a experimentování s algoritmem vytvořenými automaty.
|
host ::
RSS.