|
|
Optimalizace sledování síťových toků
Žádník, Martin ; Lhotka,, Ladislav (oponent) ; Matoušek, Radomil (oponent) ; Sekanina, Lukáš (vedoucí práce)
Tato disertační práce se zabývá optimalizací sledování síťových toků. Sledování síťových toků spočívá ve sledování jejich stavu a je klíčovou úlohou pro řadu síťových aplikací. S každým příchodem paketu je nutné aktualizovat hodnoty stavu, což zahrnuje přístupy do paměti. Vzhledem k vysoké propustnosti linek a obrovskému množství souběžných toků hraje přístup do paměti kritickou roli ve výkonnosti stavového zpracování síťového provozu. Tento problém se řeší různými technikami. Tyto techniky ale ve výsledku vždy požadují, aby nejblíže zpracování provozu byla nasazena paměť s nízkou odezvou, cache toků, schopná vyřídit všechny přístupy. Cache toků má proto omezenou kapacitu a její efektivní správa má zásadní vliv na výkonnost a výsledky zpracování síťového provozu. Vzhledem ke specifikům síťového provozu nemusí být stávající správy vhodné pro správu cache toků. Disertační práce se proto zabývá automatizovaným vývojem správy cache na základě reálného provozu dané sítě. Automatizace vývoje správy cache toků je realizována pomocí genetického algoritmu. Genetický algoritmus vyvíjí nová řešení a hodnotí je simulací nad vzorkem provozu z různých sítí. Navržený postup je ověřen na vývoji správ pro dva problémy. Prvním problémem je vývoj správy, která bude vykazovat celkově nízký počet výpadků stavů z cache toků. Druhým problémem je vývoj správy, která bude vykazovat velmi nízký počet výpadků u velkých toků. Optimalizace zakódování správy a experimenty s parametry genetického algoritmu ukázují, že je možné nalézt správy cache toků, které jsou optimalizované pro specifika daného nasazení. Nově vyvinuté správy poskytují lepší výsledky než ostatní testované správy. Z hlediska snížení celkového počtu výpadků je vyvinuta správa, která snižuje počet výpadků na konkrétní datové sadě až o deset procent vůči nejlepší porovnávané správě. Z pohledu snížení počtu výpadků u velkých toků je dosaženo vyvinutou správou až dvojnásobného snížení výpadků. Většina velkých toků (více než 90%) nezaznamenala při použití vyvinuté správy dokonce ani jeden výpadek. Rovněž během záplav nových toků, které se v síťovém provozu vyskytují v souvislosti se skenováním sítí a útoky, se ukazují velmi dobré vlastnosti vyvinuté správy. V rámci práce je rovněž navrženo rozšíření správy o využití doplňkové informace ze záhlaví příchozích paketů. Výsledky ukazují, že kombinací této informace lze počet výpadků u správ dále snižovat.
|
|
|
Software-Controlled Network Traffic Monitoring
Kekely, Lukáš ; Antichi, Gianni (oponent) ; Lhotka,, Ladislav (oponent) ; Kořenek, Jan (vedoucí práce)
This dissertation thesis deals with the design of a novel hardware acceleration, software controlled (defined) concept for high-speed computer networks. The main goal is to propose general, flexible and easy to use acceleration platform for various network security and monitoring applications suitable for deployment in real 100\,Gbps and faster networks. The thesis starts with the survey of the current state of the art in network monitoring, security and accelerated high-speed traffic processing. Based on the survey, a brand-new concept called Software Defined Monitoring (SDM) is formulated and proposed. A key feature of the concept lies in hardware accelerated, application specific (controlled), flow based, informed reduction and distribution of captured network traffic. This brings high-speed hardware processing coupled with flexible software control, which together leads to an easy creation of various complex high-performance network applications. Further optimizations and enhancements of the main SDM concept and its selected components are also explored resulting in creation of unique and novel designs of generally usable FPGA architecture of modular packet header parser and cuckoo hash based high-throughput packet classification engine. Finally, high-speed SDM prototype using FPGA acceleration network interface card is created and thoroughly evaluated under real network conditions. Achievable performance improvements in several chosen monitoring and security use case scenarios are measured and shown. The SDM prototype is also deployed in production monitoring of real backbone network by Cesnet association and has been commercialized by Netcope Technologies.
|
|
|
Reputace zdrojů škodlivého provozu
Bartoš, Václav ; Lhotka,, Ladislav (oponent) ; Vozňák, Miroslav (oponent) ; Kořenek, Jan (vedoucí práce)
Při zajišťování bezpečnosti počítačových sítí je mimo jiné nezbytné získávat a zpracovávat informace o existujících hrozbách, ať už odvozené z hlášení vlastních detekčních nástrojů či pocházející od třetích stran. Mezi takové informace patří i seznamy síťových entit (IP adres, doménových jmen, URL apod.), které byly identifikovány jako škodlivé. V mnoha případech však prostá binární informace, zda je daná entita škodlivá či nikoliv, nestačí. Je vhodné mít ke každé entitě i další data popisující jí prováděné škodlivé aktivity a také shrnující skóre, které její reputaci vyjádří číselně. To umožní jednak rychlé zhodnocení míry hrozby, kterou určitá entita představuje, a zároveň umožní entity porovnávat a řadit. Tato práce se zabývá návrhem právě takového reputačního skóre. Navržené skóre, nazvané Future Maliciousness Probability (FMP skóre), je hodnota mezi 0 a 1 přiřazená každé podezřelé síťové entitě a vyjadřující pravděpodobnost, že bude daná entita v nejbližší době (znovu) provádět určitou škodlivou činnost. Výpočet tohoto skóre je tedy založen na předpovědi budoucích útoků. Tato předpověď vychází z historie přijatých hlášení o bezpečnostních událostech a z dalších relevantních dat týkajících se dané entity a je založena na pokročilých metodách strojového učení. Metoda výpočtu skóre je v práci nejprve popsána obecně, pro libovolný typ entity a vstupní data, a poté je přizpůsobena pro konkrétní případ - hodnocení IPv4 adres na základě hlášení ze systému pro sdílení bezpečnostních událostí a doplňujících dat z reputační databáze. Tato varianta pak byla vyhodnocena na reálných datech. Kvůli potřebě získat dostatečně velkou a kvalitní datovou sadu pro toto vyhodnocení se část práce věnuje i oblasti detekce bezpečnostních událostí, konkrétně vývoji frameworku pro analýzu dat o síťových tocích NEMEA a návrhu několika nových detekčních metod. Dále je popsán návrh a implementace otevřené reputační databáze NERD, která slouží k udržování profilů nahlášených IP adres. Data z těchto systémů pak byla využita jak pro vyhodnocení přesnosti predikce, tak pro vyhodnocení vybraných případů použití výsledného FMP skóre.
|
|
|
Packet Classification Algorithms
Puš, Viktor ; Lhotka,, Ladislav (oponent) ; Dvořák, Václav (vedoucí práce)
This thesis deals with packet classification in computer networks. Classification is the key task in many networking devices, most notably packet filters - firewalls. This thesis therefore concerns the area of computer security. The thesis is focused on high-speed networks with the bandwidth of 100 Gb/s and beyond. General-purpose processors can not be used in such cases, because their performance is not sufficient. Therefore, specialized hardware is used, mainly ASICs and FPGAs. Many packet classification algorithms designed for hardware implementation were presented, yet these approaches are not ready for very high-speed networks. This thesis addresses the design of new high-speed packet classification algorithms, targeted for the implementation in dedicated hardware. The algorithm that decomposes the problem into several easier sub-problems is proposed. The first subproblem is the longest prefix match (LPM) operation, which is used also in IP packet routing. As the LPM algorithms with sufficient speed have already been published, they can be used in out context. The following subproblem is mapping the prefixes to the rule numbers. This is where the thesis brings innovation by using a specifically constructed hash function. This hash function allows the mapping to be done in constant time and requires only one memory with narrow data bus. The algorithm throughput can be determined analytically and is independent on the number of rules or the network traffic characteristics. With the use of available parts the throughput of 266 million packets per second can be achieved. Additional three algorithms (PFCA, PCCA, MSPCCA) that follow in this thesis are designed to lower the memory requirements of the first one without compromising the speed. The second algorithm lowers the memory size by 11 % to 96 %, depending on the rule set. The disadvantage of low stability is removed by the third algorithm, which reduces the memory requirements by 31 % to 84 %, compared to the first one. The fourth algorithm combines the third one with the older approach and thanks to the use of several techniques lowers the memory requirements by 73 % to 99 %.
|
|
|
Reputace zdrojů škodlivého provozu
Bartoš, Václav ; Lhotka,, Ladislav (oponent) ; Vozňák, Miroslav (oponent) ; Kořenek, Jan (vedoucí práce)
Při zajišťování bezpečnosti počítačových sítí je mimo jiné nezbytné získávat a zpracovávat informace o existujících hrozbách, ať už odvozené z hlášení vlastních detekčních nástrojů či pocházející od třetích stran. Mezi takové informace patří i seznamy síťových entit (IP adres, doménových jmen, URL apod.), které byly identifikovány jako škodlivé. V mnoha případech však prostá binární informace, zda je daná entita škodlivá či nikoliv, nestačí. Je vhodné mít ke každé entitě i další data popisující jí prováděné škodlivé aktivity a také shrnující skóre, které její reputaci vyjádří číselně. To umožní jednak rychlé zhodnocení míry hrozby, kterou určitá entita představuje, a zároveň umožní entity porovnávat a řadit. Tato práce se zabývá návrhem právě takového reputačního skóre. Navržené skóre, nazvané Future Maliciousness Probability (FMP skóre), je hodnota mezi 0 a 1 přiřazená každé podezřelé síťové entitě a vyjadřující pravděpodobnost, že bude daná entita v nejbližší době (znovu) provádět určitou škodlivou činnost. Výpočet tohoto skóre je tedy založen na předpovědi budoucích útoků. Tato předpověď vychází z historie přijatých hlášení o bezpečnostních událostech a z dalších relevantních dat týkajících se dané entity a je založena na pokročilých metodách strojového učení. Metoda výpočtu skóre je v práci nejprve popsána obecně, pro libovolný typ entity a vstupní data, a poté je přizpůsobena pro konkrétní případ - hodnocení IPv4 adres na základě hlášení ze systému pro sdílení bezpečnostních událostí a doplňujících dat z reputační databáze. Tato varianta pak byla vyhodnocena na reálných datech. Kvůli potřebě získat dostatečně velkou a kvalitní datovou sadu pro toto vyhodnocení se část práce věnuje i oblasti detekce bezpečnostních událostí, konkrétně vývoji frameworku pro analýzu dat o síťových tocích NEMEA a návrhu několika nových detekčních metod. Dále je popsán návrh a implementace otevřené reputační databáze NERD, která slouží k udržování profilů nahlášených IP adres. Data z těchto systémů pak byla využita jak pro vyhodnocení přesnosti predikce, tak pro vyhodnocení vybraných případů použití výsledného FMP skóre.
|
|
|
Software-Controlled Network Traffic Monitoring
Kekely, Lukáš ; Antichi, Gianni (oponent) ; Lhotka,, Ladislav (oponent) ; Kořenek, Jan (vedoucí práce)
This dissertation thesis deals with the design of a novel hardware acceleration, software controlled (defined) concept for high-speed computer networks. The main goal is to propose general, flexible and easy to use acceleration platform for various network security and monitoring applications suitable for deployment in real 100\,Gbps and faster networks. The thesis starts with the survey of the current state of the art in network monitoring, security and accelerated high-speed traffic processing. Based on the survey, a brand-new concept called Software Defined Monitoring (SDM) is formulated and proposed. A key feature of the concept lies in hardware accelerated, application specific (controlled), flow based, informed reduction and distribution of captured network traffic. This brings high-speed hardware processing coupled with flexible software control, which together leads to an easy creation of various complex high-performance network applications. Further optimizations and enhancements of the main SDM concept and its selected components are also explored resulting in creation of unique and novel designs of generally usable FPGA architecture of modular packet header parser and cuckoo hash based high-throughput packet classification engine. Finally, high-speed SDM prototype using FPGA acceleration network interface card is created and thoroughly evaluated under real network conditions. Achievable performance improvements in several chosen monitoring and security use case scenarios are measured and shown. The SDM prototype is also deployed in production monitoring of real backbone network by Cesnet association and has been commercialized by Netcope Technologies.
|
|
|
Packet Classification Algorithms
Puš, Viktor ; Lhotka,, Ladislav (oponent) ; Dvořák, Václav (vedoucí práce)
This thesis deals with packet classification in computer networks. Classification is the key task in many networking devices, most notably packet filters - firewalls. This thesis therefore concerns the area of computer security. The thesis is focused on high-speed networks with the bandwidth of 100 Gb/s and beyond. General-purpose processors can not be used in such cases, because their performance is not sufficient. Therefore, specialized hardware is used, mainly ASICs and FPGAs. Many packet classification algorithms designed for hardware implementation were presented, yet these approaches are not ready for very high-speed networks. This thesis addresses the design of new high-speed packet classification algorithms, targeted for the implementation in dedicated hardware. The algorithm that decomposes the problem into several easier sub-problems is proposed. The first subproblem is the longest prefix match (LPM) operation, which is used also in IP packet routing. As the LPM algorithms with sufficient speed have already been published, they can be used in out context. The following subproblem is mapping the prefixes to the rule numbers. This is where the thesis brings innovation by using a specifically constructed hash function. This hash function allows the mapping to be done in constant time and requires only one memory with narrow data bus. The algorithm throughput can be determined analytically and is independent on the number of rules or the network traffic characteristics. With the use of available parts the throughput of 266 million packets per second can be achieved. Additional three algorithms (PFCA, PCCA, MSPCCA) that follow in this thesis are designed to lower the memory requirements of the first one without compromising the speed. The second algorithm lowers the memory size by 11 % to 96 %, depending on the rule set. The disadvantage of low stability is removed by the third algorithm, which reduces the memory requirements by 31 % to 84 %, compared to the first one. The fourth algorithm combines the third one with the older approach and thanks to the use of several techniques lowers the memory requirements by 73 % to 99 %.
|
|
|
Optimalizace sledování síťových toků
Žádník, Martin ; Lhotka,, Ladislav (oponent) ; Matoušek, Radomil (oponent) ; Sekanina, Lukáš (vedoucí práce)
Tato disertační práce se zabývá optimalizací sledování síťových toků. Sledování síťových toků spočívá ve sledování jejich stavu a je klíčovou úlohou pro řadu síťových aplikací. S každým příchodem paketu je nutné aktualizovat hodnoty stavu, což zahrnuje přístupy do paměti. Vzhledem k vysoké propustnosti linek a obrovskému množství souběžných toků hraje přístup do paměti kritickou roli ve výkonnosti stavového zpracování síťového provozu. Tento problém se řeší různými technikami. Tyto techniky ale ve výsledku vždy požadují, aby nejblíže zpracování provozu byla nasazena paměť s nízkou odezvou, cache toků, schopná vyřídit všechny přístupy. Cache toků má proto omezenou kapacitu a její efektivní správa má zásadní vliv na výkonnost a výsledky zpracování síťového provozu. Vzhledem ke specifikům síťového provozu nemusí být stávající správy vhodné pro správu cache toků. Disertační práce se proto zabývá automatizovaným vývojem správy cache na základě reálného provozu dané sítě. Automatizace vývoje správy cache toků je realizována pomocí genetického algoritmu. Genetický algoritmus vyvíjí nová řešení a hodnotí je simulací nad vzorkem provozu z různých sítí. Navržený postup je ověřen na vývoji správ pro dva problémy. Prvním problémem je vývoj správy, která bude vykazovat celkově nízký počet výpadků stavů z cache toků. Druhým problémem je vývoj správy, která bude vykazovat velmi nízký počet výpadků u velkých toků. Optimalizace zakódování správy a experimenty s parametry genetického algoritmu ukázují, že je možné nalézt správy cache toků, které jsou optimalizované pro specifika daného nasazení. Nově vyvinuté správy poskytují lepší výsledky než ostatní testované správy. Z hlediska snížení celkového počtu výpadků je vyvinuta správa, která snižuje počet výpadků na konkrétní datové sadě až o deset procent vůči nejlepší porovnávané správě. Z pohledu snížení počtu výpadků u velkých toků je dosaženo vyvinutou správou až dvojnásobného snížení výpadků. Většina velkých toků (více než 90%) nezaznamenala při použití vyvinuté správy dokonce ani jeden výpadek. Rovněž během záplav nových toků, které se v síťovém provozu vyskytují v souvislosti se skenováním sítí a útoky, se ukazují velmi dobré vlastnosti vyvinuté správy. V rámci práce je rovněž navrženo rozšíření správy o využití doplňkové informace ze záhlaví příchozích paketů. Výsledky ukazují, že kombinací této informace lze počet výpadků u správ dále snižovat.
|
|
| |
host ::
RSS.