|
|
Zpracování síťové komunikace v prostředí Apache Spark
Béder, Michal ; Veselý, Vladimír (oponent) ; Ryšavý, Ondřej (vedoucí práce)
Táto práca rieši spôsob návrhu aplikácie na analýzu dát sieťovej komunikácie v prostredí distribuovaného systému Apache Spark. Implementáciu je možné rozdeliť do troch častí. Prvou je načítanie dát z distribuovaného úložiska HDFS, druhou analýza podporovaných sieťových protokolov a treťou distribuované vyhodnotenie výsledkov. Po vyhodnotení sú výstupy zobrazené v prostredí Apache Zeppelin. Výsledná aplikácia je schopná analyzovať jednotlivé pakety ako aj celé sieťové toky. Podporovanými formátmi vstupných dát sú pcap a JSON. Hlavným prínosom aplikácie je možnosť spracovania veľkých objemov dát. Jej výkonnosť je ovplyvnená hlavne formátom vstupných dát a využitím dostupných výpočetných jadier.
|
|
|
DCSN: Platform for Distributed Computing in Small Networks
Háva, Jakub ; Marek, Lukáš (vedoucí práce) ; Falt, Zbyněk (oponent)
Tato práce popisuje platformu pro distribuované zpracovávání úloh v malých sítích. Platforma by měla být lehko použitelná a vhodná pro běžné nasazení v lokálních sítích. Implementace se řidí klasickou klient-server architekturou a komunikace mezi klientem a serverem je založená na principu Remote Method Invocation. Server je zodpovědný za distribuování úloh a další výpočetní management. Klient přijímá a interpretuje příkazy od uživatele, zprostředkovává komunikaci se serverem a slouží také ke zpracování úloh přijatých od serveru. Uživatel zasílá na server výpočetní projekt skládající se ze dvou částí: zip archivu obsahující datové soubory a JAR archivu obsahující konfigurační soubor společně s Java třídami vyžadovaných k provedení výpočtu na uživatelských datech. Uživateli jsou poskytovány prostředky pro zjištovaní stavu projektu, pozastavení, stáhnutí nebo zrušení výpočtu projektu. Powered by TCPDF (www.tcpdf.org)
|
|
|
History and Backup Support for zlomekFS
Wartiak, Rastislav ; Babka, Vlastimil (vedoucí práce) ; Obdržálek, David (oponent)
zlomekFS je distribuovaný souborový systém, který umožňuje práci se sdílenými soubory i bez aktivního připojení, s využitím lokální kopie. Během synchronizace lokálních změn nabízí jednoduchý mechanizmus řešení konfliktních změn. Dalším vývojem se stal souborovým systémem bez specifického kódu v jádru. Může si tak v budoucnu získat popularitu mezi uživateli. Jelikož může být obsah tohoto souborového systému aktualizován více uživateli, může být ukládání historie změn užitečnou vlastností. Tato práce realizuje verzování souboru v zlomekFS, vyřešením otázek jako způsob uložení verzí a přístup k nim. Systém je dále rozšířen o možnost zálohování s využitím verzování. Nová funkcionalita je odvozena z analýzy jiných soborových systémů s obdobnými možnostmi a výběru nejvhodnejšího způsobu pro zlomekFS.
|
|
|
Zpracování síťové komunikace v prostředí Apache Spark
Béder, Michal ; Veselý, Vladimír (oponent) ; Ryšavý, Ondřej (vedoucí práce)
Táto práca rieši spôsob návrhu aplikácie na analýzu dát sieťovej komunikácie v prostredí distribuovaného systému Apache Spark. Implementáciu je možné rozdeliť do troch častí. Prvou je načítanie dát z distribuovaného úložiska HDFS, druhou analýza podporovaných sieťových protokolov a treťou distribuované vyhodnotenie výsledkov. Po vyhodnotení sú výstupy zobrazené v prostredí Apache Zeppelin. Výsledná aplikácia je schopná analyzovať jednotlivé pakety ako aj celé sieťové toky. Podporovanými formátmi vstupných dát sú pcap a JSON. Hlavným prínosom aplikácie je možnosť spracovania veľkých objemov dát. Jej výkonnosť je ovplyvnená hlavne formátom vstupných dát a využitím dostupných výpočetných jadier.
|
|
|
Zhodnocení použitelnosti Raspberry Pi pro distribuované výpočty
Stefan, Petr ; Kruliš, Martin (vedoucí práce) ; Jančík, Pavel (oponent)
Cílem práce bylo zhodnotit výkonnostní vlastnosti mikropočítače Raspberry Pi, a to pře- devším z hlediska možnosti sestavení výpočetního klastru z více těchto jednotek. Součástí práce bylo vytvoření sady testů pro měření výpočetního výkonu procesoru, propustnosti operační paměti, rychlosti zápisu a čtení z persistentního úložiště (paměťové karty) a pro- pustnosti síťového rozhraní Ethernet. Na základě porovnání výsledků získaných měřením na Raspberry Pi a na vhodném reprezentativním vzorku dalších běžně dostupných počítačů bylo provedeno doporučení, zda je konstrukce Raspberry Pi klastru opodstatněná. Tyto výsledky rovněž poskytly přibližné ekonomické a výkonnostní projekce takového řešení. 1
|
|
|
DCSN: Platform for Distributed Computing in Small Networks
Háva, Jakub ; Marek, Lukáš (vedoucí práce) ; Falt, Zbyněk (oponent)
Tato práce popisuje platformu pro distribuované zpracovávání úloh v malých sítích. Platforma by měla být lehko použitelná a vhodná pro běžné nasazení v lokálních sítích. Implementace se řidí klasickou klient-server architekturou a komunikace mezi klientem a serverem je založená na principu Remote Method Invocation. Server je zodpovědný za distribuování úloh a další výpočetní management. Klient přijímá a interpretuje příkazy od uživatele, zprostředkovává komunikaci se serverem a slouží také ke zpracování úloh přijatých od serveru. Uživatel zasílá na server výpočetní projekt skládající se ze dvou částí: zip archivu obsahující datové soubory a JAR archivu obsahující konfigurační soubor společně s Java třídami vyžadovaných k provedení výpočtu na uživatelských datech. Uživateli jsou poskytovány prostředky pro zjištovaní stavu projektu, pozastavení, stáhnutí nebo zrušení výpočtu projektu. Powered by TCPDF (www.tcpdf.org)
|
|
|
History and Backup Support for zlomekFS
Wartiak, Rastislav ; Babka, Vlastimil (vedoucí práce) ; Marek, Lukáš (oponent)
zlomekFS je distribuovaný souborový systém, který umožnuje práci se sdílenými soubory i bez aktivního pripojení, s využitím lokální kopie. Behem synchronizace lokálních zmen nabízí jednoduchý mechanizmus rešení konfliktních zmen. Dalším vývojem se stal souborovým systémem bez specifického kódu v jádru. Muže si tak v budoucnu získat popularitu mezi uživateli. Jelikož muže být obsah tohoto souborového systému aktualizován více uživateli, muže být ukládání historie zmen užitecnou vlastností. Tato práce realizuje verzování souboru v zlomekFS, vyrešením otázek jako zpusob uložení verzí a prístup k nim. Systém je dále rozšíren o možnost zálohování s využitím verzování. Nová funkcionalita je odvozena z analýzy jiných soborových systému s obdobnými možnostmi a výberu nejvhodnejšího zpusobu pro zlomekFS.
|
|
|
History and Backup Support for zlomekFS
Wartiak, Rastislav ; Babka, Vlastimil (vedoucí práce) ; Obdržálek, David (oponent)
zlomekFS je distribuovaný souborový systém, který umožňuje práci se sdílenými soubory i bez aktivního připojení, s využitím lokální kopie. Během synchronizace lokálních změn nabízí jednoduchý mechanizmus řešení konfliktních změn. Dalším vývojem se stal souborovým systémem bez specifického kódu v jádru. Může si tak v budoucnu získat popularitu mezi uživateli. Jelikož může být obsah tohoto souborového systému aktualizován více uživateli, může být ukládání historie změn užitečnou vlastností. Tato práce realizuje verzování souboru v zlomekFS, vyřešením otázek jako způsob uložení verzí a přístup k nim. Systém je dále rozšířen o možnost zálohování s využitím verzování. Nová funkcionalita je odvozena z analýzy jiných soborových systémů s obdobnými možnostmi a výběru nejvhodnejšího způsobu pro zlomekFS.
|
|
|
Distributed P2P Data Backup System
Mészáros, István ; Herout, Adam (oponent) ; Szőke, Igor (vedoucí práce)
This master's thesis briefly presents a model and a prototype of a cooperative distributed data storage system based on P2P network communication. The system design lets the users to contribute their local free space in exchange of reliable remote storage, which is a virtually co-allocated space on other users' devices. The introduced solution tries to meet the users' requirements for data storing, meanwhile work around the issue of their unpredictability when it comes to contribution of free space. This is mainly done by harnessing the capabilities of Reed-Solomon codes, but by providing adjustable parameters for the contributions as well. One of these parameters is the time frame, which describes when can a user offer contribution to the system. The second parameter refers to the reliability of the user inside his promised time frame. The system is responsible for finding partner contributions for data storage based on these parameters. This thesis also focuses on solving the wider spectrum security issues of the system. The main goal of this work was to publish the prototype and the concept itself. As this is a relatively new solution and design, feedback is required from the public, which is also the main source for further designing and developing the system.
|
host ::
RSS.