|
|
BigData Approach to Management of Large Netflow Datasets
Melkes, Miloslav ; Ráb, Jaroslav (referee) ; Ryšavý, Ondřej (advisor)
This master‘s thesis focuses on distributed processing of big data from network communication. It begins with exploring network communication based on TCP/IP model with focus on data units on each layer, which is necessary to process during analyzation. In terms of the actual processing of big data is described programming model MapReduce, architecture of Apache Hadoop technology and it‘s usage for processing network flows on computer cluster. Second part of this thesis deals with design and following implementation of the application for processing network flows from network communication. In this part are discussed main and problematic parts from the actual implementation. After that this thesis ends with a comparison with available applications for network analysis and evaluation set of tests which confirmed linear growth of acceleration.
|
|
| |
|
|
Temporary Zone
Maňas, Kristian ; Zálešák, Jan (referee) ; Kögler, Žaneta (advisor)
Temporary zone is open-source design studio. This diploma thesis is concerned with origin of the project and its theoretic background. Theoretic part of the thesis defines the term „open-source design“ and tries to explain motivations behind creation of Temporary zone.
|
|
|
Exploratory Analysis of Big Data in "jmenomesto"
Trampeška, Václav ; Plchot, Oldřich (referee) ; Landini, Federico Nicolás (advisor)
Tato práce se zabývá analýzou databáze online hry Jméno, město. V této hře mají hráči za úkol adekvátně odpovídat na zadané kategorie odpovědmi začínající na zadané písmeno. Práce analyzuje evoluci chování hráčů během existence hry a chování hráčů v různých zemích a kulturách v rámci stejného i jiného jazyka na základě popularity různých odpovědí. Pro zjednodušení vykonávání těchto analýz byla vyvinuta webová aplikace umožňující snadnou kolekci a vizualizaci dat v grafech bez nutnosti znalosti databázové struktury a dotazovacího jazyka. Výsledky navržených analyzačních metod jsou porovnávány s daty služby Google Trends za účelem zjištění podobností mezi daty sledovanými ve hře a internetovým vyhledáváním. Z toho porovnání vyplývá, že navržené metody mohou dávat smysluplné výsledky a databáze tedy může být vhodnou pro vykonávání dalších konkrétně zaměřených analýz. Práce dále, i na základě výsledků analýz, navrhuje změny pro zlepšení hry v rámci hráčského prožitku a výdělečnosti.
|
|
|
Big Data Processing in Industry 4.0
Trubka, Jakub ; Fajčík, Martin (referee) ; Smrž, Pavel (advisor)
This thesis deals with collecting, processing, and storing big data obtained from monitoring industry machines. The designed and implemented system focuses on extensibility and scalability attributes of the realised solution. The survey part of the text briefly describes existing solutions and discusses collecting and processing big industrial data. A special attention is also paid to the big data storage technology. The crucial part of the thesis then refers to the design and realisation of the system and its individual components, as well as its testing and final evaluation.
|
|
|
Comparison of Annotation Tools
Prexta, Dávid ; Otrusina, Lubomír (referee) ; Dytrych, Jaroslav (advisor)
This work deals with the comparison of annotation tools when working with various data sets, and obtaining the results of comparisons useful for improving the knowledge base of the annotators. The thesis analyzes the existing solutions and their drawbacks, from which the proposals of the new solution are deduced. The other sections deals with the design, implementation and testing of the resulting tool, which is evaluated at the conclusion, and possible future extensions are suggested.
|
|
|
Platform for Defining and Processing of Data
Hala, Karel ; Večeřa, Martin (referee) ; Kříž, Jiří (advisor)
This diploma thesis deals with creating platform which serves for easy manipulation with large data set. There are numerous technical knowledge described in this thesis to understand web development. Later there are proposed approaches of how to make as easy as possible for user to define and work with large data sets. Platform is written and created in a way, that it is easy to extend eny part of it.
|
|
|
Big Data
Bútora, Matúš ; Bartík, Vladimír (referee) ; Hruška, Tomáš (advisor)
The aim of the bachelor thesis is to describe the Big Data issue and the OLAP aggregate operations. These operations are applied using Apache Hadoop technology. Most of the work is focused on the description of this technology. The last chapter contains application of aggregate operations and their implementation, following the conclusion of the work and the possibility for future development.
|
|
|
Network Traces Analysis Using Apache Spark
Béder, Michal ; Veselý, Vladimír (referee) ; Ryšavý, Ondřej (advisor)
The aim of this thesis is to show how to design and implement an application for network traces analysis using Apache Spark distributed system. Implementation can be divided into three parts - loading data from a distributed HDFS storage, supported network protocols analysis and distributed data processing. As a data visualization tool is used web-based notebook Apache Zeppelin. The resulting application is able to analyze individual packets as well as the entire flows. It supports JSON and pcap as input data formats. The goal of the application is to allow Big Data processing. The greatest impact on its performance has the input data format and allocation of the available cores.
|
|
|
Analysis of Operational Data and Detection od Anomalies during Supercomputer Job Execution
Stehlík, Petr ; Nikl, Vojtěch (referee) ; Jaroš, Jiří (advisor)
V posledních letech jsou superpočítače stále větší a složitější, s čímž souvisí problém využití plného potenciálu systému. Tento problém se umocňuje díky nedostatku nástrojů pro monitorování, které jsou specificky přizpůsobeny uživatelům těchto systémů. Cílem práce je vytvořit nástroj, nazvaný Examon Web, pro analýzu a vizualizaci provozních dat superpočítače a provést nad těmito daty hloubkovou analýzu pomocí neurálních sítí. Ty určí, zda daná úloha běžela korektně, či vykazovala známky podezřelého a nežádoucího chování jako je nezarovnaný přístup do operační paměti nebo např. nízké využití alokovaých zdrojů. O těchto faktech je uživatel informován pomocí GUI. Examon Web je postavený na frameworku Examon, který sbírá a procesuje metrická data ze superpočítače a následně je ukládá do databáze KairosDB. Implementace zahrnuje disciplíny od návrhu a implementace GUI, přes datovou analýzu, těžení dat a neurální sítě až po implementaci rozhraní na serverové straně. Examon Web je zaměřen zejména na uživatele, ale může být také využíván administrátory. GUI je vytvořeno ve frameworku Angular s knihovnami Dygraphs a Bootstrap. Uživatel díky tomu může analyzovat časové řady různých metrik své úlohy a stejně jako administrátor se může informovat o současném stavu superpočítače. Tento stav je zobrazen jako několik globálně agregovaných metrik v posledních 30 minutách nebo jako 3D model (či 2D model) superpočítače, který získává data ze samotných uzlů pomocí protokolu MQTT. Pro kontinuální získávání dat bylo využito rozhraní WebSocket s vlastním mechanismem přihlašování a odhlašování konkretních metrik zobrazovaných v modelu. Při analýze spuštěné úlohy má uživatel dostupné tři různé pohledy na danou úlohu. První nabízí celkový přehled o úloze a informuje o využitých zdrojích, času běhu a vytížení části superpočítače, kterou úloha využila společně s informací z neurálních sítí o podezřelosti úlohy. Další dva pohledy zobrazují metriky z výkonnostiního energetického hlediska. Pro naučení neurálních sítí bylo potřeba vytvořit novou datovou sadu ze superpočítače Galileo. Tato sada obsahuje přes 1100 úloh monitorovaných na tomto superpočítači z čehož 500 úloh bylo ručně anotováno a následně použito pro trénování sítí. Neurální sítě využívají model back-propagation, vhodný pro anotování časových sérií fixní délky. Celkem bylo vytvořeno 12 sítí pro metriky zahrnující vytížení procesoru, paměti a dalších části a např. také podíl celkového času procesoru v úsporném režimu C6. Tyto sítě jsou na sobě nezávislé a po experimentech jejich finální konfigurace 80-20-4-3-1 (80 vstupních až 1 výstupní neuron) podávaly nejlepší výsledky. Poslední síť (v konfiguraci 12-4-3-1) anotovala výsledky předešlých sítí. Celková úspěšnost systému klasifikace do 2 tříd je 84 %, což je na použitý model velmi dobré. Výstupem této práce jsou dva produkty. Prvním je uživatelské rozhraní a jeho serverová část Examon Web, která jakožto rozšiřující vrstva systému Examon pomůže s rozšířením daného systému mezi další uživatele či přímo další superpočítačová centra. Druhým výstupem je částečně anotovaná datová sada, která může pomoci dalším lidem v jejich výzkumu a je výsledkem spolupráce VUT, UNIBO a CINECA. Oba výstupy budou zveřejněny s otevřenými zdrojovými kódy. Examon Web byl prezentován na konferenci 1st Users' Conference v Ostravě pořádanou IT4Innovations. Další rozšíření práce může být anotace datové sady a také rozšíření Examon Web o rozhodovací stromy, které určí přesný důvod špatného chování dané úlohy.
|
guest ::
