|
|
BigData řešení pro zpracování rozsáhlých dat ze síťových toků
Melkes, Miloslav ; Ráb, Jaroslav (oponent) ; Ryšavý, Ondřej (vedoucí práce)
Tato diplomová práce se zaměřuje na problematiku distribuovaného zpracování velkých dat ze síťové komunikace. Začíná analýzou síťové komunikace založené na modelu TCP/IP se zaměřením na datové jednotky na jednotlivých vrstvách, které je nutno při analýze síťových dat zpracovávat. Z hlediska vlastního zpracování rozsáhlých dat je objasněn výpočetní model MapReduce, architektura technologie Apache Hadoop a jejich možné využití pro zpracování síťových toků na clusteru počítačů. Druhá část práce se zbývá návrhem a následnou implementací aplikace pro zpracování síťových toků ze zachycené síťové komunikace. V této části jsou rozebrány klíčové a problematické části z implementace. Celá práce je poté zakončena srovnáním s dostupnými nástroji pro síťovou analýzu a vyhodnocením sady testů, které potvrdili lineární růst zrychlení.
|
|
| |
|
|
Dočasná zóna
Maňas, Kristian ; Zálešák, Jan (oponent) ; Kögler, Žaneta (vedoucí práce)
Dočasná zóna je open-source design studio. Tato diplomová práce se zabývá vznikem projektu a jeho teoretickým základem ze kterého vychází. Teoretická část definuje pojem „open-source design“ a snaží se vysvětlit motivaci za vznikem Dočasné zóny.
|
|
|
Exploratory Analysis of Big Data in "jmenomesto"
Trampeška, Václav ; Plchot, Oldřich (oponent) ; Landini, Federico Nicolás (vedoucí práce)
This thesis is concerned with the analysis of the database of the online game Jméno, město. In this game, players are tasked with adequately answering given categories with answers beginning with a given letter. The thesis analyzes the evolution of player behaviour over the lifetime of the game and the behaviour of players in different countries and cultures within the same and different languages based on the popularity of different answers. A web application was developed to facilitate the execution of these analyses, allowing easy-to-use data collection and data visualisation in charts without requiring knowledge of the database structure and a query language. The results of the proposed analysis methods are compared with Google Trends data to identify the similarities between the data observed in the game and internet searches. The comparison shows that the proposed methods can give meaningful results, and hence the database can be suitable for performing further specific analyses. Furthermore, partly based on the analysis results, the thesis proposes changes to improve the game in player experience and revenue generation.
|
|
|
Zpracování velkých dat v oblasti Průmyslu 4.0
Trubka, Jakub ; Fajčík, Martin (oponent) ; Smrž, Pavel (vedoucí práce)
Cílem této bakalářské práce je vytvořit systém pro sběr, zpracování a uchovávání velkých dat získaných sledováním strojů v průmyslu. Výsledný systém klade důraz na snadnou škálovatelnost a rozšiřitelnost. V rámci teoretické části jsou popsána existující řešení a rozebrána problematika sběru a zpracování velkých dat. Velká pozornost je také věnována technologiím úložišť pro velká data. Praktická část se věnuje návrhu a implementaci celého systému a jeho jednotlivých částí, stejně jako následnému testování a konečnému vyhodnocení realizovaného řešení.
|
|
|
Porovnávání anotačních nástrojů
Prexta, Dávid ; Otrusina, Lubomír (oponent) ; Dytrych, Jaroslav (vedoucí práce)
Táto práca sa zaoberá problematikou porovnávania anotačných nástrojov pri práci s rozličnými dátovými sadami a získaním výsledkov porovnávania použiteľných pre vylepšenie znalostnej bázy anotátorov. V práci sú analyzované existujúce riešenia a ich nedostatky, z ktorých sú vyvodené požiadavky na nové riešenie. Ďalšie časti sa zaoberajú návrhom, implementáciou a testovaním výsledného nástroja, ktorý je v závere zhodnotený a sú navrhnuté možné rozšírenia do budúcna.
|
|
|
Platforma pro definici a zpracování dat
Hala, Karel ; Večeřa, Martin (oponent) ; Kříž, Jiří (vedoucí práce)
Tato diplomová práce se zabývá vývojem platformy pro ulehčení práce s~velkým množstvím dat. V~rámci této práce jsou vysvětleny některé pojmy a technické souvislosti potřebné pro bližší pochopení vývoje webové aplikace. Dále jsou zde navrženy postupy, jak usnadnit uživateli zadávání a práci s~větším objemem dat. Platforma je koncipována tak, aby bylo možné jednoduše a rychle rozšířit jakoukoliv část.
|
|
|
Big Data
Bútora, Matúš ; Bartík, Vladimír (oponent) ; Hruška, Tomáš (vedoucí práce)
Cieľom bakalárskej práca je popísať problematiku Big Data a agregačné operácie OLAP pre podporu rozhodovania, ktoré sú na ne aplikované pomocou technológie Apache Hadoop. Prevažná časť práce je venovaná popisu práve tejto technológie. Posledná kapitola sa zaoberá spôsobom aplikovania agregačných operácií a problematikou ich realizácie. Nasleduje celkové zhodnotenie práce a možnosti využitia výsledného systému do budúcna.
|
|
|
Zpracování síťové komunikace v prostředí Apache Spark
Béder, Michal ; Veselý, Vladimír (oponent) ; Ryšavý, Ondřej (vedoucí práce)
Táto práca rieši spôsob návrhu aplikácie na analýzu dát sieťovej komunikácie v prostredí distribuovaného systému Apache Spark. Implementáciu je možné rozdeliť do troch častí. Prvou je načítanie dát z distribuovaného úložiska HDFS, druhou analýza podporovaných sieťových protokolov a treťou distribuované vyhodnotenie výsledkov. Po vyhodnotení sú výstupy zobrazené v prostredí Apache Zeppelin. Výsledná aplikácia je schopná analyzovať jednotlivé pakety ako aj celé sieťové toky. Podporovanými formátmi vstupných dát sú pcap a JSON. Hlavným prínosom aplikácie je možnosť spracovania veľkých objemov dát. Jej výkonnosť je ovplyvnená hlavne formátom vstupných dát a využitím dostupných výpočetných jadier.
|
|
|
Analysis of Operational Data and Detection od Anomalies during Supercomputer Job Execution
Stehlík, Petr ; Nikl, Vojtěch (oponent) ; Jaroš, Jiří (vedoucí práce)
Using the full potential of an HPC system can be difficult when such systems reach the exascale size. This problem is increased by the lack of monitoring tools tailored specifically for users of these systems. This thesis discusses the analysis and visualization of operational data gathered by Examon framework of a high-performance computing system. By applying various data mining techniques on the data, deep knowledge of data can be acquired. To fully utilize the acquired knowledge a tool with a soft-computing approach called Examon Web was made. This tool is able to detect anomalies and unwanted behaviour of submitted jobs on a monitored HPC system and inform the users about such behaviour via a simple to use web-based interface. It also makes available the operational data of the system in a visual, easy to use, manner using different views on the available data. Examon Web is an extension layer above the Examon framework which provides various fine-grain operational data of an HPC system. The resulting soft-computing tool is capable of classifying a job with 84 % success rate and currently, no similar tools are being developed. The Examon Web is developed using Angular for front-end and Python, accompanied by various libraries, for the back-end with the usage of IoT technologies for live data retrieval.
|
host ::
RSS.