|
|
Computational tasks for solving parallel data processing
Rexa, Denis ; Uher, Václav (oponent) ; Mašek, Jan (vedoucí práce)
The goal of this diploma thesis was to create four laboratory exercises for the subject "Parallel Data Processing", where students will try on the options and capabilities of Apache Spark as a parallel computing platform. The work also includes basic setup and use of Apache Kafka technology and NoSQL Apache Cassandra database. The other two lab assignments focus on working with a Travelling Salesman Problem. The first lab was designed to demonstrate the difficulty of a task where the student will face an exponential increase in complexity. The second task consists of an optimization algorithm to solve the problem in cluster. This algorithm is subjected to performance measurements in clusters. The conclusion of the thesis contains recommendations for optimization as well as comparison of running with different number of computing devices.
|
|
|
Webová aplikace pro grafické zadávání a spouštění Spark úloh
Hmeľár, Jozef ; Burget, Radek (oponent) ; Rychlý, Marek (vedoucí práce)
Táto diplomová práca sa zaoberá problematikou spracovania Big data v distribuovanom systéme Apache Spark pomocou nástrojov, ktoré umožňujú vzdialené zadávanie a spúšťanie Spark úloh cez webové rozhranie. Autor v prvej časti opisuje prostredie Apache Spark, v ďalšej sa zameriava na projekt Apache Livy, ktorý ponúka REST API pre spúšťanie Spark úloh. Následne sú predstavené súčasné riešenia, ktoré umožňujú interaktívnu analýzu dát. Autor ďalej popisuje vlastný návrh aplikácie pre interaktívne zadávanie a spúšťanie Spark úloh, pomocou grafovej reprezentácie úlohy. Autor v návrhu popisuje nielen webovú časť aplikácie, ale aj serverovú časť aplikácie. Ďalej implementáciu oboch častí a v neposlednom rade demonštráciu dosiahnutého výsledku na typickej úlohe. Vytvorená aplikácia poskytuje intuitívne rozhranie pre pohodlnú prácu s prostredím Apache Spark, vytváranie vlastných komponent a k tomu aj radu ďalších možností, ktoré sú v dnešnom svete webových aplikácií štandardom.
|
|
|
Zpracování síťové komunikace v prostředí Apache Spark
Béder, Michal ; Veselý, Vladimír (oponent) ; Ryšavý, Ondřej (vedoucí práce)
Táto práca rieši spôsob návrhu aplikácie na analýzu dát sieťovej komunikácie v prostredí distribuovaného systému Apache Spark. Implementáciu je možné rozdeliť do troch častí. Prvou je načítanie dát z distribuovaného úložiska HDFS, druhou analýza podporovaných sieťových protokolov a treťou distribuované vyhodnotenie výsledkov. Po vyhodnotení sú výstupy zobrazené v prostredí Apache Zeppelin. Výsledná aplikácia je schopná analyzovať jednotlivé pakety ako aj celé sieťové toky. Podporovanými formátmi vstupných dát sú pcap a JSON. Hlavným prínosom aplikácie je možnosť spracovania veľkých objemov dát. Jej výkonnosť je ovplyvnená hlavne formátom vstupných dát a využitím dostupných výpočetných jadier.
|
|
|
Computational tasks for Parallel data processing course
Horečný, Peter ; Rajnoha, Martin (oponent) ; Mašek, Jan (vedoucí práce)
The goal of this thesis was to create laboratory excercises for subject „Parallel data processing“, which will introduce options and capabilities of Apache Spark technology to the students. The excercises focus on work with basic operations and data preprocessing, work with concepts and algorithms of machine learning. By following the instructions, the students will solve real world situations problems by using algorithms for linear regression, classification, clustering and frequent patterns. This will show them the real usage and advantages of Spark. As an input data, there will be databases of czech and slovak companies with a lot of information provided, which need to be prepared, filtered and sorted for next processing in the first excercise. The students will also get known with functional programming, because the are not whole programs in excercises, but just the pieces of instructions, which are not repeated in the following excercises. They will get a comprehensive overview about possibilities of Spark by getting over all the excercices.
|
|
|
Strojové učení v oblasti Big Data
Šimánek, Michal ; Kerol, Valeria (vedoucí práce) ; Novotný, Ota (oponent)
Bakalářská práce se věnuje strojovému učení v oblasti Big Data. Cílem práce je zmapovat a vyhodnotit současný stav strojového učení v oblasti Big Data, vybrat a porovnat nejpoužívanější knihovny strojového učení v nástroji Apache Spark a poskytnout příručku, jak implementovat algoritmy daných knihoven. Teoretická část objasňuje pojem Big Data, nástroje Apache Hadoop a Apache Spark využívané v této oblasti, uvádí do problematiky strojového učení a popisuje nejpoužívanější knihovny strojového učení v nástroji Apache Spark včetně porovnávacích metrik. Praktická část je orientovaná na implementaci algoritmů z vybraných knihoven, sepsání příručky, jak je implementovat a na základě výstupů a implementace porovnání knihoven z více pohledů. Přínosem práce je seznámení čtenáře s problematikou strojového učení v oblasti Big Data, uvedení nejpoužívanějších knihoven strojového učení, porovnání vybraných knihoven a sepsání příručky k implementaci jejich algoritmů.
|
|
|
Hadoop a Business Intelligence
Kerner, Josef ; Šperková, Lucie (vedoucí práce) ; Augustín, Jakub (oponent)
Bakalářská práce se zaobírá vlivem a použitím platformy Hadoop při zpracování a analýze velkých dat v procesech a technologiích Business intelligence. Popisuje důvody, proč platforma vznikla, její primární komponenty a také důležité, na ní provozované aplikace, které přinášejí i méně technicky zkušeným uživatelům přidanou hodnotu z dat. Dále se zaobírá přínosy integrace Hadoopu do stávající IT infrastruktury organizace jak z technického hlediska, tak i z pohledu uživatelů datových analýz. Práce obsahuje teoretickou a praktickou část. Teoretická část seznamuje čtenáře s využitím komponent Hadoopu při zpracování nestrukturovaných dat za účelem rozšíření investičních analýz cenných papírů. Praktická část práce poskytuje případovou studii implementace Big Data ETL procesu, realizovaném v frameworku Spark, v oblasti dat z finančních trhů, kde detailně vysvětluje použité postupy jako je datový model, transformační kód a navrhované metriky, které mohou být využity finančními institucemi v jejich obchodních platformách za účelem dosažení zvýšeného zisku z držených titulů. Smyslem práce je poskytnout znalosti potřebné pro úspěšnou integraci Hadoop platformy a jejích komponent do stávající IT infrastruktury a vylepšení procesů Business Intelligence o nové přístupy v analýze velkých dat.
|
host ::
RSS.