|
|
Webová aplikace pro grafické zadávání a spouštění Spark úloh
Hmeľár, Jozef ; Burget, Radek (oponent) ; Rychlý, Marek (vedoucí práce)
Táto diplomová práca sa zaoberá problematikou spracovania Big data v distribuovanom systéme Apache Spark pomocou nástrojov, ktoré umožňujú vzdialené zadávanie a spúšťanie Spark úloh cez webové rozhranie. Autor v prvej časti opisuje prostredie Apache Spark, v ďalšej sa zameriava na projekt Apache Livy, ktorý ponúka REST API pre spúšťanie Spark úloh. Následne sú predstavené súčasné riešenia, ktoré umožňujú interaktívnu analýzu dát. Autor ďalej popisuje vlastný návrh aplikácie pre interaktívne zadávanie a spúšťanie Spark úloh, pomocou grafovej reprezentácie úlohy. Autor v návrhu popisuje nielen webovú časť aplikácie, ale aj serverovú časť aplikácie. Ďalej implementáciu oboch častí a v neposlednom rade demonštráciu dosiahnutého výsledku na typickej úlohe. Vytvorená aplikácia poskytuje intuitívne rozhranie pre pohodlnú prácu s prostredím Apache Spark, vytváranie vlastných komponent a k tomu aj radu ďalších možností, ktoré sú v dnešnom svete webových aplikácií štandardom.
|
|
|
Computational tasks for Parallel data processing course
Horečný, Peter ; Rajnoha, Martin (oponent) ; Mašek, Jan (vedoucí práce)
The goal of this thesis was to create laboratory excercises for subject „Parallel data processing“, which will introduce options and capabilities of Apache Spark technology to the students. The excercises focus on work with basic operations and data preprocessing, work with concepts and algorithms of machine learning. By following the instructions, the students will solve real world situations problems by using algorithms for linear regression, classification, clustering and frequent patterns. This will show them the real usage and advantages of Spark. As an input data, there will be databases of czech and slovak companies with a lot of information provided, which need to be prepared, filtered and sorted for next processing in the first excercise. The students will also get known with functional programming, because the are not whole programs in excercises, but just the pieces of instructions, which are not repeated in the following excercises. They will get a comprehensive overview about possibilities of Spark by getting over all the excercices.
|
|
|
Computational tasks for solving parallel data processing
Rexa, Denis ; Uher, Václav (oponent) ; Mašek, Jan (vedoucí práce)
The goal of this diploma thesis was to create four laboratory exercises for the subject "Parallel Data Processing", where students will try on the options and capabilities of Apache Spark as a parallel computing platform. The work also includes basic setup and use of Apache Kafka technology and NoSQL Apache Cassandra database. The other two lab assignments focus on working with a Travelling Salesman Problem. The first lab was designed to demonstrate the difficulty of a task where the student will face an exponential increase in complexity. The second task consists of an optimization algorithm to solve the problem in cluster. This algorithm is subjected to performance measurements in clusters. The conclusion of the thesis contains recommendations for optimization as well as comparison of running with different number of computing devices.
|
|
|
Modelem řízený vývoj Spark úloh
Bútora, Matúš ; Burget, Radek (oponent) ; Rychlý, Marek (vedoucí práce)
Cieľom diplomovej práce je popísať framework Apache Spark , jeho štruktúru a spôsob jeho funkcionality. Práca sa taktiež zaoberá problematikou modelom riadeného vývoja a modelom riadenej architektúry. Popísané sú ich výhody, nevýhody a spôsob využitia. Hlavná časť práce je zameraná na návrh modelovacieho jazyka prispôsobeného pre vytváranie úloh v prostredí Apache Spark . Predstavená je výsledná aplikácia, ktorá ponúka užívateľovi možnosť vytvoriť graf pomocou navrhnutého modelovaného jazyka. Z aplikácie je možné vygenerovať zdrojový kód modelovaného grafu v jazyku Scala .
|
|
|
Zpracování síťové komunikace v prostředí Apache Spark
Béder, Michal ; Veselý, Vladimír (oponent) ; Ryšavý, Ondřej (vedoucí práce)
Táto práca rieši spôsob návrhu aplikácie na analýzu dát sieťovej komunikácie v prostredí distribuovaného systému Apache Spark. Implementáciu je možné rozdeliť do troch častí. Prvou je načítanie dát z distribuovaného úložiska HDFS, druhou analýza podporovaných sieťových protokolov a treťou distribuované vyhodnotenie výsledkov. Po vyhodnotení sú výstupy zobrazené v prostredí Apache Zeppelin. Výsledná aplikácia je schopná analyzovať jednotlivé pakety ako aj celé sieťové toky. Podporovanými formátmi vstupných dát sú pcap a JSON. Hlavným prínosom aplikácie je možnosť spracovania veľkých objemov dát. Jej výkonnosť je ovplyvnená hlavne formátom vstupných dát a využitím dostupných výpočetných jadier.
|
|
|
Model Driven Development of Spark Tasks by Means of Eclipse Acceleo
Šalgovič, Marek ; Bartík, Vladimír (oponent) ; Rychlý, Marek (vedoucí práce)
This thesis deals with the Model-Driven Development of Big Data tasks in the Apache Spark environment. In the beginning, the reader is introduced to the Apache Spark framework and necessary details. Afterward, a closer look at the Model-Driven Development methodology is provided, and its advantages and disadvantages are described. The second part describes the designed meta-model for modeling Spark tasks. The designed Profile diagram features that extend the Class diagram are described in detail. Afterward, the code generator is implemented. The input of the generator are models that satisfy the designed meta-model. The thesis also contains example models and their evaluation.
|
|
|
Porting of Plaso Extractors to the Apache Spark Platform
Baláž, Miroslav ; Burget, Radek (oponent) ; Rychlý, Marek (vedoucí práce)
The theoretical part discusses the functioning and architecture of the Plaso tool. The thesis further explores current tools that implement distributed computational models. It describes their architecture, data abstracts and how they work. The thesis also describes current tools that implement distributed storage. The work includes the creation of the Plasospark tool, which converts the computation of the Plaso tool to the Spark platform and uses the Hadoop HDFS storage for forensic data.
|
|
|
Model Driven Development of Spark Tasks by Means of Eclipse Acceleo
Šalgovič, Marek ; Bartík, Vladimír (oponent) ; Rychlý, Marek (vedoucí práce)
This thesis deals with the Model-Driven Development of Big Data tasks in the Apache Spark environment. In the beginning, the reader is introduced to the Apache Spark framework and necessary details. Afterward, a closer look at the Model-Driven Development methodology is provided, and its advantages and disadvantages are described. The second part describes the designed meta-model for modeling Spark tasks. The designed Profile diagram features that extend the Class diagram are described in detail. Afterward, the code generator is implemented. The input of the generator are models that satisfy the designed meta-model. The thesis also contains example models and their evaluation.
|
|
|
Data Lineage Analysis of Frameworks with Complex Interaction Patterns
Hýbl, Oskar ; Parízek, Pavel (vedoucí práce) ; Hnětynka, Petr (oponent)
Manta Flow je nástroj pro analýzu toku dat v podnikovém prostředí. Obsahuje modul Java skener, využívající statickou analýzu k nalezení datových toků Java aplikacemi. Aby bylo možné analyzovat aplikaci využívající určitý framework, vyžaduje skener speciální plugin. Přestože Java skener poskytuje pluginy pro několik frameworků, k použitelnosti na reálných aplikace je nezbytné, aby podporoval frameworků co nejvíce. To vyžaduje implementaci nových pluginů. Aplikace využívající Apache Spark, framework pro výpočty na clusterech, jsou stále populárnější. Proto jsme navrhli a implementovali plugin pro Java skener, který mu umožňuje analyzovat aplikace využívající tento framework. Protože se Spark zaměřuje na zpracování dat, přestavovala implementace pluginu pro jeho podporu, oproti již existujícím pluginům, několik nových výzev. Zejména bylo nutné vyvinout metody detekce schématu dat v různých scénářích a sledovat jeho změny během všech operací vyvolaných na datech. Z několika API, která Spark poskytuje pro zpracování dat, jsme se zaměřili na modul Spark SQL, zejména na třídu Dataset. Vynechali jsme především již zastaralé RDD. Implementovali jsme také podporu pro přístup k databázím pomocí JDBC a k souborům ve vybraných formátech. Implementace byla důkladně testována a je prokázáno, že funguje správně...
|
|
|
Modelem řízený vývoj Spark úloh
Bútora, Matúš ; Burget, Radek (oponent) ; Rychlý, Marek (vedoucí práce)
Cieľom diplomovej práce je popísať framework Apache Spark , jeho štruktúru a spôsob jeho funkcionality. Práca sa taktiež zaoberá problematikou modelom riadeného vývoja a modelom riadenej architektúry. Popísané sú ich výhody, nevýhody a spôsob využitia. Hlavná časť práce je zameraná na návrh modelovacieho jazyka prispôsobeného pre vytváranie úloh v prostredí Apache Spark . Predstavená je výsledná aplikácia, ktorá ponúka užívateľovi možnosť vytvoriť graf pomocou navrhnutého modelovaného jazyka. Z aplikácie je možné vygenerovať zdrojový kód modelovaného grafu v jazyku Scala .
|
host ::
RSS.