Original title: Webová aplikace pro grafické zadávání a spouštění Spark úloh
Translated title: Web Application for Graphical Description and Execution of Spark Tasks
Authors: Hmeľár, Jozef ; Burget, Radek (referee) ; Rychlý, Marek (advisor)
Document type: Master’s theses
Year: 2018
Language: cze
Publisher: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract: [cze] [eng]
Táto diplomová práca sa zaoberá problematikou spracovania Big data v distribuovanom systéme Apache Spark pomocou nástrojov, ktoré umožňujú vzdialené zadávanie a spúšťanie Spark úloh cez webové rozhranie. Autor v prvej časti opisuje prostredie Apache Spark, v ďalšej sa zameriava na projekt Apache Livy, ktorý ponúka REST API pre spúšťanie Spark úloh. Následne sú predstavené súčasné riešenia, ktoré umožňujú interaktívnu analýzu dát. Autor ďalej popisuje vlastný návrh aplikácie pre interaktívne zadávanie a spúšťanie Spark úloh, pomocou grafovej reprezentácie úlohy. Autor v návrhu popisuje nielen webovú časť aplikácie, ale aj serverovú časť aplikácie. Ďalej implementáciu oboch častí a v neposlednom rade demonštráciu dosiahnutého výsledku na typickej úlohe. Vytvorená aplikácia poskytuje intuitívne rozhranie pre pohodlnú prácu s prostredím Apache Spark, vytváranie vlastných komponent a k tomu aj radu ďalších možností, ktoré sú v dnešnom svete webových aplikácií štandardom. This master's thesis deals with Big data processing in distributed system Apache Spark using tools, which allow remotely entry and execution of Spark tasks through web inter- face. Author describes the environment of Spark in the first part, in the next he focuses on the Apache Livy project, which offers REST API to run Spark tasks. Contemporary solutions that allow interactive data analysis are presented. Author further describes his own application design for interactive entry and launch of Spark tasks using graph repre- sentation of them. Author further describes the web part of the application as well as the server part of the application. In next section author presents the implementation of both parts and, last but not least, the demonstration of the result achieved on a typical task. The created application provides an intuitive interface for comfortable working with the Apache Spark environment, creating custom components, and also a number of other options that are standard in today's web applications.
Keywords: Angular 2; Apache Livy; Apache Spark; big data; dataanalysis; Jupyter; Python; REST API; Spark tasks; web application; Zeppelin; analýzadát; Angular 2; Apache Livy; Apache Spark; big data; Jupyter; Python; REST API; Spark úlohy; webová aplikácia; Zeppelin

Institution: Brno University of Technology (web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library.
Original record: http://hdl.handle.net/11012/84989

Permalink: http://www.nusl.cz/ntk/nusl-386006


The record appears in these collections:
Universities and colleges > Public universities > Brno University of Technology
Academic theses (ETDs) > Master’s theses