Original title: Zpracování velkých dat z rozsáhlých IoT sítí
Translated title: Big Data Processing from Large IoT Networks
Authors: Benkő, Krisztián ; Podivínský, Jakub (referee) ; Krčma, Martin (advisor)
Document type: Master’s theses
Year: 2019
Language: cze
Publisher: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract: [cze] [eng]
Cieľom tejto diplomovej práce je návrh a vytvorenie systému pre zber, spracovanie a ukladanie dát z rosiahlych IoT sietí. Vytvorený systém predstavuje komplexné riešenie, umožňujúce spracovanie dát z rôznych IoT sietí, s využitím Apache Hadoop ekosystému. Dáta sú spracované v reálnom čase a ukladané do NoSQL databázy, ale ukladajú sa dáta aj do súborového systému pre prípadné neskoršie spracovanie. Systém je optimalizovaný a testovaný na dátach zo siete IQRF. Dáta uložené v NoSQL databázi sa vizualizujú a vykonávajú sa predikcie v pravidelných intervaloch. Používateľ je prepojený s týmto systémom cez informačný systém, kam mu v prípade hodnôt mimo rozsah chodia notifikácie. The goal of this diploma thesis is to design and develop a system for collecting, processing and storing data from large IoT networks. The developed system introduces a complex solution able to process data from various IoT networks using Apache Hadoop ecosystem. The data are real-time processed and stored in a NoSQL database, but the data are also stored  in the file system for a potential later processing. The system is optimized and tested using data from IQRF network. The data stored in the NoSQL database are visualized and the system periodically generates derived predictions. Users are connected to this system via an information system, which is able to automatically generate notifications when monitored values are out of range.
Keywords: Ambari; Apache; Avro; batch processing; BigData; database; distributed file system; Flume; Grafana; Hadoop; HBase; HDFS; information system; IoT; IQRF; Java; linear regression; NoSQL; OpenTSDB; predictions; real-time; Spark; Ambari; Apache; Avro; BigData; databáza; distribuovaný súborový systém; dávkové spracovanie; Flume; Grafana; Hadoop; HBase; HDFS; informačný systém; IoT; IQRF; Java; lineárna regresia; NoSQL; OpenTSDB; predikcie; real-time; Spark

Institution: Brno University of Technology (web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library.
Original record: http://hdl.handle.net/11012/180622

Permalink: http://www.nusl.cz/ntk/nusl-403820


The record appears in these collections:
Universities and colleges > Public universities > Brno University of Technology
Academic theses (ETDs) > Master’s theses