|
|
Zpracování velkých dat z rozsáhlých IoT sítí
Benkő, Krisztián ; Podivínský, Jakub (oponent) ; Krčma, Martin (vedoucí práce)
Cieľom tejto diplomovej práce je návrh a vytvorenie systému pre zber, spracovanie a ukladanie dát z rosiahlych IoT sietí. Vytvorený systém predstavuje komplexné riešenie, umožňujúce spracovanie dát z rôznych IoT sietí, s využitím Apache Hadoop ekosystému. Dáta sú spracované v reálnom čase a ukladané do NoSQL databázy, ale ukladajú sa dáta aj do súborového systému pre prípadné neskoršie spracovanie. Systém je optimalizovaný a testovaný na dátach zo siete IQRF. Dáta uložené v NoSQL databázi sa vizualizujú a vykonávajú sa predikcie v pravidelných intervaloch. Používateľ je prepojený s týmto systémom cez informačný systém, kam mu v prípade hodnôt mimo rozsah chodia notifikácie.
|
|
|
Zpracování velkých dat z rozsáhlých IoT sítí
Benkő, Krisztián ; Podivínský, Jakub (oponent) ; Krčma, Martin (vedoucí práce)
Cieľom tejto diplomovej práce je návrh a vytvorenie systému pre zber, spracovanie a ukladanie dát z rosiahlych IoT sietí. Vytvorený systém predstavuje komplexné riešenie, umožňujúce spracovanie dát z rôznych IoT sietí, s využitím Apache Hadoop ekosystému. Dáta sú spracované v reálnom čase a ukladané do NoSQL databázy, ale ukladajú sa dáta aj do súborového systému pre prípadné neskoršie spracovanie. Systém je optimalizovaný a testovaný na dátach zo siete IQRF. Dáta uložené v NoSQL databázi sa vizualizujú a vykonávajú sa predikcie v pravidelných intervaloch. Používateľ je prepojený s týmto systémom cez informačný systém, kam mu v prípade hodnôt mimo rozsah chodia notifikácie.
|
|
|
Apache Hadoop jako analytická platforma
Brotánek, Jan ; Novotný, Ota (vedoucí práce) ; Kerol, Valeria (oponent)
Diplomová práce se zabývá použitím platformy Hadoop při zpracování velkého objemu dat a její integrací do stávající architektury datového skladu. V teoretické části jsou popsány vlastnosti Big Data, charakteristiky jejich metod a výpočetních modelů. Podrobně je popsán framework Hadoop, jeho komponenty a distribuce, v níž jsou dodávány. Jsou popsány komponenty frameworku, které umožňují použití frameworku Hadoop a přístup do clusteru uživatelům, vývojářům a analytikům. V praktické části práce je realizována případová studie ELT procesu dávkové extrakce dat nástrojem Sqoop ze stávajícího datového skladu na platformě Oracle, jejich transformace v relačních strukturách komponenty Hive a následné dohrání dat zpět do datového skladu. Pozornost je věnována způsobu uložení dat, jejich kompresi a souborovému formátu a rychlosti vykonání dotazů nad nimi. V průběhu procesu jsou data porovnávána vůči zdroji a tím zajištěna jejich kvalita. Část praktické práce je věnována problematice tokových dat. Jejich ukládání a zpracování je demonstrováno v nástrojích Flume a Pig Cílem práce je přesunutí části dat a výpočtů nad nimi realizovaných ze stávajícího datového skladu do prostředí Hadoop. Za tímto účelem byl navržen proces integrace stávajícího datového skladu s komponentami distribuce Hortonworks Data Platform.
|
host ::
RSS.