|
|
Aplikace pro Big Data
Blaho, Matúš ; Bartík, Vladimír (oponent) ; Hruška, Tomáš (vedoucí práce)
Táto práca sa zaoberá popisom a analýzou konceptu Big Data a ich spracovaním a využitím v procese podpory rozhodovania. Navrhované spracovanie vychádza z konceptu MapReduce navrhnutého pre spracovanie Big Data. Teoretická časť tejto práce z veľkej časti, pojednáva o systéme Hadoop, ktorý poskytuje implementáciu tohoto konceptu. Jeho pochopenie je kľúčovou vlastnosťou pre správny návrh aplikácií spúšťaných v tomto systéme. Práca tiež obsahuje návrh konkrétnych aplikácií na spracovanie Big Data. V implementačnej časti práce sa nachádza popis správy systému Hadoop, popis implementácie aplikácií MapReduce a popis ich testovania nad testovacími sadami dát.
|
|
|
Distribuovaný repositář digitálních forenzních dat
Josefík, Martin ; Burget, Radek (oponent) ; Rychlý, Marek (vedoucí práce)
Tato práce se zabývá návrhem distribuovaného repositáře zaměřeného jako úložiště rozsáhlých digitálních forenzních dat. Teoretická část práce pojednává o forenzní analýze digitálních dat a co je jejím cílem. Současně také vysvětluje Big data, vhodné úložiště, jejich vlastnosti, výhody a nevýhody. Hlavní část práce se pak zabývá návrhem a implementací distribuovaného úložiště pro digitální forenzní data. Návrh se rovněž zaměřuje na vhodnou indexaci uložených dat a rozšiřitelnost pro podporu nových druhů digitálních forenzních dat do budoucna. Implementovaný systém byl otestován z hlediska výkonnosti pro vstupní data PCAP soubory.
|
|
|
Zpracování síťové komunikace v prostředí Apache Spark
Béder, Michal ; Veselý, Vladimír (oponent) ; Ryšavý, Ondřej (vedoucí práce)
Táto práca rieši spôsob návrhu aplikácie na analýzu dát sieťovej komunikácie v prostredí distribuovaného systému Apache Spark. Implementáciu je možné rozdeliť do troch častí. Prvou je načítanie dát z distribuovaného úložiska HDFS, druhou analýza podporovaných sieťových protokolov a treťou distribuované vyhodnotenie výsledkov. Po vyhodnotení sú výstupy zobrazené v prostredí Apache Zeppelin. Výsledná aplikácia je schopná analyzovať jednotlivé pakety ako aj celé sieťové toky. Podporovanými formátmi vstupných dát sú pcap a JSON. Hlavným prínosom aplikácie je možnosť spracovania veľkých objemov dát. Jej výkonnosť je ovplyvnená hlavne formátom vstupných dát a využitím dostupných výpočetných jadier.
|
|
|
Big Data
Bútora, Matúš ; Bartík, Vladimír (oponent) ; Hruška, Tomáš (vedoucí práce)
Cieľom bakalárskej práca je popísať problematiku Big Data a agregačné operácie OLAP pre podporu rozhodovania, ktoré sú na ne aplikované pomocou technológie Apache Hadoop. Prevažná časť práce je venovaná popisu práve tejto technológie. Posledná kapitola sa zaoberá spôsobom aplikovania agregačných operácií a problematikou ich realizácie. Nasleduje celkové zhodnotenie práce a možnosti využitia výsledného systému do budúcna.
|
|
|
Apache Hadoop jako analytická platforma
Brotánek, Jan ; Novotný, Ota (vedoucí práce) ; Kerol, Valeria (oponent)
Diplomová práce se zabývá použitím platformy Hadoop při zpracování velkého objemu dat a její integrací do stávající architektury datového skladu. V teoretické části jsou popsány vlastnosti Big Data, charakteristiky jejich metod a výpočetních modelů. Podrobně je popsán framework Hadoop, jeho komponenty a distribuce, v níž jsou dodávány. Jsou popsány komponenty frameworku, které umožňují použití frameworku Hadoop a přístup do clusteru uživatelům, vývojářům a analytikům. V praktické části práce je realizována případová studie ELT procesu dávkové extrakce dat nástrojem Sqoop ze stávajícího datového skladu na platformě Oracle, jejich transformace v relačních strukturách komponenty Hive a následné dohrání dat zpět do datového skladu. Pozornost je věnována způsobu uložení dat, jejich kompresi a souborovému formátu a rychlosti vykonání dotazů nad nimi. V průběhu procesu jsou data porovnávána vůči zdroji a tím zajištěna jejich kvalita. Část praktické práce je věnována problematice tokových dat. Jejich ukládání a zpracování je demonstrováno v nástrojích Flume a Pig Cílem práce je přesunutí části dat a výpočtů nad nimi realizovaných ze stávajícího datového skladu do prostředí Hadoop. Za tímto účelem byl navržen proces integrace stávajícího datového skladu s komponentami distribuce Hortonworks Data Platform.
|
|
|
Škálovatelné předzpracování dat prostřednictvím nástroje Hadoop
Marinič, Michal ; Šmirg, Ondřej (oponent) ; Burget, Radim (vedoucí práce)
Tato práce se zabývá škálovatelným předzpracováním dat prostřednictvím nástroje Hadoop, který slouží pro paralelní zpracování velkého objemu dat. V první teoretické části se práce zaměřuje na vysvětlení fungování struktury základních funkčních prvků distribuovaného souborového systému HDFS a metody MapReduce pro paralelní zpracování. Praktická část práce popisuje realizaci Hadoop clusteru v pseudo-režimu pro jednoduché ladění aplikací a také realizaci v plně distribuovaném režimu pro simulaci nasazení v reálné praxi.
|
|
|
BigData řešení pro zpracování rozsáhlých dat ze síťových toků
Melkes, Miloslav ; Ráb, Jaroslav (oponent) ; Ryšavý, Ondřej (vedoucí práce)
Tato diplomová práce se zaměřuje na problematiku distribuovaného zpracování velkých dat ze síťové komunikace. Začíná analýzou síťové komunikace založené na modelu TCP/IP se zaměřením na datové jednotky na jednotlivých vrstvách, které je nutno při analýze síťových dat zpracovávat. Z hlediska vlastního zpracování rozsáhlých dat je objasněn výpočetní model MapReduce, architektura technologie Apache Hadoop a jejich možné využití pro zpracování síťových toků na clusteru počítačů. Druhá část práce se zbývá návrhem a následnou implementací aplikace pro zpracování síťových toků ze zachycené síťové komunikace. V této části jsou rozebrány klíčové a problematické části z implementace. Celá práce je poté zakončena srovnáním s dostupnými nástroji pro síťovou analýzu a vyhodnocením sady testů, které potvrdili lineární růst zrychlení.
|
|
|
Hadoop NoSQL databáze
Švagr, Lukáš ; Palovská, Helena (vedoucí práce) ; Tomášková, Barbora (oponent)
Tématem práce je databázové úložiště Hadoop Hbase. Cílem je ukázat, na jakých principech funguje a kde nachází své využití. Celý text předpokládá, že je již čtenář seznámen se základními principy NoSQL databází. Teoretická část stručně popisuje základní pojmy z databází, dále převážně Hadoop a jeho vlastnosti. Součástí práce je praktická část, ve které je popsána instalace databázového úložiště a ve dvou jednoduchých programech ukázány základní operace s databází. Dále jsou v praktické části případové studie, které se zabývají aktuálním využitím Hadoopu v celosvětově známých firmách.
|
|
|
Nástroje pro Big Data Analytics
Miloš, Marek ; Pour, Jan (vedoucí práce) ; Andrle, David (oponent)
Tato práce se zabývá oblastí práce s daty označovanou jako Big Data. V práci je definován samotný pojem Big Data a důvody potřeby vzniku Big Data nástrojů z důvodů rostoucích požadavků na zpracování dat a datovou analýzu. V práci jsou dále popsány technické aspekty některých Big Data nástrojů a stručný přehled trhu a nejvýznamnějších dodavatelů Big Data nástrojů založených na Apache Hadoop. V praktické části je provedena analýza dat ze sociální sítě Twitter za pomoci Apache Hadoop a vizualizačního nástroje Tableau.
|
|
|
Hadoop: HDFS, MapReduce a výpočty v IBM BigInsights
Fessl, Adam ; Řezáč, Miroslav (vedoucí práce) ; Novotný, Ota (oponent)
Práce spadá do oblasti zpracování dat velkého rozsahu. Věnuje se Hadoopu, open-source nástroji pro distribuované zpracování a ukládání dat. Cílem práce je poskytnutí teoretických znalostí a objasnění základních principů v problema-tice Apache Hadoop. Zejména se jedná o souborový systém HDFS a model pro distribuo-vané výpočty MapReduce. Teoretické znalosti a principy jsou demonstrovány na modifiko-vané aplikaci WordCount v prostředí IBM InfoSphere BigInsights. Text je rozdělen do tří částí, přičemž první část se věnuje Hadoopu a jeho základním modu-lům, druhá část poskytuje informace o předních distributorech Hadoopu a detailně se věnu-je distribuci společnosti IBM. Část poslední je věnovaná praktickým výpočtům. Přínosem práce je ucelený pohled na Hadoop, který slučuje pohled technologický s pohle-dem praktického využití. Nový pohled je demonstrován na příkladech a doplněn způsoby, jakým lze s tímto nástrojem pracovat.
|
host ::
RSS.