|
|
Distribuované zpracování dat o IP tocích
Krobot, Pavel ; Kořenek, Jan (oponent) ; Žádník, Martin (vedoucí práce)
Tato práce se zabývá distribuovaným zpracování dat o IP tocích. Konkrétně je pak hlavním cílem poskytnutí řešení softwarového kolektoru, který bude umoţňovat zpracování a ukládání masivního objemu dat. V rámci této práce je zkoumána volně dostupná implementace rámce pro distribuované ukládání a výpočty nad daty Hadoop, která vyuţívá modelu MapReduce. Nad tímto systémem byly následně provedeny experimenty, jejichţ smyslem bylo získat představu o výkonnosti tohoto řešení oproti řešením stávajícím a odhalit slabiny systému. Na základě získaných poznatků byla pak vytvořena specifikace a návrh rozšíření stávajícího softwarového kolektoru. Dle vytvořeného návrhu následně vznikla implementace dotazovací části navrhovaného kolektoru, která se při distribuovaném zpracování dat o IP tocích jeví jako nejvíce kritická. Výsledky experimentů s touto implementací ukázaly výrazné zvýšení výkonu při dotazování a schopnost lineární škálovatelnosti na některých typech dotazů.
|
|
|
Distribuovaný repositář digitálních forenzních dat
Josefík, Martin ; Burget, Radek (oponent) ; Rychlý, Marek (vedoucí práce)
Tato práce se zabývá návrhem distribuovaného repositáře zaměřeného jako úložiště rozsáhlých digitálních forenzních dat. Teoretická část práce pojednává o forenzní analýze digitálních dat a co je jejím cílem. Současně také vysvětluje Big data, vhodné úložiště, jejich vlastnosti, výhody a nevýhody. Hlavní část práce se pak zabývá návrhem a implementací distribuovaného úložiště pro digitální forenzní data. Návrh se rovněž zaměřuje na vhodnou indexaci uložených dat a rozšiřitelnost pro podporu nových druhů digitálních forenzních dat do budoucna. Implementovaný systém byl otestován z hlediska výkonnosti pro vstupní data PCAP soubory.
|
|
|
Zpracování a vizualizace senzorových dat ve vojenském prostředí
Boychuk, Maksym ; Burget, Radek (oponent) ; Rychlý, Marek (vedoucí práce)
Diplomová práce se zabývá generováním, vizualizací a zpracování dat ve vojenském prostředí. Cílem práce je navrhnout a implementovat systém umožnující vytvoření, vizualizace a zpracování ESM dat. Výstupem teto práce je aplikace ESMBD, která umožňuje využití klasického přístupu, což je relační databáze, a BigData technologií pro uložení manipulace s daty. Bylo provedeno srovnání rychlosti zpracování dat pří využití klasického přístupu (Postgres databáze) a BigData technologií (Cassandra databáze a Hadoop).
|
|
| |
|
|
Implementace shlukování regulárních výrazů pomocí MapReduce přístupu
Šafář, Martin ; Dvořák, Milan (oponent) ; Kaštil, Jan (vedoucí práce)
Hlavním přínosem této práce je návrh a implementace aplikace, která využívá model MapReduce a Apache Hadoop pro urychlení shlukování regulárních výrazů. V této prácí jsou popsány algoritmy, které se využívají pro shlukování regulárních výrazů a je navrženo několik vylepšení pro tyto algoritmy. Experimenty prováděné v rámci této práce ukázaly, že cluster skládající se z 20ti počítačů dokáže oproti klasickému přístupu zrychlit shlukování až desetinásobně.
|
|
|
Zpracování velkých dat z rozsáhlých IoT sítí
Benkő, Krisztián ; Podivínský, Jakub (oponent) ; Krčma, Martin (vedoucí práce)
Cieľom tejto diplomovej práce je návrh a vytvorenie systému pre zber, spracovanie a ukladanie dát z rosiahlych IoT sietí. Vytvorený systém predstavuje komplexné riešenie, umožňujúce spracovanie dát z rôznych IoT sietí, s využitím Apache Hadoop ekosystému. Dáta sú spracované v reálnom čase a ukladané do NoSQL databázy, ale ukladajú sa dáta aj do súborového systému pre prípadné neskoršie spracovanie. Systém je optimalizovaný a testovaný na dátach zo siete IQRF. Dáta uložené v NoSQL databázi sa vizualizujú a vykonávajú sa predikcie v pravidelných intervaloch. Používateľ je prepojený s týmto systémom cez informačný systém, kam mu v prípade hodnôt mimo rozsah chodia notifikácie.
|
|
|
Big Data
Bútora, Matúš ; Bartík, Vladimír (oponent) ; Hruška, Tomáš (vedoucí práce)
Cieľom bakalárskej práca je popísať problematiku Big Data a agregačné operácie OLAP pre podporu rozhodovania, ktoré sú na ne aplikované pomocou technológie Apache Hadoop. Prevažná časť práce je venovaná popisu práve tejto technológie. Posledná kapitola sa zaoberá spôsobom aplikovania agregačných operácií a problematikou ich realizácie. Nasleduje celkové zhodnotenie práce a možnosti využitia výsledného systému do budúcna.
|
|
|
Distribuované zpracování rozsáhlých dat na platformě Java
Tutko, Jakub ; Rychlý, Marek (oponent) ; Burget, Radek (vedoucí práce)
Táto práca sa zameriava na možnosti distribuovaného spracovania rozsiahlych dát na platforme Java s využitím grafových databáz. Analyzuje niekoľko distribúcii grafových databáz a spôsob ich prepojenia so systémom pre distribuované spracovanie dát, Apache Hadoop. Pre testovanie efektivity jednotlivých databázových riešení je výsledkom práce aplikácia, ktorá sťahuje dáta zo sociálnych sietí Twitter a Facebook. Tieto dáta je potom schopná zapísať a analyzovať pomocou dvoch rôznych databázových frameworkov. Jedná sa o frameworky Halyard a HGraphDB.
|
|
|
Aplikace pro Big Data
Blaho, Matúš ; Bartík, Vladimír (oponent) ; Hruška, Tomáš (vedoucí práce)
Táto práca sa zaoberá popisom a analýzou konceptu Big Data a ich spracovaním a využitím v procese podpory rozhodovania. Navrhované spracovanie vychádza z konceptu MapReduce navrhnutého pre spracovanie Big Data. Teoretická časť tejto práce z veľkej časti, pojednáva o systéme Hadoop, ktorý poskytuje implementáciu tohoto konceptu. Jeho pochopenie je kľúčovou vlastnosťou pre správny návrh aplikácií spúšťaných v tomto systéme. Práca tiež obsahuje návrh konkrétnych aplikácií na spracovanie Big Data. V implementačnej časti práce sa nachádza popis správy systému Hadoop, popis implementácie aplikácií MapReduce a popis ich testovania nad testovacími sadami dát.
|
|
|
Škálovatelné předzpracování dat prostřednictvím nástroje Hadoop
Marinič, Michal ; Šmirg, Ondřej (oponent) ; Burget, Radim (vedoucí práce)
Tato práce se zabývá škálovatelným předzpracováním dat prostřednictvím nástroje Hadoop, který slouží pro paralelní zpracování velkého objemu dat. V první teoretické části se práce zaměřuje na vysvětlení fungování struktury základních funkčních prvků distribuovaného souborového systému HDFS a metody MapReduce pro paralelní zpracování. Praktická část práce popisuje realizaci Hadoop clusteru v pseudo-režimu pro jednoduché ladění aplikací a také realizaci v plně distribuovaném režimu pro simulaci nasazení v reálné praxi.
|
host ::
RSS.