|
|
Distribuované zpracování dat o IP tocích
Krobot, Pavel ; Kořenek, Jan (oponent) ; Žádník, Martin (vedoucí práce)
Tato práce se zabývá distribuovaným zpracování dat o IP tocích. Konkrétně je pak hlavním cílem poskytnutí řešení softwarového kolektoru, který bude umoţňovat zpracování a ukládání masivního objemu dat. V rámci této práce je zkoumána volně dostupná implementace rámce pro distribuované ukládání a výpočty nad daty Hadoop, která vyuţívá modelu MapReduce. Nad tímto systémem byly následně provedeny experimenty, jejichţ smyslem bylo získat představu o výkonnosti tohoto řešení oproti řešením stávajícím a odhalit slabiny systému. Na základě získaných poznatků byla pak vytvořena specifikace a návrh rozšíření stávajícího softwarového kolektoru. Dle vytvořeného návrhu následně vznikla implementace dotazovací části navrhovaného kolektoru, která se při distribuovaném zpracování dat o IP tocích jeví jako nejvíce kritická. Výsledky experimentů s touto implementací ukázaly výrazné zvýšení výkonu při dotazování a schopnost lineární škálovatelnosti na některých typech dotazů.
|
|
|
BigData řešení pro zpracování rozsáhlých dat ze síťových toků
Melkes, Miloslav ; Ráb, Jaroslav (oponent) ; Ryšavý, Ondřej (vedoucí práce)
Tato diplomová práce se zaměřuje na problematiku distribuovaného zpracování velkých dat ze síťové komunikace. Začíná analýzou síťové komunikace založené na modelu TCP/IP se zaměřením na datové jednotky na jednotlivých vrstvách, které je nutno při analýze síťových dat zpracovávat. Z hlediska vlastního zpracování rozsáhlých dat je objasněn výpočetní model MapReduce, architektura technologie Apache Hadoop a jejich možné využití pro zpracování síťových toků na clusteru počítačů. Druhá část práce se zbývá návrhem a následnou implementací aplikace pro zpracování síťových toků ze zachycené síťové komunikace. V této části jsou rozebrány klíčové a problematické části z implementace. Celá práce je poté zakončena srovnáním s dostupnými nástroji pro síťovou analýzu a vyhodnocením sady testů, které potvrdili lineární růst zrychlení.
|
|
|
Automatické označování obrázků
Lukáč, Michal ; Řezníček, Ivo (oponent) ; Hradiš, Michal (vedoucí práce)
Práca sa zaoberá automatickým označovaním obrázkov do sémantických kategórií. Je popísaná teória z klasi kácie a detekcie lokálnych príznakov. Sú vysvetlené základné algoritmy strojového učenia pri označovaní obrázkov a ich učenie pomocou algoritmu Gradient descent. Je navrhnuté riešenie s hierarchiou pre ImageNet a tagovanie obrázkov atribútmi. Výpočetný model MapReduce je ukázaný pre učenie na veľkých dátových sadách. V poslednej časti je popísaná implementácia, experimentálne a testovacie výsledky.
|
|
|
Monitorování návštěvníků webových stránek
Jelič, Martin ; Očenášek, Pavel (oponent) ; Burget, Radek (vedoucí práce)
Práce se zabývá webovou analytikou, jejími pojmy, principy, souvisejícími problémy a jejich řešením. Je zde zevrubně popsáno několik existujících nástrojů pro webovou analytiku. Těžištěm práce je návrh a implementace nového nástroje, který umožňuje monitorovat provoz na webových stránkách a vyhodnocovat údaje za účelem řízení internetových projektů. V rámci práce jsou prezentovány výsledky testování nástroje v reálném provozu a jejich srovnání s existujícími nástroji, od kterých se nový nástroj v některých vlastnostech odlišuje. Práce pojednává též o výhodách použití dokumentově orientované databáze MongoDB pro účely monitorování návštěvnosti webových stránek.
|
|
|
Implementace shlukování regulárních výrazů pomocí MapReduce přístupu
Šafář, Martin ; Dvořák, Milan (oponent) ; Kaštil, Jan (vedoucí práce)
Hlavním přínosem této práce je návrh a implementace aplikace, která využívá model MapReduce a Apache Hadoop pro urychlení shlukování regulárních výrazů. V této prácí jsou popsány algoritmy, které se využívají pro shlukování regulárních výrazů a je navrženo několik vylepšení pro tyto algoritmy. Experimenty prováděné v rámci této práce ukázaly, že cluster skládající se z 20ti počítačů dokáže oproti klasickému přístupu zrychlit shlukování až desetinásobně.
|
|
|
Big Data
Bútora, Matúš ; Bartík, Vladimír (oponent) ; Hruška, Tomáš (vedoucí práce)
Cieľom bakalárskej práca je popísať problematiku Big Data a agregačné operácie OLAP pre podporu rozhodovania, ktoré sú na ne aplikované pomocou technológie Apache Hadoop. Prevažná časť práce je venovaná popisu práve tejto technológie. Posledná kapitola sa zaoberá spôsobom aplikovania agregačných operácií a problematikou ich realizácie. Nasleduje celkové zhodnotenie práce a možnosti využitia výsledného systému do budúcna.
|
|
|
Aplikace pro Big Data
Blaho, Matúš ; Bartík, Vladimír (oponent) ; Hruška, Tomáš (vedoucí práce)
Táto práca sa zaoberá popisom a analýzou konceptu Big Data a ich spracovaním a využitím v procese podpory rozhodovania. Navrhované spracovanie vychádza z konceptu MapReduce navrhnutého pre spracovanie Big Data. Teoretická časť tejto práce z veľkej časti, pojednáva o systéme Hadoop, ktorý poskytuje implementáciu tohoto konceptu. Jeho pochopenie je kľúčovou vlastnosťou pre správny návrh aplikácií spúšťaných v tomto systéme. Práca tiež obsahuje návrh konkrétnych aplikácií na spracovanie Big Data. V implementačnej časti práce sa nachádza popis správy systému Hadoop, popis implementácie aplikácií MapReduce a popis ich testovania nad testovacími sadami dát.
|
|
|
Škálovatelné předzpracování dat prostřednictvím nástroje Hadoop
Marinič, Michal ; Šmirg, Ondřej (oponent) ; Burget, Radim (vedoucí práce)
Tato práce se zabývá škálovatelným předzpracováním dat prostřednictvím nástroje Hadoop, který slouží pro paralelní zpracování velkého objemu dat. V první teoretické části se práce zaměřuje na vysvětlení fungování struktury základních funkčních prvků distribuovaného souborového systému HDFS a metody MapReduce pro paralelní zpracování. Praktická část práce popisuje realizaci Hadoop clusteru v pseudo-režimu pro jednoduché ladění aplikací a také realizaci v plně distribuovaném režimu pro simulaci nasazení v reálné praxi.
|
|
|
Optimalizace platformy pro distribuované výpočty Hadoop
Čecho, Jaroslav ; Smrčka, Aleš (oponent) ; Letko, Zdeněk (vedoucí práce)
Tato diplomová práce se zabývá možnostmi optimalizace frameworku Hadoop za pomocí platformy CUDA. Apache Hadoop je frameworku umožnující analýzu obrovských objemů dat. Obsahuje distribuovaný souborový systém a implementaci programovacího paradigmatu mapreduce s jehož pomocí se poté píší uživatelské aplikace. Platforma CUDA firmy NVIDIA umožnuje využít výkon grafické karty počítače i k jiným účelům než je generování grafického výstupu na zobrazovací zařízení počítače. Má prace obsahuje seznam a experimentální implementaci výpočtů frameworku Hadoop vhodných k přesunu z hlavního procesoru počítače na grafickou kartu za účelem dosáhutí časové optimalizace běžících mapreduce aplikací.
|
|
|
Aplikace pro Big Data
Blaho, Matúš ; Bartík, Vladimír (oponent) ; Hruška, Tomáš (vedoucí práce)
Táto práca sa zaoberá popisom a analýzou konceptu Big Data a ich spracovaním a využitím v procese podpory rozhodovania. Navrhované spracovanie vychádza z konceptu MapReduce navrhnutého pre spracovanie Big Data. Teoretická časť tejto práce z veľkej časti, pojednáva o systéme Hadoop, ktorý poskytuje implementáciu tohoto konceptu. Jeho pochopenie je kľúčovou vlastnosťou pre správny návrh aplikácií spúšťaných v tomto systéme. Práca tiež obsahuje návrh konkrétnych aplikácií na spracovanie Big Data. V implementačnej časti práce sa nachádza popis správy systému Hadoop, popis implementácie aplikácií MapReduce a popis ich testovania nad testovacími sadami dát.
|
host ::
RSS.