|
|
Optimalizace platformy pro distribuované výpočty Hadoop
Čecho, Jaroslav ; Smrčka, Aleš (oponent) ; Letko, Zdeněk (vedoucí práce)
Tato diplomová práce se zabývá možnostmi optimalizace frameworku Hadoop za pomocí platformy CUDA. Apache Hadoop je frameworku umožnující analýzu obrovských objemů dat. Obsahuje distribuovaný souborový systém a implementaci programovacího paradigmatu mapreduce s jehož pomocí se poté píší uživatelské aplikace. Platforma CUDA firmy NVIDIA umožnuje využít výkon grafické karty počítače i k jiným účelům než je generování grafického výstupu na zobrazovací zařízení počítače. Má prace obsahuje seznam a experimentální implementaci výpočtů frameworku Hadoop vhodných k přesunu z hlavního procesoru počítače na grafickou kartu za účelem dosáhutí časové optimalizace běžících mapreduce aplikací.
|
|
|
Optimalizace čtení dat z distribuované databáze
Kozlovský, Jiří ; Holek, Radovan (oponent) ; Macho, Tomáš (vedoucí práce)
Tato práce se zabývá optimalizací čtení dat z distribuované NoSQL databáze Apache HBase s ohledem na požadovanou granularitu dat. Zadání vzniklo jako produktový požadavek firmy Seznam.cz, a.s. divize Reklamy, nákladového střediska Sklik.cz za účelem vylepšení uživatelské zkušenosti zpřístupněním filtrace agregovaných statistických dat uživatelům inzerentské webové aplikace pro zobrazení historie výkonnosti entit.
|
|
|
Zpracování velkých dat z rozsáhlých IoT sítí
Benkő, Krisztián ; Podivínský, Jakub (oponent) ; Krčma, Martin (vedoucí práce)
Cieľom tejto diplomovej práce je návrh a vytvorenie systému pre zber, spracovanie a ukladanie dát z rosiahlych IoT sietí. Vytvorený systém predstavuje komplexné riešenie, umožňujúce spracovanie dát z rôznych IoT sietí, s využitím Apache Hadoop ekosystému. Dáta sú spracované v reálnom čase a ukladané do NoSQL databázy, ale ukladajú sa dáta aj do súborového systému pre prípadné neskoršie spracovanie. Systém je optimalizovaný a testovaný na dátach zo siete IQRF. Dáta uložené v NoSQL databázi sa vizualizujú a vykonávajú sa predikcie v pravidelných intervaloch. Používateľ je prepojený s týmto systémom cez informačný systém, kam mu v prípade hodnôt mimo rozsah chodia notifikácie.
|
|
|
Optimalizace čtení dat z distribuované databáze
Kozlovský, Jiří ; Holek, Radovan (oponent) ; Macho, Tomáš (vedoucí práce)
Tato práce se zabývá optimalizací čtení dat z distribuované NoSQL databáze Apache HBase s ohledem na požadovanou granularitu dat. Zadání vzniklo jako produktový požadavek firmy Seznam.cz, a.s. divize Reklamy, nákladového střediska Sklik.cz za účelem vylepšení uživatelské zkušenosti zpřístupněním filtrace agregovaných statistických dat uživatelům inzerentské webové aplikace pro zobrazení historie výkonnosti entit.
|
|
|
Aplikace pro Big Data
Blaho, Matúš ; Bartík, Vladimír (oponent) ; Hruška, Tomáš (vedoucí práce)
Táto práca sa zaoberá popisom a analýzou konceptu Big Data a ich spracovaním a využitím v procese podpory rozhodovania. Navrhované spracovanie vychádza z konceptu MapReduce navrhnutého pre spracovanie Big Data. Teoretická časť tejto práce z veľkej časti, pojednáva o systéme Hadoop, ktorý poskytuje implementáciu tohoto konceptu. Jeho pochopenie je kľúčovou vlastnosťou pre správny návrh aplikácií spúšťaných v tomto systéme. Práca tiež obsahuje návrh konkrétnych aplikácií na spracovanie Big Data. V implementačnej časti práce sa nachádza popis správy systému Hadoop, popis implementácie aplikácií MapReduce a popis ich testovania nad testovacími sadami dát.
|
|
|
Distribuované zpracování rozsáhlých dat na platformě Java
Tutko, Jakub ; Rychlý, Marek (oponent) ; Burget, Radek (vedoucí práce)
Táto práca sa zameriava na možnosti distribuovaného spracovania rozsiahlych dát na platforme Java s využitím grafových databáz. Analyzuje niekoľko distribúcii grafových databáz a spôsob ich prepojenia so systémom pre distribuované spracovanie dát, Apache Hadoop. Pre testovanie efektivity jednotlivých databázových riešení je výsledkom práce aplikácia, ktorá sťahuje dáta zo sociálnych sietí Twitter a Facebook. Tieto dáta je potom schopná zapísať a analyzovať pomocou dvoch rôznych databázových frameworkov. Jedná sa o frameworky Halyard a HGraphDB.
|
|
|
Distribuovaný repositář digitálních forenzních dat
Josefík, Martin ; Burget, Radek (oponent) ; Rychlý, Marek (vedoucí práce)
Tato práce se zabývá návrhem distribuovaného repositáře zaměřeného jako úložiště rozsáhlých digitálních forenzních dat. Teoretická část práce pojednává o forenzní analýze digitálních dat a co je jejím cílem. Současně také vysvětluje Big data, vhodné úložiště, jejich vlastnosti, výhody a nevýhody. Hlavní část práce se pak zabývá návrhem a implementací distribuovaného úložiště pro digitální forenzní data. Návrh se rovněž zaměřuje na vhodnou indexaci uložených dat a rozšiřitelnost pro podporu nových druhů digitálních forenzních dat do budoucna. Implementovaný systém byl otestován z hlediska výkonnosti pro vstupní data PCAP soubory.
|
|
|
Zpracování dat v prostředí Hadoop
BURDA, Jiří
Tato bakalářská práce se zabývá zpracování dat v prostředí Hadoop. V teoretické části je představena architektura Apache Hadoop, distribuovaný souborový systém HDFS, paralelní zpracování dat pomocí MapReduce a dalších nástrojů Hadoop. V praktické části je popsána konfigurace Hadoop a spuštění na vybraném serveru. Následné otestování jeho funkčnosti na vzorové úloze "wordcount". Závěrem práce budou získána data z Twitteru a provedena jejich analýza.
|
|
|
Big Data
Bútora, Matúš ; Bartík, Vladimír (oponent) ; Hruška, Tomáš (vedoucí práce)
Cieľom bakalárskej práca je popísať problematiku Big Data a agregačné operácie OLAP pre podporu rozhodovania, ktoré sú na ne aplikované pomocou technológie Apache Hadoop. Prevažná časť práce je venovaná popisu práve tejto technológie. Posledná kapitola sa zaoberá spôsobom aplikovania agregačných operácií a problematikou ich realizácie. Nasleduje celkové zhodnotenie práce a možnosti využitia výsledného systému do budúcna.
|
|
|
Integrace Big Data a datového skladu
Kiška, Vladislav ; Novotný, Ota (vedoucí práce) ; Kerol, Valeria (oponent)
Diplomová práce se zabývá problémem datové integrace Big Data platformy a podnikového datového skladu. Hlavním cílem je vytvoření přenosového systému, který pomocí vhodně zvoleného nástroje bude přenášet data z datového skladu na tuto platformu a bude udržovat informace o všech realizovaných přenosech. V teoretické části se práce soustředí na představení pojmu Big Data, stručný vývoj těchto technologií a faktory, které vedly k potřebě těchto technologií. Dále jsou představeny hlavní principy a vlastnosti těchto technologií a přínos jejich implementace do podniku. Práce popisuje také nástroje a přístupy označované jako Business Intelligence, jejich typické použití v podniku a jejich vztah k technologiím Big Data. Dílčí podkapitola se také věnuje systému Hadoop a nejpopulárnějším technologiím, které s ním souvisí. Praktická část se věnuje konkrétní vzorové implementaci tohoto aparátu, který bude realizovat přenosy z klasické relační databáze, představující datový sklad, do clusteru několika počítačů provozujících systém Hadoop. Součástí praktické části je také přehled několika možných nástrojů, které se aktuálně používají pro nahrávání dat do Hadoopu a návrh databázového schématu metadat, které bude sloužit k řízení celého systému a udržování informací o proběhlých přenosech.
|
host ::
RSS.