Original title:
Optimalizace zpracování dat o síti Tor pomocí OLAP
Translated title:
Tor Network Consensus Data Stored in OLAP Database
Authors:
Chomo, Michal ; Bartík, Vladimír (referee) ; Polčák, Libor (advisor) Document type: Master’s theses
Year:
2019
Language:
cze Publisher:
Vysoké učení technické v Brně. Fakulta informačních technologií Abstract:
[cze][eng]
Tor je distribuovaná sieť, ktorá poskytuje súkromie a anonymitu na internete. Informácie o nej sú verejne dostupné vo forme consensus dokumentov. Existujúce nástroje na zobrazovanie týchto informácií ich nedokážu zobraziť detailne a zároveň z ktoréhokoľvek bodu v čase. Nástroj Consensus Parser, vyvinutý v rámci výskumného projektu TARZAN na Vysokom učení technickom v Brne, to dokáže a navyše obohatí tieto informácie o geolokačné informácie a DNS záznamy. Consensus Parser tieto informácie ukladá do súborov na disku a umožňuje k nim prístup cez RESTové API. Táto diplomová práca rozširuje Consensus Parser o databázu MariaDB ColumnStore so schémou navrhnutou tak, aby spĺňala požiadavky na OLAP. Vyhľadávacie možnosti Consensus Parseru boli rozšírené pridaním 109 endpointov k 12 existujúcim a pridaním možnosti obmedziť hľadané informácie iba na špecifické polia. Miesto na disku potrebné na uloženie dát bolo redukované na pätinu.
Tor is a distributed network providing privacy and anonymity on the Internet. Information about Tor is publicly available in a form of consensus documents. Existing tools that are able to display this information do not provide both historical and detailed view of it. A tool named Consensus Parser that provides a detailed, historical view of this information and extends it with geolocation and DNS information, was created as a part of TARZAN research project at Brno University of Technology. It stores the information in regular files on disk and makes it accessible via REST API. This thesis extends Consensus Parser with MariaDB ColumnStore database with a schema designed to conform to OLAP needs. The searching capabilities of Consensus Parser were enhanced by adding 109 new endpoints to 12 existing ones and adding the ability to limit the retrieved information to certain fields only. Disk space needed for storing the information was reduced by a factor of five.
Keywords:
GeoLite2; MariaDB ColumnStore; OLAP (Online Analytical Processing); REST API; Tor; GeoLite2; MariaDB ColumnStore; OLAP (Online Analytical Processing); REST API; Tor
Institution: Brno University of Technology
(web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library. Original record: http://hdl.handle.net/11012/180343