Original title: Optimalizace distribuovaného I/O subsystému projektu k-Wave
Translated title: Optimization of the Distributed I/O Subsystem of the k-Wave Project
Authors: Vysocký, Ondřej ; Hrbáček, Radek (referee) ; Jaroš, Jiří (advisor)
Document type: Bachelor's theses
Year: 2014
Language: cze
Publisher: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract: [cze] [eng]
Práce se zabývá řešením efektivního paralelního zápisu velkých objemů dat na souborovém systému Lustre. Cílový program je navržen pro projekt k-Wave simulující šíření akustických a ultrazvukových vln. Tato simulace pro svou výpočetní a datovou náročnost vyžaduje spouštění na superpočítači a implementaci pomocí knihoven pro paralelní zpracování (Open MPI) a pro uložení velkých objemů dat (HDF5). Výsledný program je implementován v jazyce C s využitím zmíněných knihoven. Správným nastavením souborového systému Lustre bylo dosaženo rychlosti 2,5 GB/s, jež odpovídá 5-ti násobnému zrychlení nativního zápisu, který byl následně pomocí techniky agregace dat zrychlen až na 3 GB/s, což naráží na teoretické limity diskového pole superpočítače Anselm. This thesis deals with an effective solution of parallel writing of variable amounts of data on the Lustre file system. The work will be used by the k-Wave project designed for time domain acoustic and ultrasound simulations. Since the simulation is computationally and data intensive, the project requires to be implemented with libraries for parallel computig (Open MPI) and large data processing (HDF5) and it must run on a supercomputer. The application is implemented in C and uses previously mentioned libraries. The proper settings of the Lustre file system leads to the peak write bandwith of 2.5 GB/s that corresponds to a speedup factor of 5 compared to the reference settings. The data aggregation improved the write bandwidth by a factor of 3 compared to a naive version. Here, the achieved I/O bandwidth for certain block sizes hits the limits of the Anselm I/O subsytem (3GB/s).
Keywords: Big Data; HDF5; Hierarchical Data Format; I/O; k-Wave; Lustre; Message Passing Interface; Open MPI; Optimization; Parallel Programming; Supercomputer; Write; HDF5; I/O; k-Wave; Lustre; Open MPI; optimalizace; paralelní programování; superpočítač; velké množství dat; zápis

Institution: Brno University of Technology (web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library.
Original record: http://hdl.handle.net/11012/56540

Permalink: http://www.nusl.cz/ntk/nusl-239690


The record appears in these collections:
Universities and colleges > Public universities > Brno University of Technology
Academic theses (ETDs) > Bachelor's theses