Název: Optimalizace distribuovaného I/O subsystému projektu k-Wave
Překlad názvu: Optimization of the Distributed I/O Subsystem of the k-Wave Project
Autoři: Vysocký, Ondřej ; Hrbáček, Radek (oponent) ; Jaroš, Jiří (vedoucí práce)
Typ dokumentu: Bakalářské práce
Rok: 2014
Jazyk: cze
Nakladatel: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstrakt: [cze] [eng]
Práce se zabývá řešením efektivního paralelního zápisu velkých objemů dat na souborovém systému Lustre. Cílový program je navržen pro projekt k-Wave simulující šíření akustických a ultrazvukových vln. Tato simulace pro svou výpočetní a datovou náročnost vyžaduje spouštění na superpočítači a implementaci pomocí knihoven pro paralelní zpracování (Open MPI) a pro uložení velkých objemů dat (HDF5). Výsledný program je implementován v jazyce C s využitím zmíněných knihoven. Správným nastavením souborového systému Lustre bylo dosaženo rychlosti 2,5 GB/s, jež odpovídá 5-ti násobnému zrychlení nativního zápisu, který byl následně pomocí techniky agregace dat zrychlen až na 3 GB/s, což naráží na teoretické limity diskového pole superpočítače Anselm. This thesis deals with an effective solution of parallel writing of variable amounts of data on the Lustre file system. The work will be used by the k-Wave project designed for time domain acoustic and ultrasound simulations. Since the simulation is computationally and data intensive, the project requires to be implemented with libraries for parallel computig (Open MPI) and large data processing (HDF5) and it must run on a supercomputer. The application is implemented in C and uses previously mentioned libraries. The proper settings of the Lustre file system leads to the peak write bandwith of 2.5 GB/s that corresponds to a speedup factor of 5 compared to the reference settings. The data aggregation improved the write bandwidth by a factor of 3 compared to a naive version. Here, the achieved I/O bandwidth for certain block sizes hits the limits of the Anselm I/O subsytem (3GB/s).
Klíčová slova: HDF5; I/O; k-Wave; Lustre; Open MPI; optimalizace; paralelní programování; superpočítač; velké množství dat; zápis; Big Data; HDF5; Hierarchical Data Format; I/O; k-Wave; Lustre; Message Passing Interface; Open MPI; Optimization; Parallel Programming; Supercomputer; Write

Instituce: Vysoké učení technické v Brně (web)
Informace o dostupnosti dokumentu: Plný text je dostupný v Digitální knihovně VUT.
Původní záznam: http://hdl.handle.net/11012/56540

Trvalý odkaz NUŠL: http://www.nusl.cz/ntk/nusl-239690


Záznam je zařazen do těchto sbírek:
Školství > Veřejné vysoké školy > Vysoké učení technické v Brně
Vysokoškolské kvalifikační práce > Bakalářské práce