|
|
Transferring Improved Local Kernel Design in Multi-Source Bayesian Transfer Learning, with an application in Air Pollution Monitoring in India
Nugent, Sh. ; Quinn, Anthony
Existing frameworks for multi-task learning [1],[2] often rely on completely modelled relationships between tasks, which may not be available. Recent work [3], [4] has been undertaken on approaches to fully probabilistic methods for transfer learning between two Gaussian Process (GP) tasks. There, the target algorithm accepts source knowledge in the form of a probabilistic prior from a source algorithm, without requiring the target to model their interaction with the source. These strategies have offered robust improvements on current state of the art algorithms, such as the Intrinsic Coregionalization Model. The Bayesian Transfer Learning algorithm proposed in [4], was found to provide robust, positive\ntransfer. This algorithm was then extended to accommodate knowledge transfer from multiple source modellers [5]. Improved predictive performance was observed from increases in the number of sources. This report reviews the multi-source transfer findings in [5] and applies it to a real world problem of pollution modelling in India, using public-domain data.
|
|
|
Bayesian Optimization of Hyperparameters Using Gaussian Processes
Arnold, Jakub ; Straka, Milan (vedoucí práce) ; Vomlelová, Marta (oponent)
Cílem této práce bylo naimplementovat praktický nástroj pro optimalizaci hyperparametrů neuronových sítí pomoci bayesovské optimalizace. Práce zavádí potřebnou teorii pro bayesovskou optimalizaci, včetně matematických základů pro regresi pomocí gaussovských procesů, a dalších rozšíření bayesovské optimal- izace. Abychom mohli porovnat efektivnitu bayesovské optimalizace provedli jsme několik realistických experimentů s různými architekturami neuronových sítí. Bayesovskou optimalizaci jsme také srovnali s náhodným prohledáváním, kde ve většině případů záskala lepší výslednou hodnotu optimalizované funkce, včetně menšího rozptylu v opakovaných experimentech. Ve třech ze čtyř ex- perimentů Bayesovská optimalizace získala lepší výsledek, než ručně optimali- zované hyperparametry. Navíc také ukazujeme, jak může být regrese pomocí gaussovských procesů použita pro vizualizaci vlivů jednotlivých hyperparametrů na optimalizovanou funkci, a také závislostí mezi více hyperparametry. 1
|
|
| |
|
| |
host ::
RSS.