|
|
Aplikace posilovaného učení v řízení Smart Home
Biel, Gabriel ; Zbořil, František (oponent) ; Janoušek, Vladimír (vedoucí práce)
This thesis investigates how machine learning can improve smart home management by focusing on optimizing temperature control and boosting energy efficiency. Specifically, it examines and compares two sophisticated reinforcement learning algorithms, Deep Q-Learning (DQL) and Proximal Policy Optimization (PPO). These models are tested in a simulated environment that replicates real-world conditions to evaluate their effectiveness in adapting to user behaviors and environmental changes. The study finds that the PPO model is particularly effective due to its stability and ability to predict when occupants will return, thus maintaining a comfortable temperature more efficiently. This research offers valuable insights into the practical applications of AI technologies in smart homes.
|
|
|
Using Reinforcement learning and inductive synthesis for designing robust controllers in POMDPs
Hudák, David ; Holík, Lukáš (oponent) ; Češka, Milan (vedoucí práce)
A significant challenge in sequential decision-making involves dealing with uncertainty, which arises from inaccurate sensors or only a partial knowledge of the agent's environment. This uncertainty is formally described through the framework of partially observable Markov decision processes (POMDPs). Unlike Markov decision processes (MDP), POMDPs only provide limited information about the exact state through imprecise observations. Decision-making in such settings requires estimating the current state, and generally, achieving optimal decisions is not tractable. There are two primary strategies to address this issue. The first strategy involves formal methods that concentrate on computing belief MDPs or synthesizing finite state controllers, known for their robustness and verifiability. However, these methods often struggle with scalability and require to know the underlying model. Conversely, informal methods like reinforcement learning offer scalability but lack verifiability. This thesis aims to merge these approaches by developing and implementing various techniques for interpreting and integrating the results and communication strategies between both methods. In this thesis, our experiments show that this symbiosis can improve both approaches, and we also show that our implementation overcomes other RL implementations for similar tasks.
|
|
|
Posilované učení pro hru typu Bomberman
Adamčiak, Jakub ; Beran, Vítězslav (oponent) ; Hradiš, Michal (vedoucí práce)
Cieľom tejto bakalárksej práce je návrh, implementácia a trénovanie modelov posilňovaného učenia na hru typu Bomberman. Je postavená na prostredí Bomberland od firmy CoderOne. Toto prostredie bolo vyvinuté za účelom vzdelávania a výskumu v odvetí umelej inteligencie. V tejto práci rozoberám rôzne nastavenia a problémy s implementovaním agenta do prostredia. Vyskúšal som 2 politiky (MLP a CNN), 2 algoritmy (PPO a A2C) a 5 druhov neurónových sietí pre extrakciu vlastností za pomoci knižníc stable baselines 3 a pytorch. Celkový čas trénovania týchto modelov bol dokopy 1207 reálnych hodín, 4168 strojových hodín a 271 miliónov herných krokov. Aj keď bolo trénovanie neúspešné, táto práca ukazuje proces implementácie modelu posilňovaného učenia do prostredia Gym.
|
|
|
Aplikace posilovaného učení v řízení autonomního vozidla
Vosol, David ; Zbořil, František (oponent) ; Janoušek, Vladimír (vedoucí práce)
Tato práce se zabývá problematikou posilovaného učení aplikovaného na úlohu autonomního řízení vozidla. Nejprve je probrána nezbytná teorie posilovaného učení, která je zakončena představením nejmodernějších aktor-kritik metod. Z nich je vybrána metoda Proximal Policy Optimization , která je následně aplikována na tuto úlohu. Pro tento účel je také zvolen závodní simulátor TORCS. Naším cílem je naučit v simulovaném prostředí agenta autonomně řídit, s ohledem na jeho budoucí aplikaci v reálném prostředí v podobě zmenšeného RC modelu vozidla. Za tímto účelem jsou simulovány podmínky vzdáleného učení a ovládání vozidla v cloudu a to v podobě simulace ztráty paketů s daty od senzorů a aktuátorů nebo simulace zašuměných dat. Také jsou provedeny experimenty s cílem zjistit nejmenší počet senzorů, se kterým je agent schopen se úlohu naučit. Dále je experimentováno s využitím výstupu kamery vozidla. Jsou představeny různé návrhy architektur systému, mimo jiné i se zaměřením na co nejnižší hardwarové požadavky. Na závěr jsou prozkoumány vlastnosti naučeného agenta z pohledu generalizace v neznámém prostředí.
|
|
|
Změny aktivit enzymů v ovoci v průběhu dlouhodobého uchovávání
Ferdová, Jitka ; Melounová,, Jitka (oponent) ; Márová, Ivana (vedoucí práce)
V této diplomové práci byly studovány změny aktivit antioxidačních enzymů a změny obsahu nízkomolekulárních antioxidantů v různých druzích ovoce při dlouhodobém skladování. V teoretické části jsou popsány jednotlivé nízkomolekulární antioxidanty a antioxidační enzymy. Také jsou zde shrnuty příčiny kažení ovoce a používané způsoby konzervace. Jako vzorky byly použity zejména běžné lokální druhy ovoce - jablka červená a zelená, broskve, švestky a hrozny. Ovoce bylo skladováno dlouhodobě (několik měsíců) jednak v nezpracovaném stavu v laboratoři, ve sklepě, v lednici a v mrazícím boxu. U uchovávání mražením byly testovány různé způsoby přípravy a zpracování ovoce na aktivity enzymů a obsah nízkomolekulárních látek. Zkrácená analýza byla provedena rovněž v borůvkách, brusinkách, malinách a jahodách. U skladovaného ovoce byly sledovány skupinové parametry - celková antioxidační aktivita, obsah sušiny, vitaminu C, celkových flavonoidů a polyfenolů spektrofotometricky. Stanovení individuálních flavonoidů a katechinů bylo provedeno pomocí RP/HPLC/UV-VIS a on-line LC/PDA/ESI-MS. Aktivity antioxidačních enzymů – superoxiddismutasy (SOD), katalasy, polyfenoloxidasy (PPO) a lipoxygenasy (LOX) byly stanoveny spektrofotometricky. Z důvodu napadení některých vzorků plísněmi byla provedena povrchová mikroskopie a kultivace vzdušné i povrchové mikroflóry. Vliv podmínek uchovávání na zachování biologických vlastností je podmíněn druhem ovoce. Obecně nejšetrnějším způsobem dlouhodobého uchovávání je mražení, avšak u velkých plodů dochází často k senzorickým změnám. Dlouhodobé uchovávání v regulovaném teplotním režimu nebo v regulované atmosféře je vhodné pro plody s delší udržitelností, v těchto plodech se udrží déle stabilní hladiny antioxidačních enzymů. Některé z těchto enzymů působí synergisticky. Zatímco na začátku uchovávání lze např. v plodech jablek nalézt vysoké hladiny SOD a LOX, u přezrálých nebo poškozených plodů jsou naopak vyšší hladiny katalázy a PPO. Hladiny nízkomolekulárních antioxidantů v plodech v průběhu uchovávání kolísají, ale obecně vykazují vzrůstající tendenci s rostoucí délkou uchovávání.
|
|
|
Vliv podmínek uchovávání na obsah biologicky aktivních složek v plodech jablek
Ferdová, Jitka ; Čarnecká, Martina (oponent) ; Márová, Ivana (vedoucí práce)
V předložené bakalářské práci jsou popsány antioxidanty vyskytující se ve stravě a jejich účinky na lidský organismus. Dále jsou shrnuty činitele znehodnocování plodů jablek v průběhu skladování a možnosti ochrany proti nim. V praktické části byly nejprve kalibrovány a validovány metody stanovení enzymů superoxiddismutázy (SOD), katalasy a polyfenoloxidázy (PPO) v jablkách. Po nalezení vhodných metod byly uvedené enzymy změřeny v jablkách zpracovaných pod tekutým dusíkem po 158 dnech skladování v normální nebo v modifikované atmosféře. Také byla provedena kvantitativní a kvalitativní analýza bílkovin v jablkách. Dále byly ve zamražené surové šťávě změřeny některé nízkomolekulární antioxidanty (celkové polyfenoly, celkové flavonoidy a vitamín C) a celková antioxidační aktivita. Tyto hodnoty byly porovnány s hodnotami naměřenými v plodech ihned po sklizni. V poslední části bylo provedeno umělé zaplísnění jablek a sledovala se úspěšnost uchycení mikroorganismů.
|
|
|
Úprava řeky směrem s přihlédnutím k ochraně a revitalizaci
Hala, Matěj ; Kotaška, Stanislav (oponent) ; Duchan, David (vedoucí práce)
Obsah bakalářské práce zahrnuje hydraulické posouzení řeky Dřevnice v úseku km 3,380 – 6,820. V rámci práce je podrobně popsán charakter toku a posouzení stávajícího stavu koryta softwarem HEC-RAS 6.3.1. V návaznosti na stávající stav je následně proveden návrh přírodě blízkých protipovodňových opatření na průtok Q100. Na závěr je popsáno hydraulické posouzení navržených PPO. Součástí práce jsou také mapové výstupy jednotlivých rozlivů, hloubek, rychlostí a vzorové příčné řezy navržených protipovodňových opatření.
|
|
|
Aplikace posilovaného učení v řízení autonomního vozidla
Vosol, David ; Zbořil, František (oponent) ; Janoušek, Vladimír (vedoucí práce)
Tato práce se zabývá problematikou posilovaného učení aplikovaného na úlohu autonomního řízení vozidla. Nejprve je probrána nezbytná teorie posilovaného učení, která je zakončena představením nejmodernějších aktor-kritik metod. Z nich je vybrána metoda Proximal Policy Optimization , která je následně aplikována na tuto úlohu. Pro tento účel je také zvolen závodní simulátor TORCS. Naším cílem je naučit v simulovaném prostředí agenta autonomně řídit, s ohledem na jeho budoucí aplikaci v reálném prostředí v podobě zmenšeného RC modelu vozidla. Za tímto účelem jsou simulovány podmínky vzdáleného učení a ovládání vozidla v cloudu a to v podobě simulace ztráty paketů s daty od senzorů a aktuátorů nebo simulace zašuměných dat. Také jsou provedeny experimenty s cílem zjistit nejmenší počet senzorů, se kterým je agent schopen se úlohu naučit. Dále je experimentováno s využitím výstupu kamery vozidla. Jsou představeny různé návrhy architektur systému, mimo jiné i se zaměřením na co nejnižší hardwarové požadavky. Na závěr jsou prozkoumány vlastnosti naučeného agenta z pohledu generalizace v neznámém prostředí.
|
|
|
Posilované učení pro hru typu Bomberman
Adamčiak, Jakub ; Beran, Vítězslav (oponent) ; Hradiš, Michal (vedoucí práce)
Cieľom tejto bakalárksej práce je návrh, implementácia a trénovanie modelov posilňovaného učenia na hru typu Bomberman. Je postavená na prostredí Bomberland od firmy CoderOne. Toto prostredie bolo vyvinuté za účelom vzdelávania a výskumu v odvetí umelej inteligencie. V tejto práci rozoberám rôzne nastavenia a problémy s implementovaním agenta do prostredia. Vyskúšal som 2 politiky (MLP a CNN), 2 algoritmy (PPO a A2C) a 5 druhov neurónových sietí pre extrakciu vlastností za pomoci knižníc stable baselines 3 a pytorch. Celkový čas trénovania týchto modelov bol dokopy 1207 reálnych hodín, 4168 strojových hodín a 271 miliónov herných krokov. Aj keď bolo trénovanie neúspešné, táto práca ukazuje proces implementácie modelu posilňovaného učenia do prostredia Gym.
|
|
|
Změny aktivit enzymů v ovoci v průběhu dlouhodobého uchovávání
Ferdová, Jitka ; Melounová,, Jitka (oponent) ; Márová, Ivana (vedoucí práce)
V této diplomové práci byly studovány změny aktivit antioxidačních enzymů a změny obsahu nízkomolekulárních antioxidantů v různých druzích ovoce při dlouhodobém skladování. V teoretické části jsou popsány jednotlivé nízkomolekulární antioxidanty a antioxidační enzymy. Také jsou zde shrnuty příčiny kažení ovoce a používané způsoby konzervace. Jako vzorky byly použity zejména běžné lokální druhy ovoce - jablka červená a zelená, broskve, švestky a hrozny. Ovoce bylo skladováno dlouhodobě (několik měsíců) jednak v nezpracovaném stavu v laboratoři, ve sklepě, v lednici a v mrazícím boxu. U uchovávání mražením byly testovány různé způsoby přípravy a zpracování ovoce na aktivity enzymů a obsah nízkomolekulárních látek. Zkrácená analýza byla provedena rovněž v borůvkách, brusinkách, malinách a jahodách. U skladovaného ovoce byly sledovány skupinové parametry - celková antioxidační aktivita, obsah sušiny, vitaminu C, celkových flavonoidů a polyfenolů spektrofotometricky. Stanovení individuálních flavonoidů a katechinů bylo provedeno pomocí RP/HPLC/UV-VIS a on-line LC/PDA/ESI-MS. Aktivity antioxidačních enzymů – superoxiddismutasy (SOD), katalasy, polyfenoloxidasy (PPO) a lipoxygenasy (LOX) byly stanoveny spektrofotometricky. Z důvodu napadení některých vzorků plísněmi byla provedena povrchová mikroskopie a kultivace vzdušné i povrchové mikroflóry. Vliv podmínek uchovávání na zachování biologických vlastností je podmíněn druhem ovoce. Obecně nejšetrnějším způsobem dlouhodobého uchovávání je mražení, avšak u velkých plodů dochází často k senzorickým změnám. Dlouhodobé uchovávání v regulovaném teplotním režimu nebo v regulované atmosféře je vhodné pro plody s delší udržitelností, v těchto plodech se udrží déle stabilní hladiny antioxidačních enzymů. Některé z těchto enzymů působí synergisticky. Zatímco na začátku uchovávání lze např. v plodech jablek nalézt vysoké hladiny SOD a LOX, u přezrálých nebo poškozených plodů jsou naopak vyšší hladiny katalázy a PPO. Hladiny nízkomolekulárních antioxidantů v plodech v průběhu uchovávání kolísají, ale obecně vykazují vzrůstající tendenci s rostoucí délkou uchovávání.
|
host ::
RSS.