|
|
Extending Data Lineage Analysis for Python with Runtime Types
Luňák, Václav ; Parízek, Pavel (vedoucí práce) ; Petříček, Tomáš (oponent)
V oboru data science je rostoucí poptávka po automatizované analýze da- tových toků v softwarových systémech. V případech, kde se používají univer- zální programovací jazyky, bývá Python jednou z nejpopulárnějších a zároveň nejsložitěji analyzovatelných voleb. Manta Flow je automatizovaná platforma pro analýzu datových toků, která obsahuje scanner pro Python. V této práci jsme vytvořili rozšíření scanneru pro Python v Manta Flow, které je schopné pomocí statické analýzy určit typy výrazů v analyzované aplikaci. Dosáhli jsme toho rozšířením konceptu datových toků o schopnost přenášet infor- mace o typech a adekvátním refaktorováním vnitřností scanneru. Toto rozší- ření bylo posléze použito na implementaci vylepšené metody pro identifikaci volaných funkcí během další analýzy.
|
|
|
Performance and Usability Improvements for Data Lineage Analysis of C# Programs
Kleprlík, Jan ; Parízek, Pavel (vedoucí práce) ; Bednárek, David (oponent)
Manta Flow je vysoce automatizovaná platforma pro statickou analýzu datových toků, které jsou následně zobrazeny v přehledném grafu. Tato platforma provádí analýzu mnoha technologií a programovacích jazyků pomocí takzvaných skenerů. Jeden z těchto skenerů provádí analýzu C# kódu, respektive jeho zkompilované alternativy Common Intermedi- ate Language. Tento skener byl již dříve schopný analyzovat netriviální aplikace, ovšem některé jeho aspekty stále zabraňovaly jeho rozšířenému použití a adopci ze strany uživa- telů. Mezi hlavní problémy patří nedostatečná podpora analýzy reálných aplikací z pro- dukčního prostředí, jako například webové aplikace nebo krátké úryvky kódu embedované v jiných technologiích, pomalá analýza a její nepřesný výstup. V této práci bylo dosa- ženo celkového zlepšení přesnosti, využitelnosti a výkonu skeneru na několika úrovních abstrakce od analýzy CIL kódu po modifikace celkového designu. Byla přidána podpora analýzy webových rozhraní vytvořených pomocí frameworku ASP.NET a embedovaného kódu v jiných technologiích. Zároveň byla vylepšena přesnost a výkon datové analýzy u dříve podporovaných aplikací úpravou klíčových algoritmů použitých během analýzy. 1
|
|
|
Fuzz testing of network subsystem in PikeOS
Piroutek, Jan ; Parízek, Pavel (vedoucí práce) ; Yaghob, Jakub (oponent)
Dosáhnout stability za jakékoli situace je cílem spousty aplikací. Tento problém se týká také síťového stacku ANIS, který je součástí operačního systému reálného času PikeOS vyvíjeného společností SYSGO. PikeOS vyžaduje bezpečnost a stabilitu svých komponent, protože je používán v průmyslu jako je např. letectví, kde by nedostatek těchto vlastností mohl způsobit veliké škody. Vyzkoušená cesta pro ověření stability a bezpečnosti programu je jeho testování. Fuzz testování je technika automatického tes- tování, která se snaží v programu najít chyby skrz generování náhodných vstupů. Jejím cílem je najít zranitelnosti a odhalit potenciální chyby, které mohou mít závažné důsledky na provoz aplikace. Další testovací technikou je long-run testing, přes který je aplikace vystavena náporu po delší časový úsek. Jelikož ANIS je běžně dodávám jako součást PikeOS, musí také splňovat stejné bez- pečnostní standardy jako PikeOS. My jsme s pomocí long-run a fuzz testování vytvořili testovací program pro síťový stack ANIS. Při tvorbě jsme kladli důraz na možnost na- stavování našeho testu. Tento test vystavuje ANIS různým scénářům, které mají za úkol zatížit ANIS. Test používá fuzzing jako nástroj pro generování kombinací těchto scénařů a snaží se s jejich pomocí donutit ANIS k chybám. V rámci vývoje jsme opatřili test malým...
|
|
|
Data Lineage Analysis for Databricks platform
Potočeková, Natália ; Parízek, Pavel (vedoucí práce) ; Škoda, Petr (oponent)
Technológie založené na notebookoch, ako sú Databricks a Jupyter Notebooks, si v posledných rokoch získali popularitu vďaka svojej prispôsobivosti a jednoduchému používaniu.Notebook je interaktívne výpočtové prostredie, ktoré umožňuje používateľom vytvárať dokumenty obsahujúce kód, vizualizácie a vysvetľujúci text na jednom mieste. Notebooky poskytujú priestor na prieskum dát, analýzu a dokumentáciu, čo používateľom umožňuje jednoducho rozvíjať a prezentovať svoju prácu. Schopnosť kombinovať vykoná- vanie kódu s vysvetleniami a vizualizáciami v rámci jedného dokumentu podporuje re- produkovateľnosť, zlepšuje spoluprácu medzi členmi tímu a motivuje vedcov k efektívnej práci s dátami. V tejto práci sme analyzovali technológiu Databricks, aby sme rozšírili platformu Manta Flow, vysoko automatizovaný nástroj na analýzu datových tokov, na podporu tejto technológie. Navrhli sme a implementovali nový skener, ktorý poskytuje základnú podporu pre analýzu notebookov Databricks napísaných v jazykoch Python a Databricks SQL. Poskytujeme tiež implementáciu takzvaného zdieľaného kontextu, ktorý možno použiť na prenos informácií medzi rôznymi skenermi na platforme Manta Flow. Na vizualizáciu interakcií medzi jazykmi a skenermi sme rozšírili Manta graf o nový typ uzla, ktorý predstavuje zdieľaný kontext. Okrem toho sme...
|
|
|
Zranitelnosti webových aplikací
Žák, Vojtěch ; Mareš, Martin (vedoucí práce) ; Parízek, Pavel (oponent)
Se stále dostupnějším připojením k internetu roste i počet webových aplikací a jejich uživatelů. S tímto nárůstem - jak už to bývá se vším - se zvětšuje i počet lidí, kteří se snaží nedostatky v těchto aplikacích zneužít. V této práci si ukážeme, jak nejčastější zranitelnosti webových aplikací fungují, a jak se jich jako vývojáři můžeme vyvarovat. Zaměříme se i na to, jak odhalit zranitelnosti aplikací jako uživatelé, a jak provést útoky zneužívající tyto zranitelnosti. Součástí této bakalářské práce je také projekt Vulnerability Presentation Server (Vul- pes), který vznikal ve spolupráci se společností CZ.NIC. Jedná se o soubor webových aplikací, ve kterých jsou za účelem jejich demonstrace záměrně ponechány zranitelnosti zmíněné v tomto textu. 1
|
|
|
Data Lineage Analysis Service for Embedded Code
Jurčo, Michal ; Parízek, Pavel (vedoucí práce) ; Bednárek, David (oponent)
Nástroje pro integraci dat často používají vložený kód pro manipulaci s daty. Mezi příklady takových nástrojů patří služba pro integraci dat AWS Glue, platforma Databricks, datový cloud Snowflake nebo integrační služby SQL Serveru (SSIS). Vestavěný kód je ob- vykle psán v programovacích jazycích jako je Python, Java, C# nebo JavaScript. Manta Flow je automatizovaná platforma pro analýzu datových linií v databázových modelech, datových kanálech nástrojů pro integraci dat, a ve zdrojovém kódu aplikací, ale chybí jí schopnost analyzovat vložený kód. V této práci jsme zhodnotili potenciální způsoby rozšíření možností platformy Manta Flow o schopnost analyzovat datové linie ve vloženém kódu. Vytvořili jsme obecný návrh opakovaně použitelné služby pro vestavěný kód, která využívá stávající potenciál analýzy datových toků ve zdrojovém kódu, a používá jej pro analýzu vestavěného kódu. Im- plementovali jsme specializaci této služby pro programovací jazyk Python a abychom demonstrovali její užitečnost, navrhli jsme a implementovali prototyp skeneru datových linií pro službu integrace dat AWS Glue. Tento skener rozsáhle využívá dotčenou službu k analýze datových linií ve vložených skriptech v jazyce Python, což jsme předvedli na realistickém příkladu. 1
|
|
|
Visualization of SMT solvers results
Bobeničová, Michaela ; Kofroň, Jan (vedoucí práce) ; Parízek, Pavel (oponent)
V súčasnej dobe sa SMT riešiče používajú na riešenie rôznych úloh z mno- hých oblastí. Má teda zmysel optimalizovať ich rýchlosť v závislosti od veľ- kosti a typu problémov. Avšak prechádzať a porovnávať tabuľky s výsledkami behov riešičov je nepraktické. Úlohou tejto práce je vytvoriť grafické prostre- die vo forme webovej aplikácie na analýzu výkonu SMT riešičov. Cieľom je umožniť vývojárovi riešiča porovnať výkon viacerých riešičov na konkrétnych voliteľných problémoch. Grafické prostredie obsahuje vizualizácie výkonu v interaktívnych grafoch a tabuľkách.
|
|
|
Data Lineage Analysis for PySpark and Python ORM Libraries
Jurčo, Andrej ; Parízek, Pavel (vedoucí práce) ; Škoda, Petr (oponent)
Vo svete ETL nástrojov a spracovania dát je Python jedným z najčastejšie použí- vaných jazykov. Skripty napísané v jazyku Python, ktoré definujú manipuláciu s dá- tami, zvyčajne používajú rovnakú knižnicu, PySpark, čo je Python API pre framework Spark, spoločne s databázovými knižnicami, využívajúc ich ORM funkcionalitu. Táto funkcionalita zvyčajne funguje podobným spôsobom vo väčšine relevantných knižníc. Nedávno bol MANTA Flow, vysoko automatizovaný nástroj na analýzu data lineage, rozšírený o skener jazyka Python a teraz je vo fáze rozširovania o podporu bežných frameworkov. V tejto práci sme analyzovali knižnicu PySpark a technológiu SQLAlchemy ORM s cieľom rozšíriť Python skener firmy MANTA o podporu týchto dvoch často používaných nástro- jov. V prípade knižnice PySpark sme navrhli a implementovali jadro pluginu pre skener jazyka Python, ktorý podporuje elementárnu funkcionalitu. Plugin je schopný analyzo- vať rôzne vstupné a výstupné možnosti DataFramov dostupné v PySparku pre súborové aj databázové dátové zdroje a je schopný propagácie dátových tokov počas transformá- cií s primeranou úrovňou overaproximácie, ako sme v práci demonštrovali. V prípade SQLAlchemy ORM sme navrhli riešenie, ktoré umožní skeneru analyzovať zdrojový kód využívajúci funkctionalitu ORM a jeho jadro by bolo možné použiť aj pre...
|
|
|
Rubik's cube
Bošániová, Monika ; Majerech, Vladan (vedoucí práce) ; Parízek, Pavel (oponent)
Táto práca je vytvorená za účelom zjednodušiť pohľad začiatočníkom na výučbu skladania Rubikovej kocky. Prechádza rôznymi pohľadmi, ako vyriešiť tento hlavolam. Zameriava sa na popis implementácie samotného aplikovaného postupu skladania. Prib- ližuje výzor prostredia aplikácie a interaktivitu rôznych elementov naprieč jednotlivými úsekmi a zahŕňa popis všetkých aplikačných komponentov. Poskytuje náhľad do spra- covania vyučovacej časti a analyzuje jej efektivitu v porovnaní s existujúcimi riešeniami. Obsahuje užívateľskú dokumentáciu a návod pre pridanie vlastného algoritmu skladania v textovom formáte. Navrhuje prípadné vylepšenia do budúcnosti. 1
|
|
|
Machine-learning-based self-adaptation of component ensembles
Töpfer, Michal ; Bureš, Tomáš (vedoucí práce) ; Parízek, Pavel (oponent)
Strojové učení se úspěšně používá pro dílčí úlohy v oblasti distribuovaných adaptivních systémů (například internet věcí a tzv. cyber-physical systémy). Mezi nejčastější použití patří predikce budoucího stavu komponent systému (například kolik energie bude zbý- vat v baterii dané komponenty za určitý čas) a prořezávání prostoru možných adaptací systému. Většina dosavadního výzkumu se soustředila především na použití algoritmů strojového učení pro konkrétní úlohy, nicméně zatím nebylo věnováno příliš pozornosti systematickému zapojení strojového učení přímo do architektury systémů. V této práci představujeme ML-DEECo - komponentový model specificky navržený pro snadné použití strojového učení v adaptivní komponentové architektuře systému. ML-DEECo je založen na konceptech komponent a jejich kooperace z komponentového modelu DEECo a rozšiřuje DEECo o abstrakce pro specifikaci predikcí přímo v architek- tuře systému. Architekt softwarového systému se tak může soustředit pouze na logiku systému a vše potřebné pro získání predikcí (například trénink modelu pomocí algoritmů strojového učení) zajišťuje náš framework. Součástí práce je implementace ML-DEECo frameworku v Pythonu a ukázka jeho použití na příkladech adaptivních systémů z oblastí chytrého farmaření a Průmyslu 4.0.
|
host ::
RSS.