|
|
Data Lineage Analysis for PySpark and Python ORM Libraries
Jurčo, Andrej ; Parízek, Pavel (vedoucí práce) ; Škoda, Petr (oponent)
Vo svete ETL nástrojov a spracovania dát je Python jedným z najčastejšie použí- vaných jazykov. Skripty napísané v jazyku Python, ktoré definujú manipuláciu s dá- tami, zvyčajne používajú rovnakú knižnicu, PySpark, čo je Python API pre framework Spark, spoločne s databázovými knižnicami, využívajúc ich ORM funkcionalitu. Táto funkcionalita zvyčajne funguje podobným spôsobom vo väčšine relevantných knižníc. Nedávno bol MANTA Flow, vysoko automatizovaný nástroj na analýzu data lineage, rozšírený o skener jazyka Python a teraz je vo fáze rozširovania o podporu bežných frameworkov. V tejto práci sme analyzovali knižnicu PySpark a technológiu SQLAlchemy ORM s cieľom rozšíriť Python skener firmy MANTA o podporu týchto dvoch často používaných nástro- jov. V prípade knižnice PySpark sme navrhli a implementovali jadro pluginu pre skener jazyka Python, ktorý podporuje elementárnu funkcionalitu. Plugin je schopný analyzo- vať rôzne vstupné a výstupné možnosti DataFramov dostupné v PySparku pre súborové aj databázové dátové zdroje a je schopný propagácie dátových tokov počas transformá- cií s primeranou úrovňou overaproximácie, ako sme v práci demonštrovali. V prípade SQLAlchemy ORM sme navrhli riešenie, ktoré umožní skeneru analyzovať zdrojový kód využívajúci funkctionalitu ORM a jeho jadro by bolo možné použiť aj pre...
|
|
|
Data Lineage Analysis for Qlik Sense
Jurčo, Andrej ; Parízek, Pavel (vedoucí práce) ; Blicha, Martin (oponent)
Počas posledných rokov sa Business Intelligence stala veľmi dôležitou pre všetky spoločnosti a organizácie po celom svete v oblasti rozhodovania a pozorovania dlhodobých trendov. Často sa stáva, že nástroje Business Intelligence sa postupne stanú veľmi zložitými a vykonanie akýchkoľvek zmien je veľmi náročné. Tento problém dokáže riešiť data lineage vizualizáciou dátových tokov a zobrazením vzájomných závislostí. Manta Flow je platforma, ktorá takúto lineage vytvára a podporuje programovacie jazyky (Java, C), databázy (Oracle, MS SQL), či nástroje Business Intelligence (Cognos, Qlik Sense). Cieľom tejto práce bolo implementovať prototyp skenerového modulu pre platformu Manta Flow, ktorý by zanalyzoval dátové toky v Qlik Sense a vytvoril by graf data lineage od dátových zdrojov až po prezentačnú vrstvu. Tento modul extrahuje metadáta potrebné pre analýzu, resolvuje objekty prítomné v danej Qlik Sense aplikácii a analyzuje dátové toky v nich. Výsledný graf data lineage je následne vizualizovaný inými komponentami platformy Manta Flow. 1
|
host ::
RSS.