|
|
Improving Subword Tokenization Methods for Multilingual Models
Balhar, Jiří ; Limisiewicz, Tomasz (vedoucí práce) ; Popel, Martin (oponent)
V této práci jsou zkoumány rozdíly mezi metodami tokenizace pro víceja- zyčné neuronové modely (multilingual language models) a rovněž jejich vliv na kvalitu jazykového modelu. Je definována sada metrik, které jsou použity pro vyhodnocení kvality tokenizace: pomocí experimentů je demonstrováno, že užité metriky zachycují rozdíly mezi tokenizátory a korelují s výkonem vícejazyčných neuronových modelů. Některé práce věnované vícejazyčné tokenizaci uvádí, že standardní po- stup trénování tokenizátorů na vícejazyčném korpusu není vhodný pro více- jazyčné modely. Tato práce hledá důvod uvedených problémů. Jako možné příčiny jsou zkoumány velikost dat, implementace nebo velikost abecedy. V práci docházíme k závěru, že problém je pravděpodobně způsoben nevyváže- ností dat mezi jazyky a navrhujeme řešení v podobě rovnoměrného vzorko- vání trénovacích dat tokenizátoru. V diplomové práci jsou replikovány tři studie, které se zabývají vylepše- ním metod vícejazyčné tokenizace a jsou porovnány se standardním tréno- váním na rovnoměrných datech. Díky porovnání je zjištěno, že princip, který stojí za zlepšením u replikovaných metod, je stejný jako u rovnoměrného vzorkování. Výsledky diplomové práce poskytují hlubší vhled do problematiky toke- nizace pro vícejazyčné modely. Je navržena metodika a doporučení pro tré-...
|
|
|
Extrakce melodie pomocí hlubokého učení
Balhar, Jiří ; Hajič, Jan (vedoucí práce) ; Maršík, Ladislav (oponent)
Extrakce melodie patří mezi nejdůležitější a nejtěžší úlohy oboru Music Information Retrieval, právě melodie je totiž tím hlavním, co si člověk po poslechu skladby odnáší a z podstaty se tedy často jedná o její nejvýraznější rys. Přítomnost hudebního dopro- vodu, který melodii podbarvuje, však pro algoritmické metody znemožňuje její průběh spolehlivě zachytit. V posledních letech se proto obor posouvá směrem k využívání metod hlubokého učení, které jsou schopny dřívější pravidlové systémy překonat. Na tyto práce navazujeme, představujeme tři nové metody a experimentálně ověřujeme volby, které jsme při jejich návrhu učinili. Ukazujeme, že nová architektura Harmonic Convolutional Neural Network, založená na úpravě vnitřního uspořádání obvyklé konvoluční sítě, díky které je schopna lépe zachytit harmonickou povahu jednotlivých tónů ze vstupních spektrogramů s logaritmickou osou frekvence, překonává state-of-the-art metody pro extrakci melodie na většině veřejně dostupných datasetech. 1
|
host ::
RSS.