Original title:
Ovladatelné generování hudby pomocí hlubokého učení
Translated title:
Controlled Music Generation with Deep Learning
Authors:
Židek, Marek ; Hajič, Jan (advisor) ; Matzner, Filip (referee) Document type: Master’s theses
Year:
2020
Language:
eng Abstract:
[eng][cze] Generation of musical compositions is one of the hardest tasks for artificial intelligence where most of the current approaches struggle with long term coherence of the generated compositions. This work aims to demonstrate how deep learning models for generating music can be externally controlled to produce compositions with long term coherence, polyphony, and multiple instruments. We work with classical music ranging from compositions for piano through string quartet and up to symphonic orchestral compositions. To control the generation process, we take inspiration from the abstract notion of musical form: normally a high-level description of how similar and dissimilar passages are arranged throughout a composition, we use it as a recipe for generating a coherent composition. To this end, we (1) design a sufficiently general music similarity pseudometric from existing methods, (2) extract musical form from the training data by applying a clustering algorithm over the similarity values, (3) train three models that generate similar and locally coherent dissimilar musical fragments, and (4) design a way how to use the musical forms during the generation process to orchestrate the inference of the three models to generate whole compositions from musical fragments. We show what is the performance of the...Generování hudby je jedna z nejtežších úloh pro umělou inteligenci. Přístupy založené na strojovém učení již dokázaly přesvědčivě napodobovat skladatelskou práci na kratších hudebních úsecích, nicméně většina současných přístupů nedokáže vytvořit delší koherentní skladby. Tato práce chce ukázat, jak můžeme ovládat modely hlubokého učení z vnějšku, abychom docílili dlouhodobé koherence vygenerovaných skladeb s více hlasy. Pracujeme s klasickou hudbou s instrumentací od klavíru, přes smyčcový kvartet až po symfonické skladby. Ovladatelnost generovacího procesu spočívá ve využívaní hudební formy, která je v abstraktním slova smyslu obecným popisem pro podobnosti a nepodobnosti hudebních pasáží a jejich rozložení ve skladbě. Pro dosáhnutí této ovladatelnosti, (1) navrhujeme pseudometriku pro porovnávání hudení podobností s pomocí již existujících metod, (2) extrahujeme hudbení formu z trénovacích dat pomocí shlukovacího algoritmu nad podobnostními hodnotami, (3) trénujeme tři modely, které generují podobné, nepodobné a lokálně koherentní hudební fragmenty, a (4) navrhujeme způsob, jak využívat extrahované hudební formy společně se třemi modely pro generování delších koherentních skladeb z hudebních fragmentů. Ukazujeme, jak si v generování hudebních fragmentů vedou modely "transformer", když jim předkládáme...
Keywords:
Computational creativity; Deep learning; Machine learning; Music generation; Music similarity; Generování hudby; hluboké učení; hudební podobnost; komputační kreativita; strojové učení
Institution: Charles University Faculties (theses)
(web)
Document availability information: Available in the Charles University Digital Repository. Original record: http://hdl.handle.net/20.500.11956/116596