Original title: Rozpoznávání ručně psaného notopisu
Translated title: Optical Recognition of Handwritten Music Notation
Authors: Hajič, Jan ; Pecina, Pavel (advisor) ; Fujinaga, Ichiro (referee) ; Černocký, Jan (referee)
Document type: Doctoral theses
Year: 2019
Language: eng
Abstract: [eng] [cze]
Optical Music Recognition (OMR) is the field of computationally reading music notation. This thesis presents, in the form of dissertation by publication, contributions to the theory, resources, and methods of OMR especially for handwritten notation. The main contributions are (1) the Music Notation Graph (MuNG) formalism for describing arbitrarily complex music notation using an oriented graph that can be unambiguously interpreted in terms of musical semantics, (2) the MUSCIMA++ dataset of musical manuscripts with MuNG as ground truth that can be used to train and evaluate OMR systems and subsystems from the image all the way to extracting the musical semantics encoded therein, and (3) a pipeline for performing OMR on musical manuscripts that relies on machine learning both for notation symbol detection and the notation assembly stage, and on properties of the inferred MuNG representation to deterministically extract the musical semantics. While the the OMR pipeline does not perform flawlessly, this is the first OMR system to perform at basic useful tasks over musical semantics extracted from handwritten music notation of arbitrary complexity. Rozpoznávání notopisu (Optical Music Recognition, OMR) je obor studující jak automaticky číst hudební notaci. Tato disertace prezentuje formou souboru publikovaných prací příspěvky k teorii, infrastruktuře a metodám OMR především pro ručně psanou notaci. Hlavními přínosy jsou (1) formální popis hudební notace pomocí notačního grafu (Music Notation Graph, MuNG), orientovaného grafu, ze kterého lze jednoznačně odvodit v notaci zakódovanou hudební sémantiku, (2) datová sada MUSCIMA++ hudebních rukopisů, které jsou anotovány pomocí MuNG, a lze ji tak využít pro trénování a evaluování libovolných systémů a podsystémů OMR, včetně extrakce hudební sémantiky a (3) systém rozpoznávání notopisu extrahující hudební sémantické informace z rukopisů, který používá strojové učení jak pro detekci notačních objektů, tak pro jejich usouvstažňování, a na základě takto automaticky vytvořené reprezentace pomocí MuNG deterministicky dopočítává sémantiku. Ačkoliv tento OMR systém stále dělá množství chyb, jedná se o první systém, který hudební rukopisy rozpoznává tak, že lze jeho výsledky využít na některé z úloh motivujících práci na OMR, a zpracovává libovolně komplikovanou notaci.
Keywords: Machine Learning; Music Information Retrieval; Music Notation Graph; Notation Assembly; Object Detection; Optical Music Recognition; Detekce objektů; Graf hudební notace; Počítačové zpracování hudby; Rekonstrukce notace; Rozpoznávání notopisu; Strojové učení

Institution: Charles University Faculties (theses) (web)
Document availability information: Available in the Charles University Digital Repository.
Original record: http://hdl.handle.net/20.500.11956/110342

Permalink: http://www.nusl.cz/ntk/nusl-405793


The record appears in these collections:
Universities and colleges > Public universities > Charles University > Charles University Faculties (theses)
Academic theses (ETDs) > Doctoral theses