Název: Hluboké neuronové sítě pro sešívání obrázků
Překlad názvu: Deep Learning for Image Stitching
Autoři: Šilling, Petr ; Beran, Vítězslav (oponent) ; Španěl, Michal (vedoucí práce)
Typ dokumentu: Diplomové práce
Rok: 2023
Jazyk: eng
Nakladatel: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstrakt: [eng] [cze]
Sešívání obrázků je klíčovou technikou pro rekonstrukci objemů biologických vzorků z překrývajících se snímků z elektronové mikroskopie (EM). Současné metody zpracování snímků z EM k sešívání zpravidla využívají ručně definované příznaky, produkované například technikou SIFT. Nedávný vývoj však ukazuje, že konvoluční neuronové sítě dokáží zlepšit přesnost sešívání tím, že se naučí diskriminativní příznaky přímo z trénovacích obrázků. S ohledem na potenciál konvolučních neuronových sítí tato práce navrhuje sešívací nástroj DEMIS, který staví na pozornostní síti LoFTR pro hledání shodných příznaků mezi páry obrázků. Dále práce navrhuje novou datovou sadu generovanou dělením obrázků z EM s vysokým rozlišením na pole překrývajících se dlaždic. Výsledná datová sada je použita pro dotrénování sítě LoFTR a k vyhodnocení nástroje DEMIS. Experimenty na dané datové sadě ukazují, že nástroj je schopen nalézt přesnější shody mezi příznaky než SIFT. Navazující experimenty na obrázcích s vysokým rozlišením a malými překryvy mezi dlaždicemi dále poukazují na výrazně vyšší robustnost oproti metodě SIFT. Dosažené výsledky celkově naznačují, že hluboké učení může vést k prospěšným změnám v oblasti EM, například k umožnění menších překryvů mezi snímanými obrázky. Image stitching is an essential technique for reconstructing volumes of biological samples from overlapping tiles of electron microscopy (EM) images. Current volume EM stitching methods generally rely on handcrafted features, such as those produced by SIFT. However, recent developments indicate that convolutional neural networks (CNNs) can improve stitching accuracy by learning discriminative features directly from training images. Taking into account the potential of CNNs, this thesis proposes DEMIS, a novel EM image stitching tool based on LoFTR, an attention-based feature matching network. The thesis also proposes a novel dataset generated by splitting high-resolution EM images into grids of overlapping image tiles. The dataset is used to fine-tune LoFTR and to evaluate the DEMIS tool. Experiments on the synthetic dataset reveal higher feature matching accuracy compared to SIFT. Moreover, experiments on challenging images with small overlap regions and high resolution demonstrate significantly higher stitching robustness than SIFT. Overall, the results suggest that deep learning methods could be beneficial for EM imaging, for example, by allowing the use of smaller tile overlaps.
Klíčová slova: convolutional neural networks; dataset of electron microscopy images; dataset synthesis; deep learning; DEMIS; feature matching; image stitching; LoFTR; Python; SIFT; SLAM optimisation; volume electron microscopy; datová sada obrázků z elektronové mikroskopie; DEMIS; hledání shod mezi příznaky; hluboké učeni; konvoluční neuronové sítě; LoFTR; objemová elektronová mikroskopie; Python; sešívání obrázků; SIFT; SLAM optimalizace; syntéza datové sady

Instituce: Vysoké učení technické v Brně (web)
Informace o dostupnosti dokumentu: Plný text je dostupný v Digitální knihovně VUT.
Původní záznam: http://hdl.handle.net/11012/211927

Trvalý odkaz NUŠL: http://www.nusl.cz/ntk/nusl-530192


Záznam je zařazen do těchto sbírek:
Školství > Veřejné vysoké školy > Vysoké učení technické v Brně
Vysokoškolské kvalifikační práce > Diplomové práce