Original title: Hluboké neuronové sítě pro sešívání obrázků
Translated title: Deep Learning for Image Stitching
Authors: Šilling, Petr ; Beran, Vítězslav (referee) ; Španěl, Michal (advisor)
Document type: Master’s theses
Year: 2023
Language: eng
Publisher: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract: [eng] [cze]
Sešívání obrázků je klíčovou technikou pro rekonstrukci objemů biologických vzorků z překrývajících se snímků z elektronové mikroskopie (EM). Současné metody zpracování snímků z EM k sešívání zpravidla využívají ručně definované příznaky, produkované například technikou SIFT. Nedávný vývoj však ukazuje, že konvoluční neuronové sítě dokáží zlepšit přesnost sešívání tím, že se naučí diskriminativní příznaky přímo z trénovacích obrázků. S ohledem na potenciál konvolučních neuronových sítí tato práce navrhuje sešívací nástroj DEMIS, který staví na pozornostní síti LoFTR pro hledání shodných příznaků mezi páry obrázků. Dále práce navrhuje novou datovou sadu generovanou dělením obrázků z EM s vysokým rozlišením na pole překrývajících se dlaždic. Výsledná datová sada je použita pro dotrénování sítě LoFTR a k vyhodnocení nástroje DEMIS. Experimenty na dané datové sadě ukazují, že nástroj je schopen nalézt přesnější shody mezi příznaky než SIFT. Navazující experimenty na obrázcích s vysokým rozlišením a malými překryvy mezi dlaždicemi dále poukazují na výrazně vyšší robustnost oproti metodě SIFT. Dosažené výsledky celkově naznačují, že hluboké učení může vést k prospěšným změnám v oblasti EM, například k umožnění menších překryvů mezi snímanými obrázky. Image stitching is an essential technique for reconstructing volumes of biological samples from overlapping tiles of electron microscopy (EM) images. Current volume EM stitching methods generally rely on handcrafted features, such as those produced by SIFT. However, recent developments indicate that convolutional neural networks (CNNs) can improve stitching accuracy by learning discriminative features directly from training images. Taking into account the potential of CNNs, this thesis proposes DEMIS, a novel EM image stitching tool based on LoFTR, an attention-based feature matching network. The thesis also proposes a novel dataset generated by splitting high-resolution EM images into grids of overlapping image tiles. The dataset is used to fine-tune LoFTR and to evaluate the DEMIS tool. Experiments on the synthetic dataset reveal higher feature matching accuracy compared to SIFT. Moreover, experiments on challenging images with small overlap regions and high resolution demonstrate significantly higher stitching robustness than SIFT. Overall, the results suggest that deep learning methods could be beneficial for EM imaging, for example, by allowing the use of smaller tile overlaps.
Keywords: datová sada obrázků z elektronové mikroskopie; DEMIS; hledání shod mezi příznaky; hluboké učeni; konvoluční neuronové sítě; LoFTR; objemová elektronová mikroskopie; Python; sešívání obrázků; SIFT; SLAM optimalizace; syntéza datové sady; convolutional neural networks; dataset of electron microscopy images; dataset synthesis; deep learning; DEMIS; feature matching; image stitching; LoFTR; Python; SIFT; SLAM optimisation; volume electron microscopy

Institution: Brno University of Technology (web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library.
Original record: http://hdl.handle.net/11012/211927

Permalink: http://www.nusl.cz/ntk/nusl-530192


The record appears in these collections:
Universities and colleges > Public universities > Brno University of Technology
Academic theses (ETDs) > Master’s theses