Original title: Využití velkých předtrénovaných jazykových modelů pro konfiguraci a podporu klinického informačního systému
Translated title: Utilising Large Pretrained Language Models for Configuration and Support of a Clinical Information System
Authors: Sova, Michal ; Burget, Radek (referee) ; Rychlý, Marek (advisor)
Document type: Master’s theses
Year: 2024
Language: cze
Publisher: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract: [cze] [eng]
Cílem této práce je seznámení se s podstatou a možným použitím velkých předtrénovaných jazykových modelů, seznámení se s možnostmi konfigurace klinického informačního systému FONS Enterprise a možnost jeho adaptace na konkrétní prostředí zákazníků. Práce nejprve představuje velké předtrénované jazykové modely a informační systém FONS Enterprise. Následně se zaměřuje na možnosti dotrénování modelů a implementaci metody RAG na datech z klinického systému. Implementace RAG architektury je realizována pomocí nástroje LangChain a LlamaIndex. Výsledky ukazují, že metoda RAG s modelem Gemma a embedding modelem bge-m3 poskytuje nejrelevantnější odpovědi, ale má potíže s porozuměním složitějších otázek. Metoda dotrénování modelu nepřináší očekávané výsledky, a to ani po úpravách parametrů trénování. The aim of this work is to get acquainted with the essence and use of large pre-trained language models, to get acquainted with the configuration options of the clinical information system FONS Enterprise and the possibility of its adaptation to the specific environment of customers. The work first presents large pre-trained language models and the FONS Enterprise clinical information system. This work examines possibilities of training models and implementing RAG methods on data from the clinical system. The implementation of the RAG architecture is supported by the tools LangChain and LlamaIndex. The results show that the RAG method with the Gemma model and the bge-m3 embedding model provides the most relevant answers on basic questions, but struggles to understand more complex questions. The method of pre-training the model does not produce the expected results, even after adjusting the training parameters.
Keywords: clinical information system; Gemma; LangChain; large language models; Llama; LlamaIndex; Mistral; pre-training; RAG architecture; architektura RAG; Gemma; klinický informační systém; LangChain; Llama; LlamaIndex; Mistral; trénování jazykových modelů; velké jazykové modely; velké předtrénované jazykové modely

Institution: Brno University of Technology (web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library.
Original record: https://hdl.handle.net/11012/248885

Permalink: http://www.nusl.cz/ntk/nusl-619576


The record appears in these collections:
Universities and colleges > Public universities > Brno University of Technology
Academic theses (ETDs) > Master’s theses