Název: Využití velkých předtrénovaných jazykových modelů pro konfiguraci a podporu klinického informačního systému
Překlad názvu: Utilising Large Pretrained Language Models for Configuration and Support of a Clinical Information System
Autoři: Sova, Michal ; Burget, Radek (oponent) ; Rychlý, Marek (vedoucí práce)
Typ dokumentu: Diplomové práce
Rok: 2024
Jazyk: cze
Nakladatel: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstrakt: [cze] [eng]
Cílem této práce je seznámení se s podstatou a možným použitím velkých předtrénovaných jazykových modelů, seznámení se s možnostmi konfigurace klinického informačního systému FONS Enterprise a možnost jeho adaptace na konkrétní prostředí zákazníků. Práce nejprve představuje velké předtrénované jazykové modely a informační systém FONS Enterprise. Následně se zaměřuje na možnosti dotrénování modelů a implementaci metody RAG na datech z klinického systému. Implementace RAG architektury je realizována pomocí nástroje LangChain a LlamaIndex. Výsledky ukazují, že metoda RAG s modelem Gemma a embedding modelem bge-m3 poskytuje nejrelevantnější odpovědi, ale má potíže s porozuměním složitějších otázek. Metoda dotrénování modelu nepřináší očekávané výsledky, a to ani po úpravách parametrů trénování. The aim of this work is to get acquainted with the essence and use of large pre-trained language models, to get acquainted with the configuration options of the clinical information system FONS Enterprise and the possibility of its adaptation to the specific environment of customers. The work first presents large pre-trained language models and the FONS Enterprise clinical information system. This work examines possibilities of training models and implementing RAG methods on data from the clinical system. The implementation of the RAG architecture is supported by the tools LangChain and LlamaIndex. The results show that the RAG method with the Gemma model and the bge-m3 embedding model provides the most relevant answers on basic questions, but struggles to understand more complex questions. The method of pre-training the model does not produce the expected results, even after adjusting the training parameters.
Klíčová slova: architektura RAG; Gemma; klinický informační systém; LangChain; Llama; LlamaIndex; Mistral; trénování jazykových modelů; velké jazykové modely; velké předtrénované jazykové modely; clinical information system; Gemma; LangChain; large language models; Llama; LlamaIndex; Mistral; pre-training; RAG architecture

Instituce: Vysoké učení technické v Brně (web)
Informace o dostupnosti dokumentu: Plný text je dostupný v Digitální knihovně VUT.
Původní záznam: https://hdl.handle.net/11012/248885

Trvalý odkaz NUŠL: http://www.nusl.cz/ntk/nusl-619576


Záznam je zařazen do těchto sbírek:
Školství > Veřejné vysoké školy > Vysoké učení technické v Brně
Vysokoškolské kvalifikační práce > Diplomové práce