Original title: Asistent pro psaní textu založený na velkých jazykových modelech
Translated title: Writing assistant based on large language models
Authors: Klement, David ; Helcl, Jindřich (advisor) ; Libovický, Jindřich (referee)
Document type: Bachelor's theses
Year: 2024
Language: cze
Abstract: [cze] [eng]
Standardní přístup k mnoha úlohám zpracování přirozeného jazyka je vzít existující předtrénovaný velký jazykový model a dotrénovat jej pro danou úlohu. Tento přístup vede k tomu, že pro každou úlohu vznikne samostatný model, navíc je nutné dotrénování opakovat při přechodu na lepší předtrénovaný model. Tato práce zkoumá možnosti po- užití jediného veřejně dostupného modelu pro tři různé úlohy bez nutnosti dotrénování. Představujeme Preditor, asistenta pro psaní, který umí přepsat větu po nahrazení jed- noho z jejích slov, navrhuje pokračování věty a navrhuje slova, která se hodí doprostřed věty. Systém navrhujeme nezávisle na konkrétním modelu, což umožňuje jednoduchý pře- chod na nový model. Poskytujeme také rozšíření, které integruje asistenta do textového editoru. 1 A standard approach to many natural language processing tasks is to take an existing, pre-trained large language model and fine-tune it for the given task. Such an approach leads to having a separate model for each task; furthermore, the fine-tuning must be repeated when upgrading to a new pre-trained model. This thesis explores the possibilities of using a single off-the-shelf model for three different tasks without fine-tuning. We present Preditor, a writing assistant that supports rewriting a sentence after replacing one of its words, suggesting continuations, and suggesting words that fit into a sentence. We design the system in a model-agnostic way, making it possible to upgrade to a new model with little effort. We also provide an extension that integrates the assistant into the text editor. 1
Keywords: large language models|natural language processing|deep learning; velké jazykové modely|zpracování přirozených jazyků|deep learning

Institution: Charles University Faculties (theses) (web)
Document availability information: Available in the Charles University Digital Repository.
Original record: http://hdl.handle.net/20.500.11956/192055

Permalink: http://www.nusl.cz/ntk/nusl-622695


The record appears in these collections:
Universities and colleges > Public universities > Charles University > Charles University Faculties (theses)
Academic theses (ETDs) > Bachelor's theses