Název: Asistent pro psaní textu založený na velkých jazykových modelech
Překlad názvu: Writing assistant based on large language models
Autoři: Klement, David ; Helcl, Jindřich (vedoucí práce) ; Libovický, Jindřich (oponent)
Typ dokumentu: Bakalářské práce
Rok: 2024
Jazyk: cze
Abstrakt: [cze] [eng]
Standardní přístup k mnoha úlohám zpracování přirozeného jazyka je vzít existující předtrénovaný velký jazykový model a dotrénovat jej pro danou úlohu. Tento přístup vede k tomu, že pro každou úlohu vznikne samostatný model, navíc je nutné dotrénování opakovat při přechodu na lepší předtrénovaný model. Tato práce zkoumá možnosti po- užití jediného veřejně dostupného modelu pro tři různé úlohy bez nutnosti dotrénování. Představujeme Preditor, asistenta pro psaní, který umí přepsat větu po nahrazení jed- noho z jejích slov, navrhuje pokračování věty a navrhuje slova, která se hodí doprostřed věty. Systém navrhujeme nezávisle na konkrétním modelu, což umožňuje jednoduchý pře- chod na nový model. Poskytujeme také rozšíření, které integruje asistenta do textového editoru. 1 A standard approach to many natural language processing tasks is to take an existing, pre-trained large language model and fine-tune it for the given task. Such an approach leads to having a separate model for each task; furthermore, the fine-tuning must be repeated when upgrading to a new pre-trained model. This thesis explores the possibilities of using a single off-the-shelf model for three different tasks without fine-tuning. We present Preditor, a writing assistant that supports rewriting a sentence after replacing one of its words, suggesting continuations, and suggesting words that fit into a sentence. We design the system in a model-agnostic way, making it possible to upgrade to a new model with little effort. We also provide an extension that integrates the assistant into the text editor. 1
Klíčová slova: velké jazykové modely|zpracování přirozených jazyků|deep learning; large language models|natural language processing|deep learning

Instituce: Fakulty UK (VŠKP) (web)
Informace o dostupnosti dokumentu: Dostupné v digitálním repozitáři UK.
Původní záznam: http://hdl.handle.net/20.500.11956/192055

Trvalý odkaz NUŠL: http://www.nusl.cz/ntk/nusl-622695