Original title: The Impact of Adversarial In-Context Examples on Code Generation Models
Translated title: The Impact of Adversarial In-Context Examples on Code Generation Models
Authors: Mazurava, Maryia ; John, Petr (referee) ; Aparovich, Maksim (advisor)
Document type: Bachelor's theses
Year: 2026
Language: eng
Publisher: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract: [eng] [cze]
Tato bakalářská práce zkoumá vliv adversariálních příkladů v kontextu na velké jazykové modely pro generování kódu. Adversariální příklady jsou reprezentovány krátkými komentáři v jazyce Python vloženými do programovacích promptů bez změny původní úlohy, modelu, testů nebo evaluačního postupu. Práce navrhuje black-box útok na úrovni promptu a hodnotí jeho vliv na funkční správnost pomocí execution-based testování. Experimenty jsou provedeny na datasetech HumanEval+ a ClassEval s několika open-source modely pro generování kódu, včetně CodeGen, CodeLlama a DeepSeek-Coder. Výsledky ukazují, že krátké komentáře mohou snížit správnost generovaného kódu, zejména u úloh na úrovni funkcí. Úlohy na úrovni tříd jsou ovlivněny méně konzistentně, avšak komentáře zaměřené na následování příkladů a koordinaci metod stále vedou ke zhoršení výkonu. Zjištění ukazují, že modely pro generování kódu zůstávají citlivé na zavádějící kontext v promptu a zdůrazňují potřebu robustnějšího zpracování komentářů a kontextových informací. This thesis studies the impact of adversarial in-context examples on large language models for code generation. The adversarial examples are represented as short Python comments inserted into programming prompts without changing the original task, model, tests, or evaluation procedure. The work proposes a black-box prompt-level attack framework and evaluates its effect on functional correctness using execution-based testing. Experiments are performed on HumanEval+ and ClassEval with several open-source code generation models, including CodeGen, CodeLlama, and DeepSeek-Coder. The results show that short non-executable comments can reduce the correctness of generated code, especially in function-level tasks. Class-level tasks are affected less consistently, but comments targeting example-following behavior and method coordination still degrade performance. The findings demonstrate that code generation models remain sensitive to misleading prompt context and highlight the need for more robust handling of comments and in-context information.
Keywords: adversariální příklady; ClassEval; funkční správnost; generování kódu; HumanEval+; LLM; pass@k; učení v kontextu; útoky na úrovni promptu; adversarial examples; ClassEval; code generation; functional correctness; HumanEval+; in-context learning; LLM; pass@k; prompt-level attacks

Institution: Brno University of Technology (web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library.
Original record: http://hdl.handle.net/11012/258899

Permalink: http://www.nusl.cz/ntk/nusl-775216


The record appears in these collections:
Universities and colleges > Public universities > Brno University of Technology
Academic theses (ETDs) > Bachelor's theses