|
|
End-to-end dialogue systems with pretrained language models
Kulhánek, Jonáš ; Dušek, Ondřej (vedoucí práce) ; Rosa, Rudolf (oponent)
Současné dialogové systémy se obvykle skládají ze samostatných komponent, které jsou z velké části vytvořeny ručně a vyžadují rozsáhlé anotace dat. Existují end-to- end trénovatelné systémy, které jsou ale méně spolehlivé a produkují méně kvalitní výs- tupy. Současné předtrénované jazykové modely založené na transformer architektuře, jako je GPT-2, přinesly do modelování jazyka značný pokrok, ale současně vyžadují velké množství textových dat, která nejsou pro běžné dialogové domény k dispozici. Proto je při trénování těchto modelů vysoké nebezpečí přeučení. Abychom tyto překážky překonali, navrhujeme nový end-to-end dialogový systém nazvaný AuGPT. Abychom efektivněji využili trénovací data, rozšiřujeme architekturu o pomocné moduly, a aby- chom zvýšili množství a rozmanitost dat, využíváme rozsáhlé augmentace dat pomocí zpětného překladu a předtrénování na více datových sadách. Náš systém vyhodnocujeme pomocí automatických metod (korpusové metriky, simulace uživatele), lidského vyhodno- cení v rámci soutěže DSTC 9 shared task challenge (kde se náš systém umístil na třetím místě z 10) a také rozsáhlé manuální analýzy chyb. Naše metoda podstatně překonává baseline na benchmarku MultiWOZ a vykazuje výsledky konkurenceschopné s nejmod- ernějšími end-to-end dialogovými systémy. 1
|
host ::
RSS.