ВИКОРИСТАННЯ ВЕЛИКИХ МОВНИХ МОДЕЛЕЙ ДЛЯ ГЕНЕРУВАННЯ ПРОГРАМНОГО КОДУ НА ОСНОВІ ДОМЕННО-СПЕЦИФІЧНИХ МОВ
UTILIZING LARGE LANGUAGE MODELS FOR SOFTWARE GENERATION BASED ON DOMAIN-SPECIFIC LANGUAGES
Сторінки: 21-24. Номер: №4, 2023 (323) 
Автори:
БІДОЧКО АНДРІЙ
Національний університет “Львівська політехніка”
ORCID ID: 0009-0001-4083-5040
e-mail: andrii.bidochko@gmail.com
BIDOCHKO ANDRII
Lviv Polytechnic National University
DOI: https://www.doi.org/10.31891/2307-5732-2023-323-4-21-24
Анотація мовою оригіналу
У цьому дослідженні ми розглянемо потенціал великих мовних моделей (LLM), зокрема моделі GPT-4, у створенні програмного забезпечення на основі предметно-орієнтованих мов (DSL). Ми оцінимо ефективність великих мовних моделей і обговорюємо наслідки наших висновків для розробки програмного забезпечення, за допомогою автоматизованої генерації коду та штучного інтелекту.
Швидке поширення технологій і методів штучного інтелекту (AI) призводить до трансформаційних змін у багатьох сферах. Однією з важливих сфер інтересів є потенційне використання великих мовних моделей (LLM) для автоматизації генерації програмного коду, особливо з використанням предметно-орієнтованих мов (DSL). У цьому документі представлено поглиблене дослідження можливостей моделі GPT-4 для інтерпретації та генерації програмного коду. Спочатку ми опишемо процес навчання моделі на величезному корпусі програмного коду, розробленого в різних DSL.
Потім ми оцінюємо його продуктивність за допомогою ряду всебічних тестів, призначених для оцінки його здатності генерувати точний, ефективний і придатний для обслуговування код. Оцінювальні метрики включають точність генерації коду, ефективність виконання та можливість редагування згенерованого коду. Попередні результати вказують на те, що модель може створювати код зі ступенем точності й ефективності, який можна порівняти з людьми-програмістами, і навіть перевершує код, написаний людиною, у зручності обслуговування завдяки узгодженому стилю кодування. Однак модель демонструє обмеження, коли стикається зі складними сценаріями та менш поширеними DSL. Ці висновки, хоч і багатообіцяючі, підкреслюють необхідність подальших досліджень для підвищення надійності та універсальності таких моделей, особливо в сфері складних завдань розробки програмного забезпечення. Наслідки цих результатів поширюються на галузі програмної інженерії, автоматизованої генерації коду та штучного інтелекту, потенційно революціонізуючи поточну парадигму розробки програмного забезпечення та відкриваючи шлях для нових програм.
Ключові слова: великі мовні моделі, генерація програмного коду, предметно-орієнтовані мови, GPT-4, штучний інтелект, обробка природної мови, машинне навчання.
Розширена анотація англійською мовою
In this study, we explore the potential of large language models (LLMs), specifically the GPT-4 model, in generating software based on domain-specific languages (DSLs). We evaluate the performance of these LLMs and discuss the implications of our findings for software engineering, automated code generation, and artificial intelligence.
The rapid proliferation of artificial intelligence (AI) technologies and techniques is leading to transformative changes across multiple domains. One significant area of interest is the potential use of large language models (LLMs) in automating software code generation, especially leveraging domain-specific languages (DSLs). This paper presents an in-depth investigation of the capabilities of a GPT-4 model for interpreting and generating DSL software code. We first describe the process of training the model on a vast corpus of software code developed in various DSLs. We then evaluate its performance using a series of comprehensive tests designed to assess its ability to generate accurate, efficient, and maintainable code from DSL-specific prompts.
The evaluation metrics include accuracy of code generation, runtime efficiency, and maintainability of the generated code. Preliminary results indicate that the model can produce code with a comparable degree of accuracy and efficiency to human programmers, and even surpasses human-written code in maintainability due to consistent coding style. However, the model exhibits limitations when faced with complex scenarios and less prevalent DSLs. These findings, though promising, highlight the necessity for further research to improve the robustness and versatility of such models, particularly in the realm of complex software development tasks. The implications of these results extend to the fields of software engineering, automated code generation, and AI, potentially revolutionizing the current software development paradigm and paving the way for novel applications.
Keywords: Large Language Models, Software Code Generation, Domain-Specific Languages, GPT-4, Artificial Intelligence, Natural Language Processing, Machine Learning
