НАВЧАННЯ ГЕНЕРАТИВНО-ЗМАГАЛЬНИХ МОДЕЛЕЙ ПЕРЕКЛАДУ ЗОБРАЖЕНЬ В УМОВАХ ОБМЕЖЕНОЇ КІЛЬКОСТІ ДАНИХ
TRAINING GENERATIVE ADVERSARIAL MODELS FOR IMAG TRANSLATION UNDER CONDITIONS OF LIMITED DATA
Сторінки: 204-207. Номер: №6, 2023 (329) 
Автори:
КРИВЕНЧУК Юрій
Національний університет “Львівська політехніка”
https://orcid.org/0000-0002-2504-5833
e-mail: Yurii.P.Kryvenchuk@lpnu.ua
ЧАБАН Софія
Національний університет “Львівська політехніка”
e-mail: sofiia.chaban.knm.2022@lpnu.ua
KRYVENCHUK Yurii, CHABAN Sofiia
Lviv Polytechnic National University
DOI: https://www.doi.org/10.31891/2307-5732-2023-329-6-204-207
Анотація мовою оригіналу
Сучасний світ відзначається стрімким розвитком інформаційних технологій та широким застосуванням штучного інтелекту у багатьох сферах життя. Однією з ключових областей, де штучний інтелект демонструє вражаючий потенціал, є машинне та глибоке навчання. Зокрема, генеративно-змагальні мережі (GANs) представляють собою потужний інструмент для створення реалістичних зображень, а також для перекладу між різними мовами і модальностями. Найбільш вражаючою є модель CycleGAN, оскільки вона є потужним інструментом для перекладу зображень між різними доменами без необхідності парних даних для навчання. Вона відзначається здатністю до перетворення зображень одного типу в інший з вражаючою точністю, забезпечуючи циклічну консистентність між доменами. Однак, однією з головних обмежень застосування GANs є потреба у великій кількості даних для їх навчання. При навчанні на обмежених даних генеративно-змагальні моделі, такі як CycleGAN, можуть виявляти схильність до надмірної генералізації. Це означає, що модель може намагатися підлаштуватися під обмежену навчальну вибірку занадто сильно, що впливає на її здатність до адаптації до різноманітних вхідних даних. Модель може не мати достатнього розмаїття для відтворення різних аспектів вихідних зображень, що призводить до втрати деталей та візуальних артефактів у створених зображеннях. В умовах, коли існує обмежена кількість даних, розробка ефективних методів навчання генеративно-змагальних моделей стає надзвичайно актуальною задачею. Дана робота присвячена дослідженню та розробці таких методів навчання генеративно-змагальних моделей для вирішення завдань перекладу зображень в умовах обмеженої кількості доступних даних.
Ключові слова: генеративно-змагальні-мережі, аугментація даних, переклад зображень
Розширена анотація англійською мовою
In our rapidly evolving modern world, characterized by the swift progress of information technology and the widespread integration of artificial intelligence across diverse domains, the potential of artificial intelligence shines prominently, particularly in the realms of machine and deep learning. Within this context, Generative Adversarial Networks (GANs) emerge as formidable tools, adept at producing realistic images and facilitating seamless translations across different languages and modalities. Notably, the CycleGAN model distinguishes itself as a formidable instrument for image translation between disparate domains, dispensing with the necessity of paired training data. Its exceptional precision in metamorphosing images from one category to another underscores its ability to maintain cyclic consistency across domains. Nevertheless, a principal challenge looms in the application of GANs—namely, the imperative of a substantial volume of data for effective training. When these generative adversarial models, exemplified by CycleGAN, are trained on limited datasets, they may incline toward excessive generalization. This tendency implies that the model might overfit to the restricted training samples, thereby compromising its adaptability to diverse input data. Consequently, the model might lack the requisite diversity to faithfully reproduce various facets of the source images, resulting in a loss of detail and the emergence of visual artifacts in the generated images. In scenarios where data availability is constrained, the imperative of devising efficient training methodologies for generative adversarial models becomes all the more salient. The present work is dedicated to the comprehensive exploration and development of such training methodologies, with a specific focus on addressing the intricate challenges of image translation tasks within the confines of limited available data. Through innovative strategies, we aim to enhance the robustness and generalization capacity of GANs, facilitating their effective application in real-world scenarios characterized by data scarcity.
Keywords: Generative Adversarial Networks, data augmentation, image translation.
