ВІДНОВЛЕННЯ ЗОБРАЖЕНЬ ЗА ДОПОМОГОЮ ГЕНЕРАТИВНИХ НЕЙРОННИХ МЕРЕЖ
IMAGE RECONSTRUCTION USING GENERATIVE NEURAL NETWORKS
Сторінки:30-34 . Номер: №5, 2023 (325) 
Автори:
Бердник Д.
Національний університет “Львівська політехніка”
ORCID ID: 0000-0002-8092-9228
danylo.berdnyk.mknssh.2022@lpnu.ua
Пелешко Д.
Національний університет “Львівська політехніка”
0000-0003-4881-6933
Dmytro.d.peleshko@lpnu.ua
BERDNYK D., PELESHKO D.
Lviv Polytechnic National University
DOI:https://www.doi.org/10.31891/2307-5732-2023-325-5-30-34
Анотація мовою оригіналу
В цьому дослідженні проводиться аналіз використання породжувальних нейронних мереж для реконструкції пошкоджених зображень. Для цього було використано систему з архітектурою контекстного кодувальника, який використовує змагальний процес навчання. Вид пошкодження зображень, який досліджувався у цій роботі – пропуски у зображеннях. Заповнення пропусків здійснюється на двох різних наборах даних за областями, а саме відновлення обличчя людей та відбитків пальців. Результати відновлення, які було отримано на тестувальних наборах даних було оцінено за допомогою таких метрик, як піксельні втрати Pixel Loss, пікове співвідношення сигналу до шуму PSNR та структурну подібність SSIM. Після проведення аналізу отриманих результатів, в межах дослідження, було запропоновано модифікації оригінальної архітектури генеративної мережі і використання втрати сприйняття під час тренування мережі, а також модифіковану, меншу за розмірами, архітектуру мережі, яка здатна досягати подібних результатів з меншим обсягом обчислень.
Ключові слова: породжувальні нейронні мережі, реконструкція зображень, контекстний кодувальник, змагальний процес навчання, пропуски у зображеннях, відновлення обличчя, відбитки пальців, піксельні втрати, PSNR, SSIM, модифікована архітектура, втрата сприйняття.
Розширена анотація англійською мовою
Nowadays, image reconstruction occupies an important place in image processing, solving the problem of recovering images from incomplete, noisy, or damaged data. Its applications cover various fields, including computer vision, medical imaging, etc. It is used to improve image quality, fill in gaps, remove unwanted elements, create new visual effects, etc. One of the main challenges of image reconstruction is the high dimensionality and complexity of real-world images, which often require sophisticated models and algorithms to determine their underlying structure and patterns. In addition, different types of image reconstruction tasks may have different constraints and objectives, such as preserving the original content or maintaining realism. There are many image reconstruction methods and techniques that can be divided into two categories: traditional methods and deep learning methods. Traditional methods rely on manually created features and mathematical models to formulate and solve the problem. Deep learning methods use neural networks to learn complex data structures and create realistic images.
This study provides analysis of the use of generative neural networks for the reconstruction of damaged images. For this purpose, we used a system with a contextual encoder architecture that uses an adversarial learning process. The type of image damage studied in this paper is inpainting. Inpainting is performed in two different domains, namely face and fingerprint recovery. The recovery results obtained on the test datasets were evaluated using such metrics as pixel loss, peak signal-to-noise ratio PSNR, and structural similarity SSIM. After analyzing the results, the study proposed modifications to the original architecture of the generative network. It was proposed to use the loss of perception during network training and a modified, smaller network architecture was proposed, which is able to achieve similar results with less computation.
Keywords: generative neural networks, image reconstruction, contextual encoder, adversarial learning process, inpainting, face reconstruction, fingerprints, pixel loss, PSNR, SSIM, modified architecture, perceptual loss
