РОЗРОБЛЕННЯ ІНТЕРАКТИВНОГО ГРАФІЧНОГО ЗАСТОСУНКУ КОЛЬОРИЗАЦІЇ ЗОБРАЖЕННЯ
INTERACTIVE GRAPHIC APPLICATION FOR IMAGE COLORATION
Сторінки: 174-177. Номер: №5, 2022 (313) 
DOI: https://www.doi.org/10.31891/2307-5732-2022-313-5-174-177
Автори: КРИВЕНЧУК Юрій
Національний університет “Львівська політехніка”
ORCID ID: 0000-0002-2504-5833
e-mail: Yurii.P.Kryvenchuk@lpnu.ua
ВАСИЛИК Ростислав
Національний університет “Львівська політехніка”
e-mail: rostyslav.vasylyk.mknssh.2021@lpnu.ua
KRYVENCHUK Yurii, VASYLYK Rostyslav
Lviv Polytechnic National University
Анотація мовою оригіналу
В роботі наведено результати розроблення інтерактивного графічного застосунку кольоризації зображення, мета якого покращення якості та збільшення функціоналу даного типу застосунків, їх поширення та впровадження у відповідні сфери в Україні. Виділено та описано такі основні етапи: перетворення тексових фраз у кольорові палітри, визначення ознак, кольоризація зображення за допомогою згенерованих палітр. Після проведення аналізу результатів було виявлено, що розроблення інтерактивного графічного застосунку кольоризації зображення є актуальним та доцільним завданням на сьогодні, а найбільш ефективним інструментом для цього є використання такий математичних методів, як K-means, методів глибинного навчання та згорткових нейронних мереж.
Ключові слова: кольоризація зображення, згорткові нейронні мережі, графічні редактори.
Розширена анотація англійською мовою
Nowadays we have thousands of products related to image adjusting adding filters, blurring, removing noise, etc. Also, we have applications related to image coloration, however, their functionality is quite narrow. With the help of the interactive graphic application for image coloration, it would be easier to adjust, particularly recolor, fully recolor, and even color black and white images from scratch. The application considers users’ choices by interactive instruments: texting the preferred color by some phrase “once in a blue moon”, choosing colors with a color picker, choosing a palette, choosing a palette with random colors, and adjusting a palette. All these instruments are applied to both color and black & white images. An example of using this application is in urban planning or design, where it is quite taught work for architects to make up with the idea of a new color palette for the particular project. For such cases, we eve provided functionality for fully coloring some raw project in form of black & white image. The paper has the description and the results of the creation of a graphic application, the basis of which are: windows graphical user interface, mathematical clustering method K-means, and a convolutional neural network. Using of clustering method K-means deserves a separate section, as there was used not the primary method, but modified – the applying of k-means to colors of an image, each iteration of the algorithm touches every pixel in the image, it is expensive for volumetric images, thus after analyzing different approaches, I decided to choose the so-called weighted K-means approach, in which each point C represents a certain number of pixels, the array of C point is called bins. In addition to the clustering method, the system uses the recurrent neural network to process text values or generate colors. As the result, user can connect to the system through a simple windows graphical interface that allows him to upload the image for further processing. The practical value of this work is the developed high-quality application which is ready for use and implementation in the relevant fields.
Keywords: image coloration, convolutional neural networks, graphical editors.
References
- Jeong Y., Lvmin Zhang, Chengze Li, Tien-Tsin Wong, Yi Ji, and Chunping Liu. 2018. Two-stage sketch colorization. ACM Trans. Graph. 37, 6, 261 (2018), 14 p. doi: https://doi.org/10.1145/3272127.3275090.
- Yingge Qu, Tien-Tsin Wong, and Pheng-Ann Heng. 2006. Manga colorization. ACM Trans. Graph. 25, 3 (2006), 1214–1220. doi: https://doi.org/10.1145/1141911.1142017.
- Sýkora D., Dingliana J. and Collins S. (2009), LazyBrush: Flexible Painting Tool for Hand-drawn Cartoons. Computer Graphics Forum, вип. 28: 599-608. doi: https://doi.org/10.1111/j.1467-8659.2009.01400.x.
- Frans K., Ho J., Chen X., Abbeel P., Schulman J. arXiv preprint, 2017. 309, 2017. Outline colorization through tandem adversarial networks.
- Richard Zhang, Jun-Yan Zhu, Phillip Isola, Xinyang Geng, Angela S. Lin, Tianhe Yu, and Alexei A. Efros. 2017. Real-time user-guided image colorization with learned deep priors. ACM Trans. Graph. 36, 4, vol. 119 (2017), 11 p. doi: https://doi.org/10.1145/3072959.3073703.
- Sangkloy, Patsorn, Jingwan Lu, Chen Fang, Fisher Yu and James Hays. “Scribbler: Controlling Deep Image Synthesis with Sketch and Color.” 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)(2017): 6836-6845.
