СИСТЕМА РОЗПІЗНАВАННЯ ЕМОЦІЙНОЇ ХАРАКТЕРИСТИКИ ОБЛИЧЧЯ ЛЮДИНИ
CREATION OF FACIAL EMOTION RECOGNITION SYSTEM
Сторінки: 69-72. Номер: №6, 2021 (303) 
Автори:
КРИВЕНЧУК Ю. П.
Національний університет “Львівська політехніка”
ORCID ID: 0000-0002-2504-5833
e-mail: yurkokryvenchuk@gmail.com
ЛАВРИК Ю. О.
Національний університет “Львівська політехніка”
e-mail: ylilav55547@gmail.com
YURII KRYVENCHUK, Y. LAVRYK
Lviv Polytechnic National University
DOI: https://www.doi.org/10.31891/2307-5732-2021-303-6-69-72
Рецензія/Peer review : 14.11.2021 р.
Надрукована/Printed : 30.12.2021 р.
Анотація мовою оригіналу
У сучасному світі дуже багато речей і процесів, до яких ще не так давно ставились, як до чогось з області фантастики, все стрімкіше впроваджуються у реальне життя. Прикладом такого є і автоматизація процесу розпізнавання емоцій, яка вже на сьогодні не є недосяжною технологією та займає вагоме місце у галузі комп’ютерного зору. Технології розпізнавання емоцій виразу обличчя людини можуть слугувати для різних областей та цілей, що приваблює велику кількість науковців і розробників, деякі з яких вже реалізували такі системи, але їх кількість на сьогодні є невеликою і більшість таких продуктів вимагають спеціального обладнання та високих обчислювальних потужностей. Ще одними поширеними проблемами є вразливість до нечітких зображень та закритість систем, що не дає можливості проаналізувати та модифікувати розробку. Тому виникає необхідність оптимізації автоматизованого процесу розпізнавання емоцій виразу обличчя людини для створення більш стійкої, якісної та доступної системи. У роботі наведено опис та результати створеної системи розпізнавання емоцій, основою якої є згорткова нейронна мережа. Зв’язок користувача з системою проводиться через простий інтерфейс, який надає можливість завантажити готове зображення для аналізу та увімкнути камеру для ідентифікації емоцій у режимі реального часу. Практична цінність цієї роботи полягає в тому, що її результатом є розроблена високоякісна системи розпізнавання емоційної характеристики обличчя людини, яка є вже готовою до використання та впровадження у відповідні сфери.
Ключові слова: розпізнавання емоцій, обличчя, згорткова нейронна мережа , OpenCV.
Розширена анотація англійською мовою
In the modern world, a lot of things and processes, which not so long ago were treated as something from fiction, are increasingly being implemented in real life. An example of this is the automation of the process of recognizing emotions, which is no longer an unattainable technology and occupies an important place in the area of computer vision. Technologies for recognizing the emotions of facial expression can be used for various fields and purposes: from creating games and applications to more complex, such as analysis of people’s mental state, discussions, marketing research, attention monitoring, driver status, robotics and so on. All this confirms the high academic and commercial potential of systems for recognizing the emotional characteristics of the person and, accordingly, brings a large number of scientists and developers, some of whom have already implemented such systems. But today their number is small and a lot of such products require special equipment and high computing performance. Another common problem is the vulnerability to blurred images and the closed nature of the system, which makes it impossible to analyze and modify the development. Therefore, the optimization of the automated process of recognizing the emotions of facial expression is needed in order to create a more stable, high quality and affordable system. The paper have description and results of the creation of system of emotion recognition, the basis of which is a convolutional neural network. The user can connect with the system through a simple interface that allows you to download the image for analysis or turn on the camera to identify emotions in real time. The practical value of this work is the developed high-quality system for recognizing the facial emotional characteristics which is ready for use and implementation in relevant fields.
Keywords: face, emotion recognition, CNN, OpenCV.
References
- Ryumina E. V. Analytical review of methods for emotion recognition by human face expressions / E. V. Ryumina, A. A. Karpov // Scientific and Technical Journal of Information Technologies, Mechanics and Optics. – – Vol. 2. – P. 163–176.
- Zhang H. A face emotion recognition method using convolutional neural network and image edge computing / H. Zhang, A. Jolfaei, M. Alazab // IEEE Access. – – Vol. 7. – P. 159081–159089.
- Bodavarapu P. N. R. An optimized neural network model for facial expression recognition over traditional deep neural networks / P. N. R. Bodavarapu, P. V. V. S. Srinivas // International Journal of Advanced Computer Science and Applications. – – Vol. 12, No. 7. – P.443–451.
- Deng J. CGAN based facial expression recognition for human-robot interaction / J. Deng, G. Pang, Z. Zhang, [et al.] // IEEE Access. – – Vol. 7. – P. 9848–9859.
- Kim J.-H. Efficient facial expression recognition algorithm based on hierarchical deep neural network structure / J.-H. Kim, B.-G. Kim,P. Roy, D.-M. Jeong // IEEE Access. – 2019. – Vol. 7. — P. 41273–41285.
- Riaz M. N. EXnet: an efficient approach for emotion recognition in the wild / M. N. Riaz, Y. Shen, M. Sohail, M. Guo // Sensors (Switzerland). – – Vol. 20, No. 4.
- Shukla R. Facial emotion recognition by deep cnn and haar cascade / R. Shukla, L. Agilandeeswari, M. Prabukumar // International Journal of Innovative Technology and Exploring Engineering. – – Vol. 8, No. 12. – P. 3433–3441.
- Luna-Jiménez C. Multimodal emotion recognition on ravdess dataset using transfer learning / C. Luna-Jiménez, D. Griol, Z. Callejas, [et al.] // Sensors. – – Vol. 21, No. 22.
- Tumanov V. I. Ispolzovanie kaskadov haara dlya raspoznavaniya obrazov / V. I. Tumanov, T. S. Katermina. — Nizhnevartovskij gosudarstvennyj universitet, 2021. – 188–191. – ISBN 978-5-00047-589-8.
- Kovalenko A. Systema rozpiznavannia mimichnykh proiaviv emotsii liudyny z vykorystanniam bahatosharovoho perseptronu / A. Kovalenko. – 2011.
