Метод геометричної інтерпретації ділянок обличчя для ідентифікації змін емоційного стану

МЕТОД ГЕОМЕТРИЧНОЇ ІНТЕРПРЕТАЦІЇ ДІЛЯНОК ОБЛИЧЧЯ ДЛЯ ІДЕНТИФІКАЦІЇ ЗМІН ЕМОЦІЙНОГО СТАНУ

METHOD OF GEOMETRIC INTERPRETATION OF FACIAL EXPRESSIONS FOR EMOTIONS RECOGNITION

 Сторінки: 68-71. Номер: №1, 2022 (305) 
 Автори:
КАЛИТА О. Д.
https://orcid.org/0000-0003-1868-8803
e-mail: oleg.kalyta@gmail.com
Хмельницький національний університет
Oleg KALYTA
Khmelnytskyi National University
DOI: https://www.doi.org/10.31891/2307-5732-2022-305-1–68-71

Анотація мовою оригіналу

 Станом на тепер актуальними залишаються інформаційні системи візуального спостереження для забезпечення безпеки, що ґрунтуються на розпізнаванні змін емоційного стану людини. Для покращення роботи подібних систем у даній роботі запропоновано метод геометричної інтерпретації ділянок обличчя, що призначений для автоматизованого відображення мімічних проявів емоцій людини у вигляді кількісних характеристик геометричних фігур на обличчі людини. Вихідними даними методу є кількісні вираження семи фігур у вигляді кількісних ознак, що застосовуються надалі для класифікації емоційних виразів обличчя. Проведено валідування запропонованого методу за допомогою гіперплощинної класифікації. Результати обчислювальних експериментів підтвердили ефективність запропонованого методу для задачі класифікації змін емоційного стану. Крім того, використання простих математичних обрахунків у нашому методі дало змогу суттєво знизити обчислювальну складність проти аналогів.
Ключові слова: розпізнавання емоцій, виявлення обличчя, мімічні прояви, кількісна інтерпретація обличчя, інформаційна безпека, гіперплощинна класифікація

Розширена анотація англійською  мовою

Emotional expressions serve a crucial role in interpersonal communication between people while improving social life. In particular, information security systems for visual surveillance that aim to recognize human emotional facial states are highly relevant today. Facial expressions are among the most effective and straightforward means of nonverbal interaction in systems with a human-machine interface. Despite significant scientific and engineering advances in emotion recognition, there are still several challenges in improving the performance of real-time human-machine systems that might work more effectively. In this work, a method of facial geometric feature representation is proposed to improve the operation of security systems. The method is designed to automatically reflect the facial expressions of human emotions in the form of quantitative characteristics of geometric shapes. It uses software-generated landmarks for constructing specific geometric characteristics of the face, which serve as input for the method. Our method consists in forming seven geometric shapes based on predefined landmarks, with the subsequent quantitative expression of these shapes. It was established within the method that the movement of the landmarks when changing facial expressions directly changed the value of each geometric shape. The method outputs the quantitative features of seven shapes, later used to classify emotional facial states. Finally, our method was validated using hyperplane classification. The results of computational experiments confirmed the effectiveness of the proposed method for identifying changes in a person’s emotional state by facial expressions. In addition, the use of simple mathematical calculations in our method has significantly reduced the computational complexity against analogs.
Keywords: Emotion recognition, face detection, facial extractions, geometric feature, face orientation, information security, hyperplane classification

Література

1. Saxena A. Emotion recognition and detection methods: A comprehensive survey / A. Saxena, A. Khanna, D. Gupta // Journal of Artificial Intelligence and Systems. – 2020. – Vol. 2, No. 1. – P. 53–79.
2. Ekman P. The facial action coding system: The manual / P. Ekman, W. V. Friesen, J. C. Hager // UT Research Nexus eBook. – Salt Lake City, 2002. – 527 p.
3. Терейковська Л. Метод нейромережевого розпізнавання емоцій по зображенню обличчя / Л. Терейковська // Computer-Integrated Technologies: Education, Science, Production. – 2020. – № 40. – С. 146–152.
4. Revina I. M. MDTP: A novel multi-directional triangles pattern for face expression recognition / I. M. Revina, W. R. S. Emmanuel // Multimedia Tools and Applications. – 2019. – Vol. 78, No. 18. – P. 26223–26238.
5. Nasir M. Fuzzy triangulation signature for detection of change in human emotion from face video image sequence / M. Nasir, P. Dutta, A. Nandi // Multimedia Tools and Applications. – 2021. – Vol. 80. – P. 31993–32022.
6. Barmak O. Model of the facial emotions expressions based on grouping classes of feature vectors / O. Barmak, O. Kalyta, Iu. Krak, E. Manziuk, V. Kuznetsov // Advances in Intelligent Systems and Computing. – Cham, 2020. – Vol. 1246. – P. 65–76.
7. Van der Schalk J. Moving faces, looking places: Validation of the Amsterdam dynamic facial expression set (ADFES) / J. van der Schalk, S. T. Hawk, A. H. Fischer, B. Doosje // Emotion. – 2011. – Vol. 11, No. 4. – P. 907–920.
8. Barmak A. V. Information technology of separating hyperplanes synthesis for linear classifiers / A. V. Barmak, Y. V. Krak, E. A. Manziuk, V. S. Kasianiuk // Journal of Automation and Information Sciences. – 2019. – Vol. 51, No. 5. – P. 54–64.

References

1. Saxena A. Emotion recognition and detection methods: A comprehensive survey / A. Saxena, A. Khanna, D. Gupta // Journal of Artificial Intelligence and Systems. – 2020. – Vol. 2, No. 1. – P. 53–79.
2. Ekman P. The facial action coding system: The manual / P. Ekman, W. V. Friesen, J. C. Hager // UT Research Nexus eBook. – Salt Lake City, 2002. – 527 p.
3. Tereikovska L. Metod neiromerezhevoho rozpiznavannia emotsii po zobrazhenniu oblychchia / L. Tereikovska // Computer-Integrated Technologies: Education, Science, Production. – 2020. – № 40. – S. 146–152.
4. Revina I. M. MDTP: A novel multi-directional triangles pattern for face expression recognition / I. M. Revina, W. R. S. Emmanuel // Multimedia Tools and Applications. – 2019. – Vol. 78, No. 18. – P. 26223–26238.
5. Nasir M. Fuzzy triangulation signature for detection of change in human emotion from face video image sequence / M. Nasir, P. Dutta, A. Nandi // Multimedia Tools and Applications. – 2021. – Vol. 80. – P. 31993–32022.
6. Barmak O. Model of the facial emotions expressions based on grouping classes of feature vectors / O. Barmak, O. Kalyta, Iu. Krak, E. Manziuk, V. Kuznetsov // Advances in Intelligent Systems and Computing. – Cham, 2020. – Vol. 1246. – P. 65–76.
7. van der Schalk J. Moving faces, looking places: Validation of the Amsterdam dynamic facial expression set (ADFES) / J. van der Schalk, S. T. Hawk, A. H. Fischer, B. Doosje // Emotion. – 2011. – Vol. 11, No. 4. – P. 907–920.
8. Barmak A. V. Information technology of separating hyperplanes synthesis for linear classifiers / A. V. Barmak, Y. V. Krak, E. A. Manziuk, V. S. Kasianiuk // Journal of Automation and Information Sciences. – 2019. – Vol. 51, No. 5. – P. 54–64.