ВИКОРИСТАННЯ ДОПОВНЕНОЇ РЕАЛЬНОСТІ ДЛЯ ПОКРАЩЕННЯ КОМУНІКАЦІЇ ЛЮДЕЙ З ОСОБЛИВИМИ ПОТРЕБАМИ
USING AUGMENTED REALITY TO IMPROVE COMMUNICATION FOR PEOPLE WITH SPECIAL NEEDS
Сторінки: 69-73. Номер: №3, 2023 (321) 
Автори:
МЕЛЬНИК Віталій
Хмельницький національний університет
zdmaluj.vm@gmail.com
БАГРІЙ Руслан
Хмельницький національний університет
https://orcid.org/0000-0001-5219-1185
bahriiro@khmnu.edu.ua
ПЕТРОВСЬКИЙ Сергій
Хмельницький національний університет
https://orcid.org/0000-0002-0590-0484
petrovskijss@khmnu.edu.ua
КИРИЧЕНКО Олександр
ORCID: 0009-0006-4149-212X
VITALII MELNYK, RUSLAN BAHRII, SERHII PETROVSKYI, KYRYCHENKO OLEXANDE
Khmelnytskyi National University
DOI: https://www.doi.org/10.31891/2307-5732-2023-321-3-69-73
Анотація мовою оригіналу
Потреба в комунікації є однією з найбільш важливих і загальнолюдських потреб. Кожна людина потребує спілкування з іншими людьми, щоб виразити свої думки, ідеї, емоції, а також для отримання інформації та взаємодії зі світом навколо. В світі є доволі велика категорія людей з порушеннями мовлення та комунікації, що потребують спеціальних допоміжних засобів. В статті розглядається використання доповненої реальності (AR) для поліпшення комунікації з використанням систем допоміжних комунікаційних технологій.
Визначено, що людям з обмеженими можливостями в спілкуванні, необхідна контекстуальна підтримка в реальному часі для забезпечення спілкування з оточуючими. Використання доповненої реальності може стати ефективним інструментом для забезпечення контекстуальної підтримки шляхом візуалізації текстових, звукових, та інших форм комунікації в реальному світі.
Детально розглянуто методи відстеження у доповненій реальності, а саме відстеження з маркером, гібридне відстеження, відстеження на основі моделей та відстеження за допомогою природних особливостей. Визначено, що метод відстеження за допомогою природних особливостей, дає можливість ідентифікувати конкретну людину та розпізнати її голос. Це дає можливість забезпечити швидку та точну інтерпретацію мовлення та підтримку комунікації в режимі реального часу. Використання методу відстеження за допомогою природних особливостей потребує певних умов для успішного розпізнавання, таких як наявність достатнього освітлення та відсутність шуму.
Сформульовано вимоги до системи допоміжної комунікації та можливий сценарій спілкування людини, що має комунікативні проблеми з іншою людиною з використанням доповненої реальності. Показано, що спеціалізовані пристрої доповненої реальності є найбільш ефективним засобом для забезпечення комунікації людей з особливими потребами. Вони дають можливість відображати текстову та аудіоінформації в реальному часі, а також можливість інтерактивної взаємодії з користувачем. Ці пристрої дозволяють полегшити процес комунікації та забезпечити більш якісну взаємодію з навколишнім середовищем для людей з особливими потребами.
Ключові слова: доповнена реальність, особливі потреби, комунікаційні технології, система допоміжної комунікації.
Розширена анотація англійською мовою
Communication is one of the most essential and everyday human needs. Every person requires communication with others to express their thoughts, ideas, and emotions, as well as to obtain information and interact with the world around them. A large category of people in the world with speech and communication disorders requires special auxiliary tools. The article discusses using augmented reality (AR) to improve communication using assistive communication technologies. It has been determined that people with disabilities in communication require real-time contextual support to ensure communication with their surroundings. Augmented reality can be an effective tool for providing contextual support by visualizing text, audio, and other forms of communication in the real world.
The methods of tracking in augmented reality are discussed in detail: marker-based tracking, hybrid tracking, model-based tracking, and natural feature tracking. It is determined that natural feature tracking allows for identifying a specific person and recognizing their voice. This enables fast and accurate interpretation of speech and real-time communication support. The use of natural feature tracking requires certain conditions for successful recognition, such as sufficient lighting and the absence of noise.
Requirements for assistive communication systems and a possible scenario for communication between a person with communication problems and another person using augmented reality are formulated. It has been determined that specialized augmented reality devices are the most effective means of communication for people with special needs. They allow for the display of textual and audio information in real-time and interactive interaction with the user. These devices make communicating more accessible and provide a more qualitative interaction with the surrounding environment for people with special needs.
Keywords: Augmented reality, special needs, communication technologies, augmentative and alternative communication.
