Система стабілізації положення дрону з використанням навчання з підкріпленням

СИСТЕМА СТАБІЛІЗАЦІЇ ПОЛОЖЕННЯ ДРОНУ З ВИКОРИСТАННЯМ НАВЧАННЯ З ПІДКРІПЛЕННЯМ

CREATION OF DRONE STABILIZATION SYSTEM USING REINFOCEMENT LEARNING

Сторінки: 111-114. Номер: №6, 2022 (315)   
Автори:
КРИВЕНЧУК Юрій
Національний університет “Львівська політехніка”
ORCID ID: 0000-0002-2504-5833
e-mail: yurii.p.kryvenchuk@lpnu.ua
ПЕТРЕНКО Дмитро
Національний університет “Львівська політехніка”
ORCID ID: 0000-0003-3720-9038
e-mail: dmytro.o.petrenko@lpnu.ua
KRYVENCHUK Yurii, PETRENKO Dmytro
Lviv Polytechnic National University
DOI: https://www.doi.org/10.31891/2307-5732-2022-315-6-111-114

Анотація мовою оригіналу

В роботі наведено результати дослідження теми використання алгоритмів навчання з підкріпленням у системах керування дронами, з метою покращення якості та  збільшення швидкодії такого типу систем, їх поширення та впровадження у відповідні сфери в Україні. Виділено та описано такі основні етапи: огляд систем навчання з підкріпленням, визначення основних параметрів, за якими проводитиметься навчання, порівняння результатів, отриманих на різних мережах. Після проведення аналізу результатів було виявлено, що створення системи стабілізації положення дрону з використанням навчання з підкріпленням є актуальним та доцільним завданням на сьогодні, а найбільш ефективним інструментом для цього є використання навчання з підкріпленням в поєднанні з глибинними нейронними мережами.
Ключові слова: керування дроном, навчання з підкріпленням, глибинні нейронні мережі.

 Розширена анотація англійською  мовою

The paper presents the results of research on the topic of using reinforcement learning algorithms in drone control systems, with the aim of improving the quality and increasing the speed of this type of systems, their distribution and implementation in the relevant areas in Ukraine. The following main stages are highlighted and described: review of training systems with reinforcement, determination of the main parameters according to which training will be conducted, comparison of results obtained on different networks. After analyzing the results, it was found that creating a drone position stabilization system using reinforcement learning is a relevant and appropriate task today, and the most effective tool for this is the use of reinforcement learning in combination with deep neural networks. Drone settings contain many parameters. Selecting these parameters and learning how to control the drone takes a lot of time. Drone pilots usually rely on their own experience and intuition when flying. This article examines the use of deep reinforcement learning to assist the pilot in typical or complex situations, as well as to extend the life of drones and avoid out-of-state situations. A general model represents an algorithm with input parameters equal to those required to represent the possible states and output parameters of the system sufficient to describe the possible actions. The algorithm automatically selects different models according to different parameters. It is determined that the algorithm can successfully start work with a low-efficiency model template and show good model performance and adjust the parameters of the number of layers, policy, entropy ratio, etc. This shows the potential for further application of these algorithms for designing drones. The result obtained during the execution of this work was a system that allows to simplify the process of choosing a deep learning algorithm with reinforcement in any created simulation environment for an agent of any complexity simulated in the Unreal Engine 4 game engine. The drone setup master must correctly formulate the task that the drone must perform, determine the main requirements for performance and the main possible bad options for performance. As a result of training, the drone will be able to stabilize itself from different positions, which will help to avoid emergency situations. This work can be widely applied in modern realities.
Keywords: reinforcement learning, quadcopters, drones, deep learning.

References

1. Jemin Hwangbo, Inkyu Sa, Roland Siegwart, Marco Hutter. Control of a Quadrotor with Reinforcement Learning. IEEE Robotics and Automation Letters, Volume: 2, Issue: 4, October 2017, doi: 10.1109/LRA.2017.2720851.
2. Song Y., Steinweg M., Kaufmann E., Scaramuzza D. Autonomous Drone Racing with Deep Reinforcement Learning. IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Prague, 2021. doi: 10.1109/IROS51168.2021.9636053.
3. HODGE Victoria J., HAWKINS Richard, ALEXANDER Rob. Deep reinforcement learning for drone navigation using sensor data. Neural Computing and Applications, 2021, 33.6: 2015-2033.
4. CHEN Yun et al. Efficient drone mobility support using reinforcement learning. 2020 IEEE wireless communications and networking conference (WCNC). IEEE, 2020. p. 1-6. doi: 10.1109/WCNC45663.2020.9120595.
5. Azar A. T., Koubaa A., Ali Mohamed N., Ibrahim H. A., Ibrahim Z. F., Kazim M., Casalino G. (2021). Drone deep reinforcement learning: A review. Electronics, 10(9), 999. doi: 10.3390/electronics10090999.
6. SHIN Sang-Yun; KANG Yong-Won; KIM Yong-Guk. Obstacle avoidance drone by deep reinforcement learning and its racing with human pilot. Applied sciences, 2019, 9.24: 5571, doi: 10.3390/app9245571.
7. Koning Tim. Low level quadcopter control using Reinforcement Learning: Developing a self-learning drone. (2020).
8. PASSALIS Nikolaos; TEFAS Anastasios. Continuous drone control using deep reinforcement learning for frontal view person shooting. Neural Computing and Applications, 2020, 32.9: 4227-4238. doi: 10.1007/s00521-019-04330-6.
9. Hu Y., Chen M., Saad W., Poor H. V., & Cui S. (2021). Distributed multi-agent meta learning for trajectory design in wireless drone networks. IEEE Journal on Selected Areas in Communications, 39(10), 3177-3192, doi: 10.1109/JSAC.2021.3088689.
10. Petrenko D. Selection of Deep Reinforcement Learning Using a Genetic Algorithm. COLINS-2022: 6th International Conference on Computational Linguistics and Intelligent Systems, 12 05 2022.