Методи збору та обробки зображень отриманих з використанням БПЛА для виявлення заданих об’єктів

МЕТОДИ ЗБОРУ ТА ОБРОБКИ ЗОБРАЖЕНЬ ОТРИМАНИХ З ВИКОРИСТАННЯМ БПЛА ДЛЯ ВИЯВЛЕННЯ ЗАДАНИХ ОБ’ЄКТІВ

METHODS OF COLLECTING AND PROCESSING IMAGES OBTAINED USING UAVs TO DETECT SPECIFIED OBJECTS

Сторінки: 131-138. Номер: №6, 2022 (315)  
Автори:

МЕЛЬНИЧЕНКО Олександр
Хмельницький національний університет
https://orcid.org/0000-0001-8565-7092
e-mail: oleksandr.melnychenko@live.com

MELNYCHENKO Oleksandr
Khmelnytskyi National University

DOI: https://www.doi.org/10.31891/2307-5732-2022-315-131-138

Анотація мовою оригіналу

У поданій роботі запропоновано новий підхід до виявлення та обчислення кількості заданих структурних об’єктів на прикладів фруктових плодів за зображеннями, що генеруються безпілотними літальними апаратами (БПЛА) в режимі реального часу. Запропонований підхід полягає у послідовному виконанні запропонованих методів, а саме, метод динамічного отримання зображень заданих структурних об’єктів в тривимірному просторі за допомогою групи БПЛА, метод синхронізації відеопотоків з різних БПЛА, метод виявлення заданих структурних об’єктів та спосіб отримання кількості структурних об’єктів. У результаті проведених експериментальних досліджень над розробленими методами було продемонстровано практичну значущість їхнього послідовного застосування до робочого середовища фруктового саду. Так, оцінка синхронізації відеопотоків за індексом SSIM коливається від 0,79 до 0,92, із середнім значенням 0,87, а за індексом PSNR – від 22 до 39, що свідчить про високу ефективність розробленого методу синхронізації та хорошу якість отриманих об’єднаних зображень. Середнє значення показника достовірності виявлення та обчислення кількості фруктових плодів становить 86,75%. Отримані значення свідчать про високий показник ефективності методів збору та обробки зображень отриманих з використанням БПЛА для виявлення заданих об’єктів.

Ключові слова: врожайність яблук, збір зображень, обробка зображень, синхронізація відеопотоків, виявлення об’єктів, YOLOv5, глибоке навчання.

Розширена анотація англійською  мовою

This study introduces a novel approach for identifying and quantifying specific structural objects, using fruit as an example, through images captured by drones in real time. The approach involves a series of steps: dynamically capturing images of the specified objects in 3D space using a fleet of drones, synchronizing video feeds from different drones, and finally, detecting and counting the objects. During the detection phase, a new version of the YOLOv5 model, YOLOv5-v1, was trained on a custom dataset of apple images to learn the features that differentiate apples from their surroundings. The initial size of the source network’s binding block was adjusted to avoid misidentifying small objects in the image background, thereby improving counting accuracy. The authors conducted computational experiments on a dataset of apple images they created to assess the approach’s effectiveness. The synchronization of video streams was assessed using the SSIM index, which ranged from 0.79 to 0.92, with an average value of 0.87, and the PSNR index, which ranged from 22 to 39. These values indicate the high efficiency of the developed synchronization method and the high quality of the resulting combined images. The results on the test dataset showed that the improved model could effectively identify fruits captured by the drone camera, with recall, precision, mAP, and F1-score of 92.13%, 84.59%, 87.94%, and 89.02%, respectively. The proposed approach was also compared with several other cutting-edge models, YOLOv3, YOLOv4, and YOLOv5, and was found to be superior in accuracy and speed. Our model’s average recognition speed was 0.015 seconds per video frame (66.7 frames/s), which was 1.13 and 3.53 times faster than the YOLOv4, and YOLOv3 networks, respectively. The average reliability index for detecting and counting fruit was 86.75%. These results demonstrate the effectiveness of using drone-captured images to detect specified objects. Future research could also explore including additional features, such as fruit shape, by training the model on a larger dataset.

Keywords: apple yield, image collection, image processing, video stream synchronization, object detection, YOLOv5, deep learning.

Література

1. Medvedeva Y., Kucher A., Lipsa J., Hełdak M. Human health risk assessment on the consumption of apples growing in urbanized areas: Case of Kharkiv, Ukraine. International Journal of Environmental Research and Public Health. – 2021. – Vol. 18, No. 4. – P. 1504.
2. 2. A litchi fruit recognition method in a natural environment using RGB-D images / L. Yu et al. Biosystems Engineering. – 2021. – Vol. 204. – P. 50–63.
3. 3. Mai X., Zhang H., Jia X., Meng M.Q.-H. Faster R-CNN with classifier fusion for automatic detection of small fruits. IEEE Transactions on Automation Science and Engineering. – 2020. – Vol. 17, No. 3. – P. 1555–1569.
4. 4. Wang S. Research towards YOLO-series algorithms: Comparison and analysis of object detection models for real-time UAV applications. Journal of Physics: Conference Series. – 2021. – Vol. 1948, No. 1. – P. 012021.
5. Huang Z., Zhang P., Liu R., Li D. Immature apple detection method based on improved YOLOv3. ASP Transactions on Internet of Things. – 2021. – Vol. 1, No. 1. – P. 9–13.
6. Chen W., Zhang J., Guo B., Wei Q., Zhu Z. An apple detection method based on Des-YOLO v4 algorithm for harvesting robots in complex environments. Mathematical Problems in Engineering. – 2021. – Vol. 2021. – P. e7351470.
7. Behera S.K., Mishra N., Sethy P.K., Rath A.K. On-tree detection and counting of apple using color thresholding and CHT. 2018 International Conference on Communication and Signal Processing (ICCSP-2018) : Proceedings. – Vol. 2018. (India, Chennai, 3-5 April 2018). – IEEE Inc., 2018. – P. 0224–0228.

References

 Medvedeva Y., Kucher A., Lipsa J., Hełdak M. Human health risk assessment on the consumption of apples growing in urbanized areas: Case of Kharkiv, Ukraine. International Journal of Environmental Research and Public Health. – 2021. – Vol. 18, No. 4. – P. 1504.

1. A litchi fruit recognition method in a natural environment using RGB-D images / L. Yu et al. Biosystems Engineering. – 2021. – Vol. 204. – P. 50–63.
2. Mai X., Zhang H., Jia X., Meng M.Q.-H. Faster R-CNN with classifier fusion for automatic detection of small fruits. IEEE Transactions on Automation Science and Engineering. – 2020. – Vol. 17, No. 3. – P. 1555–1569.
3. Wang S. Research towards YOLO-series algorithms: Comparison and analysis of object detection models for real-time UAV applications. Journal of Physics: Conference Series. – 2021. – Vol. 1948, No. 1. – P. 012021.
4. Huang Z., Zhang P., Liu R., Li D. Immature apple detection method based on improved YOLOv3. ASP Transactions on Internet of Things. – 2021. – Vol. 1, No. 1. – P. 9–13.
5. Chen W., Zhang J., Guo B., Wei Q., Zhu Z. An apple detection method based on Des-YOLO v4 algorithm for harvesting robots in complex environments. Mathematical Problems in Engineering. – 2021. – Vol. 2021. – P. e7351470.
6. Behera S.K., Mishra N., Sethy P.K., Rath A.K. On-tree detection and counting of apple using color thresholding and CHT. 2018 International Conference on Communication and Signal Processing (ICCSP-2018) : Proceedings. – Vol. 2018. (India, Chennai, 3-5 April 2018). – IEEE Inc., 2018. – P. 0224–0228.