МЕТОД ВИЯВЛЕННЯ ЗОВНІШНІХ ПРОЯВІВ НАСИЛЬСТВА У ВІДЕОПОТОЦІ НЕЙРОМЕРЕЖЕВИМИ ЗАСОБАМИ
METHOD OF DETECTING OUTWARD MANIFESTABONS OF VIOLENCE IN VIDEO STREAMS USING NEURAL NETWORK TOOLS
Сторінки: 82-87 . Номер: №5,т.2 2023 (327)
Автори:
МУЛЯР Е.Р., БАГРІЙ Р.О., ПАСІЧНИК О.А., МАНЗЮК Е.А.
Хмельницький національний університет
e-mail: edikmulyar228@gmail.com
Eduard MULIAR, Ruslan BAHRII, Alexander PASICHNUK, Eduard MANZIUK
Khmelnytskyi National University
DOI: https://www.doi.org/10.31891/2307-5732-2023-327-5-82-87
Анотація мовою оригіналу
Проблема виявлення проявів насильства за зображеннями у відеопотоці є актуальною в сучасному світі зі зростаючою кількістю відеоматеріалів, що містять насильницькі сцени. Це включає відео, зняте на вулицях, в громадських місцях та відеозаписи з камер спостереження. Виявлення та реагування на такі сцени важливі для забезпечення безпеки у громадських просторах та захисту прав людини.
Для інтелектуалізації процесу відеоспостереження сьогодні активно використовуються інформаційні технології, а саме нейромережі. Застосування нейромережевих засобів у відеоспостереженні є важливим засобом, оскільки дозволяє автоматично аналізувати великі обсяги відеоматеріалів і виявляти насильницькі сцени з високою точністю.
У статті пропонується метод виявлення зовнішніх проявів насильства за зображеннями у відеопотоці за допомогою згорткової нейронної мережі та класифікатора SVM. На вхід методу подаються кадри відеоматеріалу, з яких згорткова нейронна мережа вилучає набір ознак, який потім передається класифікатору SVM для отримання оцінки щодо ймовірності належності цих ознак до певного класу (насильницького або не насильницького). Особливістю запропонованого методу є можливість працювати із відеоматеріалом у реальному часі. Це досягається за рахунок того, що згорткова нейронна мережа використовуючи метод fine-tuning навчалася на неперервному потоці даних із мультимедійних платформ для онлайн трансляцій.
Проведено експерименти з використанням різних наборів даних для оцінки ефективності запропонованого методу. Результати показали, що метод досягає високої точності (87,4%-99,45%) виявлення насильства та працює ефективно з відеопотоком даних у реальному часі.
Ключові слова: насильство, виявлення, відеопотік, нейромережі, згорткова нейронна мережа, SVM.
Розширена анотація англійською мовою
The problem of detecting violence from images in a video stream is relevant in today’s world with a growing number of videos containing violent scenes. This includes video taken on the streets, in public places, and from surveillance cameras. Identifying and responding to such scenes is important for ensuring safety in public spaces and protecting human rights. Information technologies, namely neural networks, are being actively used to intellectualize the video surveillance process. The use of neural network tools in video surveillance is an important tool, as it allows to automatically analyze large amounts of video materials and detect violent scenes with high accuracy.
The article proposes a method for detecting external manifestations of violence in images in a video stream using a convolutional neural network and an SVM classifier. The input to the method is video frames from which the convolutional neural network extracts a set of features, which is then passed to the SVM classifier to obtain an estimate of the probability of these features belonging to a certain class (violent or non-violent). The peculiarity of the proposed method is the ability to work with video material in real time. This is achieved due to the fact that the convolutional neural network was trained using the fine-tuning method on a continuous stream of data from multimedia platforms for online broadcasts. Experiments were conducted using different datasets to evaluate the effectiveness of the proposed method. The results showed that the method achieves high accuracy (87,4%-99,45%) in detecting violence and works efficiently with a real-time video data stream.
The use of neural network tools to detect violence in a video stream has great potential in various fields, including public safety, cybersecurity, and human rights protection. Improving the proposed method can help to expand the possibilities of detecting and preventing violence in video streams.
Keywords: violence, detection, video stream, neural networks, convolutional neural network, SVM.
