Дослідження ефективності двоканальної оптико-електронної системи спостереження з нейромережевим комплексуванням інформації

ДОСЛІДЖЕННЯ ЕФЕКТИВНОСТІ ДВОКАНАЛЬНОЇ ОПТИКО-ЕЛЕКТРОННОЇ СИСТЕМИ СПОСТЕРЕЖЕННЯ З НЕЙРОМЕРЕЖЕВИМ КОМПЛЕКСУВАННЯМ ІНФОРМАЦІЇ

PERFORMANCE EVALUATION OF DUAL CHANNEL OPTOELECTRONIC SURVEILLANCE SYSTEM WITH NEURAL NETWORK INFORMATION FUSION

Сторінки: 229-232. Номер: №3, 2022 (309) 
Автори:
МАМУТА М.С.
Національний технічний університет України «Київський політехнічний інститут імені І. Сікорського»
https://orcid.org/0000-0002-7674-4984
e-mail: rybalkomaryna@gmail.com
МАМУТА О.Д.
Інститут Фізики НАН України
https://orcid.org/0000-0002-6404-5879
e-mail: mamuta.aleksandr@gmail.com
Maryna MAMUTA
National Technical University of Ukraine “Igor Sikorsky Kyiv Polytechnic Institute”
Oleksandr MAMUTA
Institute of Physics, National Academy of Sciences of Ukraine
DOI: https://www.doi.org/10.31891/2307-5732-2022-309-3-229-232

Анотація мовою оригіналу

Стаття присвячена дослідженню ефективності двоканальної оптико-електронної системи спостереження у складі телевізійного та тепловізійного каналів при комплексуванні інформації цих каналів за допомогою нейронних мереж. Увага зосереджена на оцінці ймовірності виявлення, розпізнавання та ідентифікації об’єкта такою системою. Результати досліджень показують, що комплексування дозволяє підвищити ймовірнісні характеристики системи майже на 6% за сприятливих погодних умов.
Ключові слова: оптико-електронна система спостереження, комплексування, нейронні мережі

Розширена анотація англійською  мовою

Optoelectronic surveillance systems are widely used in many areas of human activity: in agriculture, medicine, military systems, in search and rescue operations. These systems are designed for space, airborne, ground and maritime applications. They have to work under all climate conditions with absolute certainty under all light and weather conditions. And on the other hand, they have to be cost effective. That’s why optoelectronic surveillance systems use channels which provide complimentary information about the object and background. And for the most applications channels that operate in visible and thermal ranges of optical spectrum are indispensable element of such systems. Optoelectronic surveillance systems have to continuously meet and even exceed today’s performance and reliability requirements. That’s why there is a need to use not only cutting-age technology, but also adaptive signal processing. Information fusion is state-of-the-art technic to improve overall system performance. Numerous image fusion methods have been proposed during several decades but the most promising are neural networks.
Television system, which work in visible range of optical spectrum, and thermal system, which work in long-wave infrared range where chosen for the modeling. Probability of target detection, recognition and identification was used for performance evaluation. Probability of target detection, recognition and identification for separate long-wave infrared and television channels were modeled. Also, probabilities were estimated for the fused data. Information fusion was done with the help of convolutional neural networks. Simulation results showed that probability of target detection, recognition and identification are almost for 6% higher for fused data compared to separate channels.
Keywords: optoelectronic surveillance system, fusion, neural network

Література

1. Liu Yu. Deep learning for pixel-level image fusion: Recent advances and future prospects / Yu Liu, Xun Chen, Zengfu Wang, Z. Jane Wang, Rabab K. Ward, Xuesong Wang // Information Fusion. – 2018. – Vol. 42. – P. 158-173. – DOI: https://doi.org/10.1016/j.inffus.2017.10.007.
2. Ma Jiayi. Infrared and visible image fusion methods and applications: A survey / Jiayi Ma, Yong Ma, Chang Li // Information Fusion. – 2019. – Vol 45. – P. 153-178. – DOI: https://doi.org/10.1016/j.inffus.2018.02.004.
3. Vollmerhausen R.H. Analysis and evaluation of sampled imaging systems / R.H. Vollmerhausen, D. Reago, R.G. Driggers. – Washington: SPIE Press, 2010. – 304 p.
4. Колобродов В. Г. Оцінка ефективності багатоканальних оптико-електронних систем спостереження з комплексуванням інформації / В. Г. Колобродов, В. І. Микитенко, М. С. Мамута // Наукові вісті НТУУ “КПІ”. – 2012. – № 6. – C. 127–131.
5. Holst G. C. Electro-optical imaging system performance / Gerald C. Holst. – [5th ed.]. – Winter Park, Florida: JCD Publishing, 2008. – 438 p. – ISBN 978-0964000063.
6. Raj A. Handbook of research on deep learning-based image analysis under constrained and unconstrained environments / Alex Noel Joseph Raj, Vijayalakshmi G. V. Mahesh, Ruban Nersisson. – Hershey, PA: Engineering Science Reference, 2021. – 381 p. – ISBN 9781799866923.
7. Goodfellow I. Deep learning / Ian Goodfellow, Yoshua Bengio, Aaron Courville. – Cambridge, MA: MIT Press, 2017. – 800 p. – ISBN 978-0262035613.
8. STANAG 4347: NATO standardization agreement: definition of nominal static range performance for thermal imaging systems. – 1995. – 14p.
9. TAU 2. Проспект фірми Teledyne FLIR, США. [Електронний ресурс]. – Режим доступу: https://www.flir.com/products/tau-2/
10. Blackfly S. Проспект фірми Teledyne FLIR, США. [Електронний ресурс]. – Режим доступу: https://www.flir.com/products/blackfly-s-usb3/

References

1. Liu Yu. Deep learning for pixel-level image fusion: Recent advances and future prospects / Yu Liu, Xun Chen, Zengfu Wang, Z. Jane Wang, Rabab K. Ward, Xuesong Wang // Information Fusion. – 2018. – Vol. 42. – P. 158-173. – DOI: https://doi.org/10.1016/j.inffus.2017.10.007.
2. Ma Jiayi. Infrared and visible image fusion methods and applications: A survey / Jiayi Ma, Yong Ma, Chang Li // Information Fusion. – 2019. – Vol 45. – P. 153-178. – DOI: https://doi.org/10.1016/j.inffus.2018.02.004.
3. Vollmerhausen R.H. Analysis and evaluation of sampled imaging systems / R.H. Vollmerhausen, D. Reago, R.G. Driggers. – Washington: SPIE Press, 2010. – 304 p.
4. Kolobrodov V. G. Otsinka efektyvnosti bahatokanalnykh optyko-elektronnykh system sposterezhennia z kompleksuvanniam informatsii / V. G. Kolobrodov, V. I. Mykytenko, M. S. Mamuta // Naukovi visti NTUU “KPI””. – 2012. – № 6. – S. 127–131.
5. Holst G. C. Electro-optical imaging system performance / Gerald C. Holst. – [5th ed.]. – Winter Park, Florida: JCD Publishing, 2008. – 438 p. – ISBN 978-0964000063.
6. Raj A. Handbook of research on deep learning-based image analysis under constrained and unconstrained environments / Alex Noel Joseph Raj, Vijayalakshmi G. V. Mahesh, Ruban Nersisson. – Hershey, PA: Engineering Science Reference, 2021. – 381 p. – ISBN 9781799866923.
7. Goodfellow I. Deep learning / Ian Goodfellow, Yoshua Bengio, Aaron Courville. – Cambridge, MA: MIT Press, 2017. – 800 p. – ISBN 978-0262035613.
8. STANAG 4347: NATO standardization agreement: definition of nominal static range performance for thermal imaging systems. – 1995. – 14p.
9. TAU 2. Prospekt firmy Teledyne FLIR, SShA. [Elektronnyi resurs]. – Rezhym dostupu: https://www.flir.com/products/tau-2/
10. Blackfly S. Prospekt firmy Teledyne FLIR, SShA. [Elektronnyi resurs]. – Rezhym dostupu: https://www.flir.com/products/blackfly-s-usb3/