Design and simulation of neuron-equivalentors array for creation of self-learning equivalent-convolutional neural structures (slecns)

DESIGN AND SIMULATION OF NEURON-EQUIVALENTORS ARRAY FOR CREATION OF SELF-LEARNING EQUIVALENT-CONVOLUTIONAL NEURAL STRUCTURES (SLECNS)

ПРОЕКТУВАННЯ ТА МОДЕЛЮВАННЯ МАСИВУ НЕЙРОН-ЕКВІВАЛЕНТОРІВ ДЛЯ СТВОРЕННЯ САМОНАВЧАЛЬНИХ ЕКВІВАЛЕНТНО-ЗГОРТКОВИХ НЕЙРОННИХ СТРУКТУР (СНЕЗНС)

Сторінки: 58-70. Номер: №3, 2021 (297)
Автори:
VLADIMIR KRASILENKO, NATALIYA YURCHUK
Vinnytsia National Agrarian University
Diana NIKITOVICH
Vinnytsia National Technical University
В. Г. КРАСИЛЕНКО, Н. П. ЮРЧУК
Вінницький національний аграрний університет
Д.В. НІКІТОВИЧ
Вінницький національний технічний університет
DOI: https://www.doi.org/10.31891/2307-5732-2021-297-3-58-69
Надійшла / Paper received :  25.05.2021 р
Надрукована / Paper Printed : 30.06.2021 р

Анотація мовою оригіналу

In the paper, we consider the urgent need to create highly efficient hardware accelerators for machine learning algorithms, including convolutional and deep neural networks (CNN and DNNS), for associative memory models, clustering, and pattern recognition. We show a brief overview of our related works the advantages of the equivalent models (EM) for describing and designing bio-inspired systems. The capacity of NN on the basis of EM and of its modifications is in several times quantity of neurons. Such neural paradigms are very perspective for processing, clustering, recognition, storing large size, strongly correlated, highly noised images and creating of uncontrolled learning machine. And since the basic operational functional nodes of EM are such vector-matrix or matrix-tensor procedures with continuous-logical operations as: normalized vector operations “equivalence”, “nonequivalence”, and etc. , we consider in this paper new conceptual approaches to the design of full-scale arrays of such neuron-equivalentors (NEs) with extended functionality, including different activation functions. Our approach is based on the use of analog and mixed (with special coding) methods for implementing the required operations, building NEs (with number of synapsis from 8 up to 128 and more) and their base cells, nodes based on photosensitive elements and CMOS current mirrors. Simulation results show that the efficiency of NEs relative to the energy intensity is estimated at a value of not less than 10¹² an. op. / sec on W and can be increased. The results confirm the correctness of the concept and the possibility of creating NE and MIMO structures on their basis.
Keywords: Neuron-Equivalentor, Hardware Accelerator, Self-Learning Equivalent-Convolutional Neural Structures, continuous logic, current mirror.

Розширена анотація українською мовою

У статті ми розглядаємо гостру необхідність створення високоефективних апаратних прискорювачів для алгоритмів машинного навчання, включаючи згорткові і глибокі нейронні мережі (ЗНМ і ГЗНМ), для моделей асоціативної пам’яті, кластеризації та розпізнавання образів. Ми показуємо в короткому огляді наших пов’язаних робіт переваги еквівалентністних моделей (ЕМ) для опису і проектування біо-натхненних систем. Ємність НМ на основі ЕМ і її модифікацій в кілька разів перевищує кількість нейронів. Такі нейронні парадигми дуже перспективні для обробки, кластеризації, розпізнавання, зберігання сильно корельованих і зашумлених зображень навіть великого розміру і для створення неконтрольованої навчальної машини. Базовими операційними функціональними вузлами ЕМ є векторно-матричні або матрично-тензорні процедури з такими безперервно-логічними операціями, як: нормалізовані векторні операції «еквівалентність», «нееквівалентність». Ми розглядаємо в цій статті нові концептуальні підходи до створення повномасштабних масивів таких нейрон-еквіваленторів (НЕ) з розширеними функціональними можливостями, включаючи різні функції активації. Наш підхід заснований на використанні аналогових і змішаних (із спеціальним кодуванням) методів реалізації необхідних операцій, побудови мережевих елементів (з числом синапсів від 8 до 128 і більше) і їх базових елементів, вузлів та модулів на основі світлочутливих елементів і відбивачів струму (струмових дзеркал) на CMOS. Результати моделювання показують, що відносна енергоефективність НЕ оцінюється величиною не менше 10 ^ 12 ан. op. / сек на Вт і може бути збільшена. Результати підтверджують правильність концепції і можливість створення на їх основі структур НЕ і СНЕЗНС.
Ключові слова:  нейрон-еквівалентор, апаратний прискорювач, самонавчальні еквівалентністно-згорткові нейронні структури, неперервна логіка, струмове дзеркало.

References

1. Krasilenko, V. G., Saletsky, F. M., Yatskovsky, V. I., Konate, K., “Continuous logic equivalence models of Hamming neural network architectures with adaptive-correlated weighting,” Proceedings of SPIE Vol. 3402, pp. 398-408 (1998).
2. Krasilenko, V. G., Magas, A. T., “Multiport optical associative memory based on matrix-matrix equivalentors,” Proc. of SPIE Vol. 3055, pp. 137 – 146.
3. Красиленко В. Г. Експериментальні дослідження просторово-інваріантних еквівалентністних моделей асоціативної та гетероасоціативної пам’яті 2D образів / В. Г. Красиленко, Д. В. Нікітович // Системи обробки інформації. – 2014. – Вип. 4. – С. 113-120. – Режим доступу: http://nbuv.gov.ua/UJRN/soi_2014_4_25 .
4. Krasilenko, V. G, “Research and design of equivalence model of heteroasociative memory,” The Scientific session of MIFI-2010 Vol.2, pp.83-90.
5. Krasilenko, V. G., Lazarev, A., Grabovlyak, S., “Design and simulation of a multiport neural network heteroassociative memory for optical pattern recognitions,” Рrос. SРІЕ Vоl. 8398, 83980N-1 (2012).
6. Krasilenko V. G. , Alexander A. Lazarev, Sveta K. Grabovlyak, Diana V. Nikitovich, “Using a multi-port architecture of neural-net associative memory based on the equivalency paradigm for parallel cluster image analysis and self-learning,” SPIE Vol. 8662, 86620S (2013).
7. Krasilenko V.G., Nikitovich D.V., “Simulation of self-learning clustering methods for selecting and grouping similar patches, using two-dimensional nonlinear space-invariant models and functions of normalized “equivalence,” Electronics and information technologies: сollected scientific papers, Lviv: Ivan Franko National University of Lviv, Issue 6, pp. 98-110 (2015). http://elit.lnu.edu.ua/pdf/6_11.pdf .
8. Krasilenko V.G., Lazarev A.A., Nikitovich D.V., “Modeling and possible implementation of self-learning equivalence-convolutional neural structures for auto-encoding-decoding and clusterization of images”, Proc. SPIE Vol. 10453, 104532N (2017); https://doi.org/10.1117/12.2276313
9. Krasilenko V.G., Lazarev A.A., Nikitovich D.V., “Modeling of biologically motivated self-learning equival
10. ent-convolutional recurrent-multilayer neural structures (BLM_SL_EC_RMNS) for image fragments clustering and recognition”, Proc. SPIE 10609, MIPPR 2017: Pattern Recognition and Computer Vision, 106091D (8 March 2018); doi: 10.1117/12.2285797; https://doi.org/10.1117/12.2285797
11. Krasilenko V.G., Nikolskyy, A. I., “Орtісаl раttеrn rесоgnіtіоn аlgоrіthms bаsеd оn nеurаl-lоgіс еquivаlеnt mоdеls аnd dеmоnstrаtіоn оf thеіr рrоspесts аnd роssіblе іmрlеmеntаtіоns,” Рrос. оf SРІЕ Vol. 4387, pp. 247-260 (2001).
12. Krasilenko, V. G., Kolesnitsky, O. K., & Boguhvalsky, A. K. “Application of non-linear correlation functions and equivalence models in advanced neuronets,” Рrос. of SРІЕ Vоl. 3317, 211-223 (1997).
13. Rudenko OG, Bodiansky EV Artificial neural networks. – Kharkov: OOO SMIT Company, 2005. – 408p.
14. Krasilenko V.G., Nikolskyy, A. I., Pavlov S. N., “The associative 2D-memories based on matrix-tensor equivalental models”, // Radioelektronika. Informatics. Management. – No. 2 (8). – 2002. – P. 45-54.
15. Krasilenko, V. G., Nikolskyy, A. I., Lazarev A.A., Magas T.E., “Design and simulation of optoelectronic complementary dual neural elements for realizing a family of normalized vector ‘equivalence-nonequivalence’ operations,” Proceedings of SPIE Vol. 7703, 77030P.
16. Krasilenko V.G., Nikolsky A.I., Lazarev A.A., Sholohov V. I., “The concept of biologically motivated time-pulse information processing for design and construction of multifunctional devices of neural logic,” Proc. SPIE Vol. 5421, 183-194, Intelligent Computing: Theory and Applications II, (12 April 2004)
17. Krasilenko V.G., Nikolsky A.I., Yatskovsky V.I., Ogorodnik K. V., Lischenko S., “Family of new operations equivalency of neuro-fuzzy logic: optoelectronic realization and applications,” Proc. SPIE 4732, 106-120, Photonic and Quantum Technologies for Aerospace Applications IV, (1 August 2002); doi: 10.1117/12.477429
18. Krasilenko, V., Magas, A., “Fundamentals of design of multi-functional devices of matrix multi-valued logic with fast programmed adjusting,” Measuring and computer technique in technological processes, 4, 113-121 (1999).
19. Krasilenko, V.G., Nikolsky, A.I., Lazarev, A.A., Michalnichenko, N. N., “Smart time-pulse coding photoconverters as basic components 2D-array logic devices for advanced neural networks and optical computers”, Proc. SPIE Vol. 5439, (2004).
20. Krasilenko, V., Nikolskyy, A., Lazarev, A., Pavlov, S., “Design and applications of a family of optoelectronic photocurrent logical elements on the basis of current mirror and comparators,” Proc. SPIE 5948, 426-435 (2005).
21. Vladimir G. Krasilenko, Aleksandr I. Nikolskyy, Alexander A. Lazarev, “Designing and simulation smart multifunctional continuous logic device as a basic cell of advanced high-performance sensor systems with MIMOstructure,” Proc. SPIE 9450, Photonics, Devices, and Systems VI, 94500N (6 January 2015); doi: 10.1117/12.2073893
22. Krasilenko, V., Ogorodnik, K., Nikolskyy, A., Dubchak, V., “Family of optoelectronic photocurrent reconfigurable universal (or multifunctional) logical elements (OPR ULE) on the basis of continuous logic operations (CLO) and current mirrors (CM), ” Proc. SPIE 8001, (2011).