The new basic realizations of operations “equivalence” of neuro-fuzzy and bioinspired neuro-logics to create hardware accelerators of advanced equivalental models of neural structures and machine vision systems

THE NEW BASIC REALIZATIONS OF OPERATIONS “EQUIVALENCE” OF NEURO-FUZZY AND BIOINSPIRED NEURO-LOGICS TO CREATE HARDWARE ACCELERATORS OF ADVANCED EQUIVALENTAL MODELS OF NEURAL STRUCTURES AND MACHINE VISION SYSTEMS

НОВІ БАЗИСНІ РЕАЛІЗАЦІЇ ОПЕРАЦІЙ «ЕКВІВАЛЕНТНІСТЬ» НЕЙРО-НЕЧІТКОЇ ТА БІОІНСПІРОВАНОЇ НЕЙРО-ЛОГІКИ ДЛЯ СТВОРЕННЯ АПАРАТУРНИХ ПРИСКОРЮВАЧІВ  ПРОГРЕСИВНИХ ЕКВІВАЛЕНТНИХ МОДЕЛЕЙ НЕЙРОННИХ СТРУКТУР ТА МАШИННОГО ЗОРУ

Сторінки: 153-166. Номер: №6, 2021 (303)
Автори:

VLADIMIR KRASILENKO
Vinnytsia National Agrarian University
ORCID ID: 0000-0001-6528-3150;
e-mail: krasvg@i.ua
YURCHUK NATALIYA
Vinnytsia National Agrarian University
ORCID ID: 0000-0002-7987-9390
ALEXANDER LAZAREV
Vinnytsia National Technical University
ORCID ID: 0000-0003-1176-5650
e-mail: alexander.lazarev.vntu@gmail.com
КРАСИЛЕНКО В. Г., ЮРЧУК Н. П.,
Вінницький національний аграрний університет
Лазарєв О. О.
Вінницький національний технічний університет
DOI: https://www.doi.org/10.31891/2307-5732-2021-303-6-153-166
Рецензія/Peer review : 20.12.2021 р.
Надрукована/Printed : 30.12.2021 р.

Анотація мовою оригіналу

The perspective of neural networks equivalental models (EM) base on vector-matrix procedure with basic operations of continuous and neuro-fuzzy logic (equivalence, absolute difference) are shown. Capacity on base EMs exceeded the amount of neurons in 4-10 times. This is larger than others neural networks paradigms. Amount neurons of this neural networks on base EMs may be 10 – 100 thousand. The base operations in EMs are normalized equivalence operations. The family of new operations “equivalence” and “non-equivalence” of neuro-fuzzy logic’s, which we have elaborated on the based of such generalized operations of fuzzy-logic’s as fuzzy negation, t-norm and s-norm are shown. Generalized rules of construction of new functions (operations) “equivalence” which uses operations of t-norm and s-norm to fuzzy negation are proposed. Despite the wide variety of types of operations on fuzzy sets and fuzzy relations and the related variety of new synthesized equivalence operations based on them, it is possible and necessary to select basic operations, taking into account their functional completeness in the corresponding algebras of continuous logic, as well as their most effective circuitry implementations. Among these elements the following should be underlined: 1) the element which fulfills the operation of limited difference; 2) the element which algebraic product (intensifier with controlled coefficient of transmission or multiplier of analog signals); 3) the element which fulfills a sample summarizing (uniting) of signals (including the one during normalizing). The basic element of pixel cells for the construction of hardware accelerators EM NM is a node on the current-reflecting mirrors (CM), which implements the operation of a limited difference (LD) of continuous logic (CL). Synthesized structures which realize on the basic of these elements the whole spectrum of required operations: t-norm, s-norm and new operations – “equivalence” are shown. These realizations on the basic of CMOS transistors current mirror represent the circuit with analog and time-pulse optical input signals. Possibilities of “equivalence” circuits synthesis by such functions limited difference cells are shown. Such circuits consist of several dozen CMOS transistors, have low power supply voltage (1.8…3.3V), the range of an input photocurrent is 0.1…24 μA, the transformation time is less than 1 μs, low power consumption (microwatts). The circuits and the simulation results of their design with OrCAD are shown.
Keywords: self-learning equivalent-convolutional neural structures, equivalent models, continuous-logical operations, hardware accelerator, bioinspired neuro-logic, neuro-fuzzy logic, neuron-equivalentor, current mirror, sorting node, operations “equivalence” and “non-equivalence”, functional completeness, image processor.

Розширена анотація українською мовою

Показано перспективу еквівалентних моделей (ЕМ) нейронних мереж на основі векторно-матричних процедур з операціями неперервної та нейро-нечіткої логіки (еквівалентність, абсолютна різниця). Ємність нейромереж на базі ЕМ перевищувала кількість нейронів у 4-10 разів. Це більше, ніж інші парадигми нейронних мереж (НМ). Кількість нейронів таких НМ на базі ЕМ може становити 10-100 тисяч, а їх базові операції – це нормалізовані операції еквівалентності. Показано сімейство нових операцій «еквівалентність» та «нееквівалентність» нейро-нечіткої логіки, що розроблені на основі узагальнених операцій нечіткої логіки, таких як нечітке доповнення, t-норма та s-норма. Запропоновані правила побудови нових узагальнених функцій (операцій) «еквівалентності» на основі використання операцій t-норм, s-норм та нечіткого доповнення. Незважаючи на велику різноманітність типів операцій над нечіткими множинами та нечіткими відношеннями та пов’язану з ними різноманітність нових синтезованих на їх основі операцій еквівалентності, в роботі обгрунтована можливість та необхідність для їх синтезу вибирати лише три основні базові операції з урахуванням їх функціональної повноти у відповідних алгебрах неперервної логіки та елементи для їх найбільш ефективних схемних реалізацій. До цих елементів віднесено: 1) елемент, що виконує операцію обмеженої різниці; 2) елемент алгебраїчного добутку (підсилювач з регульованим коефіцієнтом передачі або помножувач аналогових сигналів); 3) елемент, що виконує зважене підсумовування (об’єднання) сигналів (у тому числі при їх нормалізації). Базовим елементом піксельних комірок для побудови апаратних прискорювачів ЕМ НМ є вузол на від-дзеркалювачах струму (ВДС), що реалізує операцію обмеженої різниці неперервної логіки. На основі цих базових елементів спроектовані та наведені багатофункціональні структури, які реалізують практично увесь спектр необхідних операцій: t-норм, s-норм та усі нові види узагальнених операцій «еквівалентності». Вони реалізовані на основі КМОП-транзисторних віддзеркалювачів струму та являють собою схеми нелінійної обробки аналогових чи часо-імпульсно-кодованих вхідних сигналів. Показано можливості синтезу схем «еквівалентності» за допомогою сукупності з подібних елементів, що реалізують лише операцію обмеженої різниці. Такі схеми складаються з кількох десятків КМОП-транзисторів, мають низьку напругу живлення (1,8…3,3 В), діапазон вхідного фотоструму 0,1…24 мкА, час трансформації менше 1 мкс, низьке споживання електроенергії (мікроват). Наведені спроектовані структури, схеми їх базових вузлів. Показані результати їх моделювання за допомогою OrCAD. Такі структури мають ряд переваг: однорідність, високу швидкість та надійність, простоту схем, мале енергоспоживання, високий рівень інтеграції для лінійних та матричних структур. На основі набору таких вузлів та ВДС, реалізованих за КМОП-технологією, запропоновані та розглянуті методи побудови базових елементів-комірок скалярно-реляційних векторних процесорів (СРВП) з функціями «еквівалентності» та їх структур в цілому, як прискорювачів.
Ключові слова: еквівалентно-згорткові нейронні структури, що самонавчаються, еквівалентні моделі, безперервно-логічні операції, апаратний прискорювач, біоінспірована нейрологіка, нейронечітка логіка, нейрон-еквівалентор, віддзеркалювач струму, вузол сортування, операції «еквівалентність» та «нееквівалентність», процесор зображення, нелінійна обробка, функціональна повнота.

References

1. Zadeh L. A., Fuzzy sets, Inform Control, v.8, pp.338 – 353, 1965.
2. Frecman James, Skapura D.M., “Neural Networks: Algorithms applications and programming techniques”, Addison-Wesley Publishing Company, 1992.
3. Amosov N.M. et al, “Neurostructures and intelligent robots”, Naukova dumka, Kiev, 1991.
4. Madani K., Chebira A., “Hybrid neural-based decision level fusion architecture: application to road traffic collision avoidance”, Opt.Eng. 37(2), pp. 370 – 377, 1998.
5. Levin V.I., “Continuous logic, its generalization and application”, Automatica and telemechanica, № 8, pp. 3 – 22, 1990.
6. Shimbirev P.N., “Hybrid continuouse-logic arrangements”, Energoizdat, Moscow, 1990.
7. Krasilenko, V.G. et al, “Creation opportunities of optoelectronic continuous logic neural elements, which are universal circuitry macrobasis of optical neural networks”, Рrос. of SРІЕ Vоl. 2647, pp. 208 – 217, (1995).
8. Zhiging Wen, Pochi Yeh, Xiangyang Yang, “Fuzzy neural network for invariant optical pattern recognition”, Opt. Eng. 35 (8), pp.2188-2195,1996.
9. Ширман Д. и др., “Методы радиолокационного распознавания и их моделлирование”, Зарубежная радиоэлектроника, № 11, pp.3 – 65, 1996.
10. Leondes G.T., “Algorithms and architectures”, Vol. 1, Neural network systems, techniques and applications, Academik press, USA, 1998.
11. Krasilenko, V. G., Saletsky, F. M., Yatskovsky, V. I., Konate, K., “Continuous logic equivalence models of Hamming neural network architectures with adaptive-correlated weighting,” Proc. of SPIE Vol. 3402, pp. 398-408 (1998).
12. Krasilenko, V.G. et al., “Optical pattern recognition algorithms on neural-logic equivalental models and demonstration of their prospective ness and possible implementations”, SPIE, Vol. 4387, pp. 247 – 260, (2001).
13. Antamonov, Y.G., “Principles of neurodynamics”, Naukova dumka, Kiev, 1974.
14. Posin, N.V., “Modeling of neural structures”, Nauka, Moscow, 1970.
15. Krasilenko, V.G. et al., “Lines of optoelectronic neural elements with optical inputs/outputs based on BISPIN-devices for optical neural networks”, SPIE, Vol. 2647, pp. 264 – 272, (1995).
16. Levshin, V.L., “Biocybernetical optoelectronic devices of automatical recognition images”, Mashinostroenie, Moscow, 1987.
17. Nikaelian A.L. (Editor), “Optical memory and neural networks”, SPIE, Vol. 3402, 1997.
18. Krasilenko, V.G. et al., “Gnoseological approach to search of most general functional model of neuron”, Collected research works, №7 (2000) according to the results of 7-th STC “Measuring and computer technique in technological processes”, Khmelnitsky, MCDTP, pp. 23 –27, 2000.
19. Krasilenko, V.G., Boguhvalsky, A.K., Volosovich, A.E., “The simulation of information processing algorithms in optical neural networks in training and recognition models”, Proc. SPIE, Vol.2647, pp.307 – 312, (1995).
20. Krasilenko, V.G. et al., “Application of nonlinear correlation functions and equivalence models in advanced neuronets”, SPIE, Vol.3317, pp.211 – 223, (1997).
21. Krasilenko, V. G., Nikolsky, A. I., Bozniak, Y. A., “Recognition algorithms of multilevel images of multicharacter identification objects based on nonlinear equivalent metrics and analysis of experimental data”, Proc. SPIE 4731, Sensor Fusion: Architectures, Algorithms, and Applications VI, (6 March 2002); https://doi.org/ 10.1117/12.458380
22. Krasilenko, V. G., Magas, A. T., “Multiport optical associative memory based on matrix-matrix equivalentors,” Proceedings of SPIE Vol. 3055, pp. 137 – 146 (1997).
23. Krasilenko, V. G., Lazarev, A., Grabovlyak, S., “Design and simulation of a multiport neural network heteroassociative memory for optical pattern recognitions,” Рrос. of SРІЕ Vоl. 8398, 83980N-1 (2012).
24. Krasilenko V. G., Alexander A. Lazarev, Diana V. Nikitovich, “Experimental research of methods for clustering and selecting image fragments using spatial invariant equivalent models,” Proceedings of SPIE Vol. 9286, 928650 (2014).
25. Krasilenko, V. G., Nikolskyy, A. I., and Flavitskaya, J. A., “The Structures of Optical Neural Nets Based on New Matrix_Tensor Equivalently Models (MTEMs) and Results of Modeling,” Optical Memory and Neural Networks (Information Optics) Vol. 19 (1), 31–38 (2010).
26. LeCun and Y. Bengio. Convolutional networks for images, speech, and time-series. In M. A. Arbib, editor, The Handbook of Brain Theory and Neural Networks. MIT Press, 1995.
27. Shafiee et al., “ISAAC: A Convolutional Neural Network Accelerator with In-Situ Analog Arithmetic in Crossbars,” 2016 ACM/IEEE 43rd Annual International Symposium on Computer Architecture (ISCA), Seoul, 2016, pp. 14-26. doi: 10.1109/ISCA.2016.12
28. Di Zang, Zhenliang Chai, Junqi Zhang, Dongdong Zhang, Jiujun Cheng, “Vehicle license plate recognition using visual attention model and deep learning,” Journal of Electronic Imaging 24(3), 033001 (4 May 2015). http://dx.doi.org/10.1117/1.JEI.24.3.033001
29. Krasilenko V.G., Lazarev A.A., Nikitovich D.V., “Modeling and possible implementation of self-learning equivalence-convolutional neural structures for auto-encoding-decoding and clusterization of images,” Proceedings of SPIE Vol. 10453, 104532N (2017)
30. Krasilenko V.G., Lazarev A.A., Nikitovich D.V., “Modeling of biologically motivated self-learning equivalent-convolutional recurrent-multilayer neural structures (BLM_SL_EC_RMNS) for image fragments clustering and recognition,” Proc. SPIE 10609, MIPPR 2017: Pattern Recognition and Computer Vision, 106091D (8 March 2018); doi: 10.1117/12.2285797; https://doi.org/10.1117/12.2285797
31. Krasilenko V.G., Lazarev A.A., Nikitovich D.V. Simulation of cells for signals intensity transformation in mixed image processors and activation functions of neurons in neural networks. Вісник Хмельницького національного університету. Технічні науки. Khmelnytskyi, 2021. Vol. №5, P. 127-135.
32. Mori, M., Yatagai, T., “Optical learning neural networks with two dimensional structures,” Proc. SPIE Vol. 3402, 226-232 (1997).
33. Krasilenko, V.G., Nikolskyy, A., Zaitsev A., Voloshin V., “Optical pattern recognition algorithms on neural-logic equivalent models and demonstration of their prospects and possible implementations,” Proc. SPIE 4387, 247 – 260 (2001).
34. Krasilenko, V.G., Nikolskyy, A., Lazarev, A., Sholohov, V., “A concept of biologically motivated time-pulse information processing for design and construction of multifunctional devices of neural logic,” Proc. SPIE 5421, 183-194 (2004).
35. Guilfoyle, P., McCallum, D., “High-speed low-energy digital optical processors,” Opt. Eng. 35(2), 436-442 (1996).
36. Krasilenko V. G., Lazarev A. A., Nikitovich D. V., “Design and simulation of optoelectronic neuron equivalentors as hardware accelerators of self-learning equivalent convolutional neural structures (SLECNS),” Proceedings of SPIE Vol. 10689, 106890C (2018).
37. Krasilenko, V.G., Nikolskyy, A.I., Lazarev, A.A., “Simulation of reconfigurable multifunctional continuous logic devices as advanced components of the next generation high-performance MIMO-systems for the processing and interconnection” Proc. SPIE 9009, 90090R (2014).
38. Krasilenko, V. G., Nikolskyy, A. I., Lazarev A.A., “Designing and simulation smart multifunctional continuous logic device as a basic cell of advanced high-performance sensor systems with MIMO-structure,” Proceedings of SPIE Vol. 9450, 94500N (2015).
39. Schlottmann, C. R., Hasler, P. E., “A Highly Dense, Low Power, Programmable Analog Vector-Matrix Multiplier: The FPAA Implementation,” in IEEE Journal on Emerging and Selected Topics in Circuits and Systems, vol. 1, no. 3, pp. 403-411, Sept. 2011. doi: 10.1109/JETCAS.2011.2165755.
40. Krasilenko V.G., Yurchuk N.P., Nikitovich D.V. Design and simulation of neuron-equivalentors array for creation of self-learning equivalent-convolutional neural structures (slecns). Вісник Хмельницького національного університету. Технічні науки. Khmelnytskyi, 2021. Vol. №3 P. 58-70. DOI: https://www.doi.org/ 10.31891/2307-5732-2021-297-3-58-69 .
41. Krasilenko, V.G., Nikolsky, A.I., Ogorodnik, K.V., “Деякі новітні результати та досягнення вітчизняної нейроінформатики”, Collected research works, №8 (2001) according to the results of 8-th STC “Measuring and computer devices in technological processes”, Khmelnitsky, MCDTP, pp. 320 – 324, 2001.
42. Krasilenko, V.G., Nikolsky, A.I., Parashuk, A.V., “Дослідження динамічних процесів в нейромережах за допомогою еквівалентністних системних енергетичних функцій”, Collected research works, №8 (2001) according to the results of 8-th STC “Measuring and computer devices in technological processes”, Khmelnitsky, MCDTP, pp. 325 – 330, 2001.
43. Krasilenko, V.G. et al., “Демонстрація ефективності еквівалентністних моделей нейронних мереж з адаптивно-кореляційним корегуванням матриці зв’язків”, MCDTP, №4, pp. 119 –122, 2000.
44. Klir G.I., Folger T.A., Fuzzy sets, Uncertainty and Information, Prentice-Hall, Englowood Cliffs, NI, 1998.
45. Schmucker, K.I., Fuzzy sets, Natural langwage computations and risk analysts, 2 nd ed. Computer science press, Rockville, MD, 1989.
46. Kuzmin V.B., Travkin S.I., “Theory of fuzzy sets in control tasks and organization principles of fuzzy processors (survey of foreign literature)”, Automatica and telemechanica, №11, pp. 3 – 36, 1992.
47. Zadeh, L., “The concept of a linguistic variable and its applications to approximate reasoning”, Information sciences, V. 8, pp. 199 – 249, V. 9, pp. 43 – 80, 1975.
48. Knub O.D., “BISPIN – new kind semiconductor devices”, Electronnaya promyschlennost, № 8, pp.3 – 8, 1989.
49. Krasilenko V. G., Lazarev A. A., Nikitovich D. V., “Rank differences of signals by weighing-selection processing method for implementation of multifunctional image processing processor”, Proceedings of SPIE Vol. 11163, 111630J (2019).