Simulation of cells for signals intensity transformation in mixed image processors and activation functions of neurons in neural networks

SIMULATION OF CELLS FOR SIGNALS INTENSITY TRANSFORMATION IN MIXED IMAGE PROCESSORS AND ACTIVATION FUNCTIONS OF NEURONS IN NEURAL NETWORKS

МОДЕЛЮВАННЯ КОМІРОК ДЛЯ ПЕРЕТВОРЕННЯ ІНТЕНСИВНОСТІ СИГНАЛІВ У ГІБРИДНИХ ПРОЦЕСОРАХ ЗОБРАЖЕНЬ ТА РЕАЛІЗАЦІЇ ФУНКЦІЙ АКТИВАЦІЇ НЕЙРОНІВ У НЕЙРОННИХ МЕРЕЖАХ

Сторінки: 127-135. Номер: №5, 2021 (301)
 Автори:
KRASILENKO VLADIMIR
Vinnytsia National Agrarian University
ORCID ID: 0000-0001-6528-3150
e-mail: krasvg@i.ua
LAZAREV ALEXANDER, NIKITOVICH Diana
Vinnytsia National Technical University
ORCID ID: 0000-0003-1176-5650; 0000-0002-8907-1221
e-mail: diananikitovych@gmail.com
Красиленко В. Г.
Вінницький національний аграрний університет
ЛАЗАРЄВ О.О., НІКІТОВИЧ Д.В.
Вінницький національний технічний університет
DOI: https://www.doi.org/10.31891/2307-5732-2021-301-5-127-135
Рецензія/Peer review : 16.09.2021р.
Надрукована/Printed : 10.10.2021 р.

Анотація мовою оригіналу

 Abstract – The paper considers results of design, simulation of continuously logical pixel cells (CLPC) based on current mirrors (CM) with functions of preliminary analogue processing for image intensity transformation and coding for construction of mixed image processors (IP) and neural networks (NN). The methodology and principles of construction of such cells are based on the use of piecewise-linear approximation of functions for nonlinear transformation of analog signals. It is shown that for the realization of generalized arbitrary functions by such gamma correctors, it is possible to apply basic step functions with controlled parameters. To implement the basic step functions, it is proposed to use nodes that perform a continuous-logical operation of a limited current difference and are quite simply implemented on current reflectors (VDS). The design and modeling of continuous-logical pixel cells (CLPC) based on VDS in different modes and for different conversion functions. Such CLC has a number of advantages: high speed and reliability, simplicity, small power consumption, high integration level for linear and matrix structures. We show design of CLC variants for photocurrents transformation and their simulations. The basic element of such cells is a scheme that implements the operation of a bounded difference of continuous logic. Using a set of circuits implemented on CMOS technology, we consider generalized methods for designing cells for nonlinear conversion of the photocurrent intensity. Selection of the appropriate parameters, which can be specified as constructive constants or as parameters for external control, allows changing type of synthesized functions. Possibilities of synthesis by such cells of functions with descending sections and different types are shown: sigmoid, lambda and others.  Such CLPCs consist of several dozen CMOS transistors, have low power supply voltage (1.8 ÷ 3.3V), the range of an input photocurrent is 0.1÷24μA, the transformation time is less than 1 μs, low power consumption (microwatts). The circuits and the simulation results of their design with OrCAD are shown. Examples of nonlinear image transformations are given.
Keywords: self-learning equivalent-convolutional neural structures, equivalent models, continuous-logical operations, 2D spatial function, neuron-equivalentor, current mirror, image intensity transformation, nonlinear processing.

Розширена анотація англійською мовою

Анотація – У статті розглянуто результати проектування, моделювання неперервно-логічних піксельних комірок (НЛПК) на основі від-дзеркалювачів струму (ВДС) з функціями попередньої аналогової обробки та перетворення інтенсивності сигналів, що необхідні для побудови гібридних аналого-цифрових процесорів обробки зображення (ПОЗ) і нейронних мереж (НМ). Методологія та принципи побудови таких комірок базуються на використанні кусочно-лінійної апроксимації функцій для нелінійної трансформації аналогових сигналів. Показано, що для реалізації узагальнених довільних функцій такими гамма-коректорами, можна застосувати базові ступінчасті функції з керованими параметрами. Для реалізації базових ступінчастих функцій запропоновано використати вузли, що виконують неперервно-логічну операцію обмеженої різниці струмів та досить просто реалізуються на від-дзеркалювачах струму (ВДС). Виконано проектування і моделювання неперервно-логічних піксельних комірок (НЛПК) на основі ВДС в різних режимах та для різних функцій перетворення. Такі НЛПК мають ряд переваг: високу швидкість та надійність, простоту схем, мале енергоспоживання, високий рівень інтеграції для лінійних та матричних структур. Ми показуємо дизайн варіантів НЛПК для перетворення фотострумів та їх моделювання. Базовим елементом таких піксельних комірок є вузол, що реалізує операцію обмеженої різниці неперервної логіки. На основі набору таких вузлів та ВДС, реалізованих за КМОП-технологією, запропоновані та розглянуті узагальнені методи побудови комірок для нелінійного перетворення інтенсивності фотоструму. Вибір відповідних параметрів, які можуть бути задані як конструктивні константи або як сигнали керування зовні, дозволяє змінити тип функцій, що синтезуються. Показано можливості синтезу таким комірками функцій зі спадними учасками та різного типу: сигмоїдного, лямбда та інші. Такі НЛПК складаються з кількох десятків КМОП-транзисторів, мають низьку напругу живлення (1,8 ÷ 3,3 В), діапазон вхідного фотоструму 0,1 ÷ 24 мкА, час перетворення менше 1 мкс, низьке енергоспоживання (мікроватти). Показано схеми комірок та результати їх моделювання.
Ключові слова: еквівалентно-згорткові нейронні структури, що самонавчаються, еквівалентні моделі, неперервно-логічні операції, двовимірна просторова функція, нейрон-еквівалентор, від-дзеркалювач струму, перетворення інтенсивності зображення, нелінійна обробка.

References

1. Krasilenko, V. G., Saletsky, F. M., Yatskovsky, V. I., Konate, K., “Continuous logic equivalence models of Hamming neural network architectures with adaptive-correlated weighting,” Proceedings of SPIE Vol. 3402, pp. 398-408 (1998).
2. Krasilenko, V. G., Magas, A. T., “Multiport optical associative memory based on matrix-matrix equivalentors,” Proceedings of SPIE Vol. 3055, pp. 137 – 146 (1997).
3. Krasilenko, V. G., Lazarev, A., Grabovlyak, S., “Design and simulation of a multiport neural network heteroassociative memory for optical pattern recognitions,” Рrос. of SРІЕ Vоl. 8398, 83980N-1 (2012).
4. Krasilenko V. G., Alexander A. Lazarev, Diana V. Nikitovich, “Experimental research of methods for clustering and selecting image fragments using spatial invariant equivalent models,” Proceedings of SPIE Vol. 9286, 928650 (2014).
5. Krasilenko, V. G., Nikolskyy, A. I., and Flavitskaya, J. A., “The Structures of Optical Neural Nets Based on New Matrix_Tensor Equivalently Models (MTEMs) and Results of Modeling,” Optical Memory and Neural Networks (Information Optics) Vol. 19 (1), 31–38 (2010).
6. LeCun and Y. Bengio. Convolutional networks for images, speech, and time-series. In M. A. Arbib, editor, The Handbook of Brain Theory and Neural Networks. MIT Press, 1995.
7. Shafiee et al., “ISAAC: A Convolutional Neural Network Accelerator with In-Situ Analog Arithmetic in Crossbars,” 2016 ACM/IEEE 43rd Annual International Symposium on Computer Architecture (ISCA), Seoul, 2016, pp. 14-26. doi: 10.1109/ISCA.2016.12
8. Di Zang, Zhenliang Chai, Junqi Zhang, Dongdong Zhang, Jiujun Cheng, “Vehicle license plate recognition using visual attention model and deep learning,” Journal of Electronic Imaging 24(3), 033001 (4 May 2015). http://dx.doi.org/10.1117/1.JEI.24.3.033001
9. Krasilenko V.G., Lazarev A.A., Nikitovich D.V., “Modeling and possible implementation of self-learning equivalence-convolutional neural structures for auto-encoding-decoding and clusterization of images,” Proceedings of SPIE Vol. 10453, 104532N (2017)
10. Krasilenko V.G., Lazarev A.A., Nikitovich D.V., “Modeling of biologically motivated self-learning equivalent-convolutional recurrent-multilayer neural structures (BLM_SL_EC_RMNS) for image fragments clustering and recognition,” Proc. SPIE 10609, MIPPR 2017: Pattern Recognition and Computer Vision, 106091D (8 March 2018); doi: 10.1117/12.2285797; https://doi.org/10.1117/12.2285797
11. Krasilenko V. G., Lazarev A. A., Nikitovich D. V., “Design and simulation of optoelectronic neuron equivalentors as hardware accelerators of self-learning equivalent convolutional neural structures (SLECNS),” Proceedings of SPIE Vol. 10689, 106890C (2018).
12. Schlottmann, C. R., Hasler, P. E., “A Highly Dense, Low Power, Programmable Analog Vector-Matrix Multiplier: The FPAA Implementation,” in IEEE Journal on Emerging and Selected Topics in Circuits and Systems, vol. 1, no. 3, pp. 403-411, Sept. 2011. doi: 10.1109/JETCAS.2011.2165755
13. Krasilenko, V. G., Nikolskyy, A. I., Lazarev A.A., “Designing and simulation smart multifunctional continuous logic device as a basic cell of advanced high-performance sensor systems with MIMO-structure,” Proceedings of SPIE Vol. 9450, 94500N (2015)