Ансамблі нейроподібних структур мпгп з rbf розширенням входів для задач регресії та класифікації

АНСАМБЛІ НЕЙРОПОДІБНИХ СТРУКТУР МПГП З RBF РОЗШИРЕННЯМ ВХОДІВ ДЛЯ ЗАДАЧ РЕГРЕСІЇ ТА КЛАСИФІКАЦІЇ

THE ENSEMBLES OF SGTM NEURAL-LIKE STRUCTURES WITH RBF LAYER FOR REGRESSION AND CLASSIFICATION TASKS

Сторінки: 72-79. Номер: №4, 2019 (275)
Автори:
П.Б. ВІТИНСЬКИЙ, Р.О. ТКАЧЕНКО, І.В. ІЗОНІН, Н.О. КУСТРА
Національний університет «Львівська політехніка»
P.B. VITYNSKIY, R.O. TKACHENKO, I.V. IZONIN, N.O. KUSTRA
Lviv Polytechnic National University
DOI: https://www.doi.org/10.31891/2307-5732-2019-275-4-72-79
Рецензія/Peer review : 24.05.2019 р.
Надрукована/Printed : 17.07.2019 р.

Анотація мовою оригіналу

У роботі описано архітектурні принципи створення, топології і особливості застосування ансамблів штучних нейронних мереж з неітеративним навчанням. Подаються і обґрунтовуються основні кроки побудови гібридних нейроподібних структур, що лежать в основі функціонування ансамблів, висвітлені базові структури зав’язків між елементами. Обґрунтовано доцільність їх використання. Описано метод побудови ансамблю на основі дихотомії. Надано алгоритмічну реалізацію методу, наведено блок-схему його роботи для обох базових нейроподібних структур, які покладено в основу ансамблів. Моделювання роботи обох ансамблів проведено на реальних даних задачах прогнозування. Описано основні атрибути вибірки даних, наведено її візуалізацію. Надано результати експериментального дослідження щодо точності та швидкості роботи обох розроблених ансамблів. Встановлено, що ансамбль на основі комбінованої нейроподібної структури з додатковим RBF шаром забезпечує вищі показники точності роботи при тривалішій процедурі навчання. Здійснено порівняння роботи розроблених ансамблів з рядом існуючих методів. Встановлено найвищу точність роботи ансамблю на основі комбінованої нейроподібної структури з додатковим RBF шаром. Розроблені ансамблі можна використовувати для розв’язання задач регресії і класифікації в різних областях.
Ключові слова: ансамбль, неітеративні алгоритми навчання, нейроподібні структури, машинне навчання, прогнозування, класифікація.

Розширена анотація англійською мовою

The developed ensembles of non-iterative artificial neural networks are described. The basic steps of constructing hybrid neural-like structures which are the basic of ensembles and their topology are given. Their usage is grounded. The method of constructing an ensemble based on dichotomy is described. The algorithmic implementation of method and block-scheme for both neural-like structures underlying ensembles are presented. Modelling of both ensembles performed on real-life forecasting problem. Attributes of the dataset are described and visualized. The results of experimental research including accuracy and speed for both developed ensembles are presented. The ensemble based on a combined neural-like structure of SGTM with RBF layer provides higher accuracy with the longer procedure of training. Comparison between developed ensembles and existing methods is made. The ensemble based on the combined neural-like structure with RBF shows the highest accuracy. The developed ensembles can be used for regression and classification tasks in different in various areas.
Keywords: ensemble, non-iterative training algorithms, neural-like structures, machine learning, forecasting, classification.

References

1. Zhernova P. Y. Adaptive Kernel Data Streams Clustering Based on Neural Networks Ensembles in Conditions of Uncertainty about Amount and Shapes of Clusters / P. Y. Zhernova, A. O. Deineko, Y. V. Bodyanskiy, V. O. Riepin VO // 2016 IEEE First International Conference on Data Stream Mining & Processing (DSMP), Lviv, 2018, pp. 7–12. DOI: 10.1109/DSMP.2018.8478616
2. Bodyanskiy Y. V. An evolving connectionist system for data stream fuzzy clustering and its online learning / Y. V. Bodyanskiy, O. K. Tyshchenko, D. S. Kopaliani // Neurocomputing, vol. 262, 2018, pp. 41–56. DOI: 10.1016/j.neucom.2017.03.081
3. Rokach L. Taxonomy for characterizing ensemble methods in classification tasks: A review and annotated bibliography / Computational Statistics & Data Analysis, vol. 53, 2009, pp. 4046–4072. DOI: 10.1016/j.csda.2009.07.017
4. Smolyakov V. Ensemble Learning to Improve Machine Learning Results / Stats and Bots., 2017. URL : https://blog.statsbot.co/ensemble-learning-d1dcd548e936. Accessed 24 Feb 2019
5. Ensemble Methods: Foundations and Algorithms. In: CRC Press. URL : https://www.crcpress.com/Ensemble-Methods-Foundations-and-Algorithms/Zhou/p/book/9781439830031. Accessed 24 Feb 2019
6. Sharkey AJC. Types of Multinet System. Roli F, Kittler J (eds) Multiple Classifier Systems. Springer Berlin Heidelberg, 2002, pp. 108–117.
7. Tkachenko R. Development of the Non-Iterative Supervised Learning Predictor Based on the Ito Decomposition and SGTM Neural-Like Structure for Managing Medical Insurance Costs / R. Tkachenko, I. Izonin, P. Vitynskyi, N. Lotoshynska, and O. Pavlyuk // Data, vol. 3, no. 4, p. 46, Oct. 2018.
8. Doroshenko A. Piecewise-Linear Approach to Classification Based on Geometrical Transformation Model for Imbalanced Dataset / 2018 IEEE Second International Conference on Data Stream Mining Processing (DSMP), 2018, pp. 231–235.
9. Tkachenko R. Geometrikal data modelling / R. Tkachenko, P. Tkachenko, O. Tkachenko, and J. Schmitz, // Proceedings of the international conference on Intelligent systems of making decisions and applied aspects of information technology, Eupatoria, vol. 2, 2016, pp. 279–285.
10. Tkachenko R. Non-iterative Neural-like Predictor for Solar Energy in Libya / R. Tkachenko, H. Kutucu, I. Izonin, A. Doroshenko, and Y. Tsymbal // Proceedings of the 14th International Conference on ICT in Education, Research and Industrial Applications. Integration, Harmonization and Knowledge Transfer. Volume I: Main Conference, Kyiv, Ukraine, May 14–17, 2018, 2018, vol. 2105, pp. 35–45.
11. Babichev S. A Fuzzy Model for Gene Expression Profiles Reducing Based on the Complex Use of Statistical Criteria and Shannon Entropy / S. Babichev, V. Lytvynenko, A. Gozhyj, M. Korobchynskyi, and M. Voronenko // Advances in Computer Science for Engineering and Education, 2018, pp. 545–554.
12. Shakhovska N. Big data federated repository model / N. B. Shakhovska, Y. J. Bolubash, and O. M. Veres // The Experience of Designing and Application of CAD Systems in Microelectronics, 2015, pp. 382–384.
13. Tsmots I. Structure and Software Model of a Parallel-Vertical Multi-Input Adder for FPGA Implementation / I. Tsmots, O. Skorokhoda, V. Rabyk // Computer Sciences and Information Technologies – Proceedings of the 11th International Scientific and Technical Conference, CSIT 2016, 2016, pp. 158–160.
14. “Medical Cost Personal Datasets”. URL : https://www.kaggle.com/mirichoi0218/insurance. Accessed: 08-Dec-2018.
15. Demšar et al. Orange: Data Mining Toolbox in Python. Journal of Machine Learning Research, vol. 14, pp. 2349–2353, 2013.