Інформаційна технологія інтелектуальної обробки та аналізу великих даних

ІНФОРМАЦІЙНА ТЕХНОЛОГІЯ ІНТЕЛЕКТУАЛЬНОЇ ОБРОБКИ ТА АНАЛІЗУ ВЕЛИКИХ ДАНИХ

INFORMATION TECHNOLOGY OF INTELLIGENT PROCESSING AND ANALYSIS BIG DATA

Сторінки: 120-125. Номер: №5, 2020 (289)
Автори:
М.П. КОМАР
Західноукраїнський національний університет
M.P. KOMAR
West Ukrainian National University, Ternopil, Ukraine
DOI: https://www.doi.org/10.31891/2307-5732-2020-289-5-120-125
Рецензія/Peer review : 14.11.2020 р.
Надрукована/Printed : 27.11.2020 р.

Анотація мовою оригіналу

В статті розроблено методологію створення інтелектуальних систем обробки та аналізу великих даних в умовах невизначеності, неповноти та нечіткості інформації, яка базується на використанні наступних принципів: горизонтальної масштабованості, відмовостійкості, локальності даних, стійкості до помилок у даних, адаптивності, еволюційності. Запропоновані принципи покладені в основу для розроблення моделей і методів інтелектуальної обробки та аналізу великих даних: методу відновлення відсутніх даних, який створює додаткові значення даних на основі функціональних залежностей та правил асоціації та додає ці значення до наявних навчальних даних; методу прийняття рішень в процесі експлуатації системи на базі нечіткої логіки, який забезпечує автономну роботу процесу обробки та аналізу великих даних без будь-якого втручання користувача; методу навчання глибоких нейронних мереж на основі об’єднання генетичного алгоритму і нейронної мережі для знаходження оптимальних параметрів нейронної мережі; методу паралельного навчання глибоких нейронних мереж на основі розбиття навчальної вибірки на підвибірки і паралельного навчання кожної підвибірки на окремій копії моделі нейронної мережі. Для інформаційної підтримки запропонованих моделей і методів розроблено інформаційну технологію інтелектуальної обробки та аналізу великих даних. Запропоновану технологію реалізовано в рамках інтелектуальної системи обробки та аналізу великих даних. Дослідження результатів застосування розробленої системи запропоновано провести на основі прогнозування результатів футбольних матчів.
Ключові слова: інформаційна технологія, інтелектуальна система, обробки та аналізу великих даних, глибока нейронна мережа, нечітка логіка, генетичний алгоритм, паралельне навчання, прогнозування.

Розширена анотація англійською мовою

The methodology for creating intelligent systems for processing and analyzing big data in conditions of uncertainty, incompleteness and vagueness of information developed in the article, based on the use of the following principles: horizontal scalability, fault tolerance, data locality, resistance to data errors, adaptability, evolution. The proposed principles are the basis for the development of models and methods of intelligent processing and analysis of big data: the method of recovering missing data, which creates additional data values based on functional dependencies and association rules and adds these values to existing training data; the method of decision-making in the operation of the system on the basis of fuzzy logic, which provides autonomous operation of the process of processing and analysis of large data without any user intervention; a method of learning deep neural networks based on the combination of genetic algorithm and neural network to find the optimal parameters of the neural network; method of parallel learning of deep neural networks based on the division of the training sample into sub-samples and parallel training of each sub-sample on a separate copy of the neural network model. For information support of the offered models and methods the information technology of intellectual processing and the analysis of big data is developed. The proposed technology is implemented within the intelligent system of big data processing and analysis. Research on the results of the application of the developed system is proposed to be conducted on the basis of forecasting the results of football matches.
Keywords: information technology, intelligent system, big data processing and analysis, deep neural network, fuzzy logic, genetic algorithm, parallel learning, forecasting.

References

1. Chen X.-W. Big Data Deep Learning / X.-W. Chen, X. Lin // IEEE Access. – 2014. – Vol. 2. – P. 514-525.
2. Lynch C. Big data: science in the petabyte era / C. Lynch // Nature. – 2008. – Vol. 455. – P. 1-50.
3. Jean-Pierre D. Big Data for the Enterprise / D. Jean-Pierre // Oracle. http://Big Datawithoracle-521307.pdf [Access 18.08.2020].
4. Великі дані (Big Data). https://rb.ru/howto/chto-takoe-big-data [Access 18.08.2020].
5. The National Security Agency: Missions, Authorities, Oversight and Partnerships. http://www.nsa.gov [Access 18.08.2020].
6. Big Data: The Next Frontier for Innovation, Competition, and Productivity. McKinsey Global Institute. http://www.mckinsey.com/insights/business_technology/big_data_the_next_frontier_for_innovation [Access 18.08.2020].
7. Lin J. Large-scale machine learning at twitter / J. Lin, A. Kolcz // Proc. ACM SIGMOD Scottsdale Arizona USA. – 2012. – P. 793-804.
8. Smola A. An architecture for parallel topic models / A. Smola, S. Narayanamurthy // Proc. VLDB Endowment. – 2010. – Vol. 3, No. 1, pp. 703–710.
9. Ng A. et al. Map-reduce for machine learning on multicore // Proc. Adv. Neural Inf. Procees. Syst. – 2006. – Vol. 19, pp. 281–288.
10. Panda B. MapReduce and its application to massively parallel learning of decision tree ensembles / B. Panda, J. Herbach, S. Basu, and R. Bayardo // In Scaling Up Machine Learning: Parallel and Distributed Approaches. Cambridge, U.K.: Cambridge Univ. Press, 2012.
11. Crego E. Big data and deep learning: Big deals or big delusions / E. Crego, G. Munoz, and F. Islam.? Business. http://www.huf_ngtonpost.com/george-munoz-frank-islamand-ed-crego/big-data-and-deep-learnin_b_3325352.html [Access 19.08.2020].
12. Bengio Y. Modeling high-dimensional discrete data with multi-layer neural networks / Y. Bengio, S. Bengio // In Proc. Adv. Neural Inf. Process. Syst. – 2000. – Vol. 12., pp. 400–406.
13. Marc’Aurelio Ranzato Y. Sparse feature learning for deep belief networks / Y. Marc’Aurelio Ranzato, L. Boureau, Y. LeCun // In Proc. Adv. Neural Inf. Process. Syst. – 2007. – Vol. 20., pp. 1185–1192.
14. Hinton G.E. A fast learning algorithm for deep belief nets / G. E. Hinton, E.S. Osindero, Y. Teh // Neural Computation. – 2006. – Vo1. 18. – pp. 1527–1554.
15. Hinton G. Reducing the dimensionality of data with neural networks / G. Hinton, R. Salakhutdinov // Science. – 2006. – Vo1. 313 (5786). – pp. 504–507.
16. Hinton G.E. A practical guide to training restricted Boltzmann machines / G.E. Hinton // Machine Learning Group, University of Toronto. – 2010 (Tech. Rep. 2010-000).
17. LeCun Y. Deep learning / Y. LeCun, Y. Bengio, G. Hinton // Nature. – 2015. – Vol. 521 (7553). – pp. 436–444.
18. Football-Data. http://www.football-data.co.uk [Access 20.08.2020].