Прогнозування часових рядів розширеною згортковою нейронною мережею

ПРОГНОЗУВАННЯ ЧАСОВИХ РЯДІВ РОЗШИРЕНОЮ ЗГОРТКОВОЮ НЕЙРОННОЮ МЕРЕЖЕЮ

TIME SERIES PREDICTION WITH DILATED CONVOLUTIONAL NEURAL NETWORK

Сторінки: 155-160. Номер: №6, 2019 (279)
Автори:
А.С. КАШТАЛЬЯН, О.В. КАШТАЛЬЯН
Хмельницький національний університет
A. KASHTALIAN, O. KASHTALIAN
Khmelnytskyi National University
DOI: https://www.doi.org/10.31891/2307-5732-2019-279-6-155-160
Рецензія/Peer review : 18.12.2019 р.
Надрукована/Printed : 04.01.2020 р.

Анотація мовою оригіналу

В статті запропоновано метод прогнозування часових рядів адаптованою розширеною згортковою нейронною мережею за архітектурою, подібною до WaveNet. Використання розширених каузальних згорткових шарів дозволяє збільшити рецептивне поле та врахувати довгострокові залежності в часових рядах. Нейромережева модель є повністю ймовірнісною та авторегресивною, генерує наступне значення часового ряду на основі попередніх, а також на основі додаткової інформації. В нейромережевій архітектурі використовується моделювання спільного розподілу точок як добутку умовних розподілів. Такого типу архітектури здатні моделювати розподіли великої кількості випадкових величин, в тому числі часові ряди. Основною складовою згорткової мережі для прогнозування часових рядів є каузальна згортка. Порядок обчислення згортки передбачає залежність поточного значення часового ряду тільки від попередніх значень, що для 1-D згортки забезпечується зсувом виходу звичайної згортки на відповідну кількість тактів вперед. Таким чином виходи для всіх тактів в процесі навчання розраховуються паралельно. Процес генерації значень часового ряду є послідовним, для кожного такту прогнозується наступне значення, яке використовується для подальшого прогнозування. Для збільшення величини рецептивного поля використовується розширена згортка. Розширена згортка представляє собою згортку, в якій фільтр застосовується до площі, більшої за величину фільтра за рахунок пропуску частини вхідних значень з визначеним кроком. В запропонованій мережі рецептивне поле експоненційно зростає зі збільшенням кількості шарів. Оцінка точності розглянутої нейромережевої моделі проводилася в застосуванні до нелінійних часових рядів, а саме до цін на акції. Були проаналізовані дані трьох компаній, отримані з відкритих джерел, з яких були сформовані навчальна та тестова вибірки. В якості метрик було використано середньоквадратичну похибку та середню абсолютну похибку у відсотках. Розширена каузальна згорткова модель показує кращі точнісні результати і в порівнянні з авторегресивною моделлю, і з рекурентною LSTM моделлю. Нейромережева модель зі згортковими шарами не має рекурентних зв’язків, тому забезпечує вищу швидкість навчання у порівнянні з рекурентними моделями.
Ключові слова: часовий ряд, розширена каузальна згортка, розподіл ймовірностей.

Розширена анотація англійською мовою

The method of time series forecasting with the adapted dilated causal convolutional neural network model is proposed in the article. The model architecture is similar to WaveNet. The use of dilated causal convolutional layers allows to increase receptive field and to consider long-term dependencies in time series. The neural network model is full probabilistic and autoregressive, it generates the next time series value on the basis of previous ones and also on the basis of additional information. The modelling join distribution of points as a multiplication of conditional distributions is used. The such types of architectures is able to model distributions of a big number of random values, including time series. The main part of convolutional neural network for time series forecasting is causal convolution. The order of computation supposes the dependence of current value only from previous values. It provides by shifting output of usual convolution on certain number of time steps forward for 1-D convolution. Thus outputs for all time steps are computed in parallel in training process. The generation process is sequential, the next value is predicted for every time step, and this value is used for further prediction. A dilated convolution is used for increasing receptive field. Dilated convolution is convolution with a filter applied to area bigger than filter size for the account of skipping a part of input values with certain step. A receptive field increases exponentially with increasing layers number in considered network. The estimation of considered neural network model was carried out due to nonlinear time series, in particular to stock prices. The data of three companies was analysed. The data were obtained from open sources and create training and testing samples. Root mean squared error and mean absolute percentage error were used as metrics. The dilated causal convolutional model shows a better accuracy results in comparison both with autoregressive model and recurrent LSTM model. The neural network with convolutional layers does not have recurrent connections, so it provides higher training speed relatively to recurrent models.
Key words: time series, dilated causal convolution, probability distribution.

References

1. Dev Shah, Haruna Isah, Farhana Zulkernine. Stock Market Analysis: A Review and Taxonomy of Prediction Techniques. International Journal of Financial Studies, 2019, 7, 26, P. 1–21.
2. Boussaada Z., Curea O., Remaci A., Camblong H., Bellaaj N.M. A nonlinear autoregressive exogenous (NARX) Neural Network Model for the Prediction of the Daily Direct Solar Radiation. Energies, 2018, Issue 11, P. 620–641.
3. Kashtalian A. The features of feedforward neural network use for time series forecasting. Herald of Khmelnytskyi National University: Technical Science. Khmelnitsky: KhNU, 2016, Issue 6(243), P. 210–215.
4. Wang J., Wang J., Fang W., Niu H. Financial Time Series Prediction Using Elman Recurrent Random Neural Networks. Computational Intelligence and Neuroscience, 2016, Issue 12, P. 1–14.
5. Petnehazi G. Recurrent Neural Networks for Time Series Forecasting. arXiv:1901.00069v1 [cs.LG] 1 Jan 2019. URL: https://arxiv.org/pdf/1901.00069.pdf. Accessed 10 Sep 2019.
6. Borovykh A., Bohte S., Oosterlee C.W. Conditional time series forecasting with convolutional neural networks. arXiv:1703.04691v5 [stat.ML] 17 Sep 2018. URL: https://arxiv.org/pdf/1703.04691.pdf. Accessed 10 Sep 2019.
7. Van den Oord A., Dieleman S., Zen H., Simonyan K., Vinyals O., Graves A., Kalchbrenner N., Senior A., Kavukcuoglu K. WaveNet: A Generative Model for Raw Audio. arXiv:1609.03499v2 [cs.SD] 19 Sep 2016. URL: https://arxiv.org/pdf/1609.03499.pdf. Accessed 10 Sep 2019.
8. Aaron van den Oord, Kalchbrenner N., Kavukcuoglu K. Pixel recurrent neural networks. arXiv:1601.06759v3 [cs.CV] 19 Aug 2016. URL: https://arxiv.org/pdf/1601.06759.pdf. Accessed 19 Sep 2019.
9. Van den Oord A., Kalchbrener N., Vinyals O., Espeholt L., Graves A., Kavukcuoglu K. Conditional Image Generation with PixelCNN Decoders. arXiv:1606.05328v2 [cs.CV] 18 Jun 2016. URL: https://arxiv.org/pdf/1606.05328.pdf. Accessed 19 Sep 2019.
10. Arik S. O., Chrzanowski M., Coates A., Diamos G., Gibiansky A., Kang Y., Li X., Miller J., Ng A., Raiman J., Sengupta S., Shoeybi M. Deep Voice: Real-time Neural Text-to-Speech. arXiv:1702.07825v2 [cs.CL] 7 Mar 2017. URL: https://arxiv.org/pdf/1702.07825.pdf. Accessed 19 Sep 2019.
11. Fisher T., Krauss C. Deep Learning with Long Short-Term Memory networks for financial market predictions. FAU Discussion papers in Economics, 2017, Issue 11, P. 961–970.