Розроблення архітектури системи оптичного розпізнавання символів з фотографій документів

РОЗРОБЛЕННЯ АРХІТЕКТУРИ СИСТЕМИ ОПТИЧНОГО РОЗПІЗНАВАННЯ СИМВОЛІВ З ФОТОГРАФІЙ ДОКУМЕНТІВ

DEVELOPMENT OF THE ARCHITECTURE OF DOCUMENT OPTICAL CHARACTER RECOGNITION SYSTEM

Сторінки: 50–54. Номер: №3, 2022 (309) 
Автори:
ШАХОВСЬКА Н. Б.
Національний університет «Львівська політехніка»
https://orcid.org/0000-0002-6875-8534
e-mail: Nataliya.b.shakhovska@lpnu.ua
ШЕБЕКО А.
Національний університет «Львівська політехніка»
https://orcid.org/0000-0002-0212-8855
e-mail: andrii.shebeko.knm.2018@lpnu.ua
Nataliya SHAKHOVSKA, Andrii SHEBEKO
Lviv Polytechnic National University
DOI: https://www.doi.org/10.31891/2307-5732-2022-309-3-50-54

Анотація мовою оригіналу

Робота спрямована на створення інформаційної системи оптичного розпізнавання символів з фотографій документів. Складність опрацювання зображень, які являють собою набір пікселів, викликають у комп’ютерів незручності у роботі з такими даними. Для розв’язання цієї задачі можна використати такі підходи: математичні алгоритми, одна складна нейронна мережа або набір з кількох простих нейронних мереж. Звичайні математичні алгоритми складно оптимізувати до необхідної точності при використанні неструктурованого набору даних, яким являються зображення. Одна складна нейронна мережа є як швейцарський ніж, який може усе, але недостатньо якісно. Саме тому ми будемо використовувати 2 типи нейронних мереж з різними архітектурами, кожна з яких спрямована на розв’язання конкретної підзадачі. Ключовими елементами такої технології є: модуль пошуку тексту, модуль розпізнавання символів української та англійської мови, модуль пошуку ключових слів, модуль пошуку необхідних даних.
Ключові слова: оптичне розпізнавання символів, рекурентні нейроні мережі, аналіз зображення.

Розширена анотація англійською  мовою

This paper aims to develop information technology for document optical character recognition systems. The difficulty of processing images, which are a set of pixels, causes inconvenience in working with such data. This problem can be solved in different ways: usual mathematical approaches, a single complicated neural network, and a set of problem-specific deep neural networks. Usual mathematical approaches perform poor with unstructured data like images. A single neural network is like a swiss knife: it can do many tasks, but none with the best quality. So we will use two different deep neural networks, each for the appropriate part of the problem.
The critical elements of this technology are the module for text detection and segmentation of the image, the module for text recognition in Ukrainian and English languages, the module for parsing multiple keywords, and the module for searching for the final data. The first and second modules consist of several machine learning models with specific architecture, depending on their task. All trained models are tested for accuracy and noise resistance and will be used in the future for searching required data from different document images. Output data of the developed system provide speedup, automation processing images and scans of the documents, reduce the number of mistakes caused by human factor. All data is converted from image pixels into a structured text set represented in the document, which the machine can easily use.
We can use such technology in banking and insurance, where we can send images of documents and they will be automatically processed and converted into user name, surname, date of birth, serial number, and required fields for specific services.
Keywords: optical character recognition, recurrent neural networks, image analysis.

References

1. Fang, Xuwei, Xiaowei Fu, і Xin Xu. 2017. «ID card identification system based on image recognition». С. 1488–92 в 2017 12th IEEE Conference on Industrial Electronics and Applications (ICIEA).
2. Nguyen, Tạn, і Trong Khanh Nguyen. 2019. «A Method for Segmentation of Vietnamese Identification Card Text Fields». International Journal of Advanced Computer Science and Applications 10:415–21.
3. Zuo, Lin, Wenyu Chen, Hong Qu, Li Huang, Zheng Wang, і Yong Chen. 2019. «An Intelligent Knowledge Extraction Framework for Recognizing Identification Information From Real-World ID Card Images». IEEE Access 7:165448–57. doi: 10.1109/ACCESS.2019.2929816.
4. Dat, T. T., L. T. A. Dang, N. N. Truong, P. C. L. T. Vu, V. N. T. Sang, P. T. Vuong, і P. T. Bao. 2021. «An Improved Crnn for Vietnamese Identity Card Information Recognition». Computer Systems Science and Engineering 40(2):539–55. doi: 10.32604/CSSE.2022.019064.
5. Baek, Youngmin, Bado Lee, Dongyoon Han, Sangdoo Yun, і Hwalsuk Lee. 2019. «Character Region Awareness for Text Detection». Р. 9357–66 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach, CA, USA: IEEE.
6. Shi, Baoguang, Xiang Bai, і Cong Yao. 2015. «An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition». arXiv:1507.05717 [cs].
7. Prasad, Devashish, Ayan Gadpal, Kshitij Kapadni, Manish Visave, і Kavita Sultanpure. 2020. «CascadeTabNet: An Approach for End to End Table Detection and Structure Recognition from Image-Based Documents». С. 2439–47 в 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). Seattle, WA, USA: IEEE.
8. Navarro, Gonzalo. 2001. «A guided tour to approximate string matching». ACM Computing Surveys 33(1):31–88. doi: 10.1145/375360.375365.
9. Huang, Q., Z. Cai, і T. Lan. 2021. «A Single Neural Network for Mixed Style License Plate Detection and Recognition». IEEE Access 9:21777–85. doi: 10.1109/ACCESS.2021.3055243.
10. Adobe Communications. «Adobe Research and UC Berkeley: Detecting Facial Manipulations in Adobe Photoshop». 2022 (https://business.adobe.com/blog/the-latest/adobe-research-and-uc-berkeley-detecting-facial-manipulations-in-adobe-photoshop).
11. Lin, G. S., J. C. Tu, і J. Y. Lin. 2021. «Keyword Detection Based on Retinanet and Transfer Learning for Personal Information Protection in Document Images». Applied Sciences (Switzerland) 11(20). doi: 10.3390/app11209528.