ЕКСПЕРИМЕНТИ ТА ВИКОРИСТАНІ ОЦІНОЧНІ МЕТРИКИ ДОСЛІДЖЕНЬ, ЯКІ ПРОВОДИЛИСЬ ПРИ РОЗРОБЦІ МОВНО-НЕЗАЛЕЖНОГО ІНКРЕМЕНТНОГО ДЕТЕКТОРА
EXPERIMENTS AND USED EVALUATION METRICS USED IN THE DEVELOPMENT OF A LANGUAGE-INDEPENDENT INCREASE DETECTOR
Сторінки: 44–49. Номер: №3, 2022 (309) 
Автори:
ПРАВОРСЬКА Н. І.
Хмельницький національний університет
https://orcid.org/0000-0001-6001-3311
e-mail: margana2000007@gmail.com
ГРИПИНСЬКА Н. В.
Хмельницький національний університет
https://orcid.org/0000-003-0103-976Х
e-mail: nvhrypynskaN@khmnu.edu.ua
Natalya PRAVORSKA, Nadiia HRYPYNSKA
Khmelnytskyi National University
DOI: https://www.doi.org/10.31891/2307-5732-2022-309-3-44-49
Анотація мовою оригіналу
При розробці мовно-незалежного інкрементного детектора (МНІДП) важливу роль відіграють проведені експерименти та оціночні метрики, які дадуть змогу проаналізувати результати розробки та придатність розробленого алгоритму та пристрою. Експерименти дадуть також змогу відповісти на питання оцінювання продуктивності розробленого детектору та порівняти його з підходом комерційного рівня SIG з виявлення клонів, для вивчення переваг, які може запропонувати інкрементний підхід. Щоб отримати представлення про продуктивність МНІДП, запропоновано запускати його для п’яти програмних систем (з відкритими кодами), проводячи вимірювання вимог до часу та пам’яті. Також для відповіді на питання розширення та вдосконалення початкового підходу, шляхом використання локально-чутливого хешування (ЛЧХ), виникає необхідність в вимірюванні продуктивності запропонованого розширення на базі ЛЧХ та порівнянні його з продуктивністю МНІДП.
Ключові слова: мовно незалежний детектор, інкрементний підхід, локально-чутливе хешування, експеримент, оціночні метрики
Розширена анотація англійською мовою
Experiments and evaluation metrics play an important role in the development of a language-independent incremental detector (MRIP), which will allow to analyze the results of the development and the suitability of the developed algorithm and device. The experiments will also provide an answer to the question of evaluating the performance of the developed detector and comparing it with the commercial SIG approach to clone detection, to explore the benefits that the incremental approach can offer. To get an idea of the performance of MNIDP, it is proposed to run it for five software systems (open source), measuring the requirements for time and memory. Also, to answer the question of expanding and improving the initial approach, by using locally sensitive hashing (LCH), there is a need to measure the performance of the proposed expansion on the basis of LCH and compare it with the performance of MNIP. The experiments conducted in the study provided some useful information based on the evaluation of the effectiveness of the proposed expansion on the basis of LCH. More specifically, in some cases, compared to the implementation of MNIDP, the stage of creating an index in the approach based on LCH was two, and in some cases three times slower. A possible reason for this may be the complexity of the MinHash operation, which is a significant part of the overall LCH scheme. This becomes obvious when you consider that the hashing of each tile for each set of tiles during MinHashing must be performed by k-based hash functions. It was assumed that the process of incremental implementation step on the basis of MNIDP will be much slower, due to the calculation of index records on the fly. However, in the course of the study, opposite results were obtained. In practice, this was justified by the fact that the similarity threshold used did not cause a large number of matches between the source files. To gain a better understanding of its behavior, there is a need for further research into the relationship of runtime required for the incremental implementation step flow based on the LCH and the similarity threshold.
Keywords: language independent detector, incremental approach, locally sensitive hashing, experiment, estimation metrics
Література
- Stefan Bellon, Rainer Koschke, Giulio Antoniol, Jens Krinke, and Ettore Merlo. Comparison and evaluation of clone detection tools. IEEE Transactions on software engineering, 33(9):577–591, 2007.
- Benjamin Hummel, Elmar Juergens, Lars Heinemann, and Michael Conradt. Indexbased code clone detection: incrementtal, distributed, scalable. In 2010 IEEE International Conference on Software Maintenance, pages 1–9. IEEE, 2010.
- Праворська Н.І, Бармак О.В., Медзатий Д.М., Шестакевич Т.В. Процес виявлення блоків з повторами і надлишковістю при використанні мовно-незалежного інкрементного детектору. Вісник Хмельницького національного університету, серія Технічні науки, № 3, 2021, С. 39–45.
- Праворська Н.І., Бедратюк Л.П., Форкун Ю.В. Яшина О.М. Мовнонезалежний детектор для виявлення і усунення повторів та надлишковостей програмного коду. Вимірювальна та обчислювальна техніка в технологічних процесах. Хмельницький, 2021. № 1, С. 56–61.
References
- Stefan Bellon, Rainer Koschke, Giulio Antoniol, Jens Krinke, and Ettore Merlo. Comparison and evaluation of clone detection tools. IEEE Transactions on software engineering, 33(9):577–591, 2007.
- Benjamin Hummel, Elmar Juergens, Lars Heinemann, and Michael Conradt. Indexbased code clone detection: incrementtal, distributed, scalable. In 2010 IEEE International Conference on Software Maintenance, pages 1–9. IEEE, 2010.
- Pravorska N.I, Barmak O.V., Medzatyi D.M., Shestakevych T.V. Protses vyiavlennia blokiv z povtoramy i nadlyshkovistiu pry vykorystanni movno-nezalezhnoho inkrementnoho detektoru. Herald of Khmelnytskyi National University, seriia Tekhnichni nauky, № 3, 2021, s. 39-45.
- Pravorska N.I., Bedratiuk L.P., Forkun Yu.V. Yashyna O.M. Movnonezalezhnyi detektor dlia vyiavlennia i usunennia povtoriv ta nadlyshkovostei prohramnoho kodu. Vymiriuvalna ta obchysliuvalna tekhnika v tekhnolohichnykh protsesakh. Khmelnytskyi, 2021. № 1, s. 56-61.
