Аннотация. 

Исследование посвящено обзору методов количественной валидации на предмет их применимости к этапам разработки цифровых моделей сложных социально-экономических и социотехнических систем. Проведение валидационных и верификационных проверок позволяет повысить адекватность, точность и устойчивость разрабатываемых моделей с учетом их специфических особенностей, в частности, сложной динамической структуры, мультиагентности, неопределенности и изменчивости. Были выделены этапы валидации модели, модельных данных и этап итоговой оценки качества моделирования, чтобы обозначить рамки исследования и отразить специфику процесса валидации и его отличие от итоговой оценки качества модели в контексте принятия управленческих решений. В результатах исследования приведено соответствие применения выделенных инструментов оценки моделей к этапам валидации цифровых математических моделей по основным характеристикам, оцениваемым при валидации, а именно: корреляция, изменчивость, информация, форма и задержка.

Ключевые слова: 

поддержка принятия решений, валидация и верификация, сложные системы, точность результатов моделирования.

DOI 10.14357/20718632250209

EDN EHVGDG

Стр. 100-112.

Литература

1. Lambiotte, R. From networks to optimal higher-order models of complex systems // Nature physics. 2019.№ 15. С. 313–320. DOI. 10.1038/s41567-019-0459-y.

2. Bagdasaryan A. System approach to synthesis, modeling and control of complex dynamical systems // arXiv preprint arXiv:0902.3541. 2009. DOI. 10.48550/arXiv.0902.3541

3. Schwaninger, M. System dynamics modeling: validation for quality assurance // System dynamics: Theory and applications. 2020. С. 119-138. DOI. 10.1007/978-3-642-27737-5_540-3.

4. Гинцяк А. М. и др. Цифровое моделирование социотехнических и социально-экономических систем: монография; Санкт-Петербургский политехнический университет Петра Великого, Передовая инженерная школа «Цифровой инжиниринг», Лаборатория «Цифровое моделирование индустриальных систем». – Санкт-Петербург: ПОЛИТЕХ-ПРЕСС, 2023. – DOI.10.18720/SPBPU/2/i23-253.

5. Сальников А. В. И др. Верификация и валидация компьютерных моделей // Известия вузов. Машиностроение. 2022. № 9. (750). С. 100-115. DOI. 10.18698/0536-1044-2022-9-100-115. 

6. Sargent R. G. Verification and validation of simulation models // Proceedings of the 2010 winter simulation conference. IEEE, 2010. С. 166-183. DOI. 10.1109/WSC.2010.5679166.

7. Law A. M. How to build valid and credible simulation models // 2022 Winter Simulation Conference (WSC). IEEE, 2022. С. 1283-1295.

8. Sansana J. et al. Recent trends on hybrid modeling for Industry 4.0 // Computers & Chemical Engineering. 2021. Т. 151. С. 107365. DOI. 10.1016/j.compchemeng.2021.107365.

9. Болсуновская М. В. и др. Возможности применения гибридного подхода в моделировании социально-экономических и социотехнических систем // Вестник ВГУ. Серия: Системный анализ и информационные технологии. 2022. №3. С. 73-86. DOI. 10.17308/sait/1995-5499/2022/3/73-86.

10. Brailsford S. C. et al. Hybrid simulation modelling in operational research: A state-of-the-art review // European Journal of Operational Research. 2019. Т. 278. №. 3. С. 721-737. DOI.10.1016/j.ejor.2018.10.025.

11. Balci O. Verification, validation and accreditation // Proceedings of the 29th conference on Winter simulation. 1997. С. 135-141. DOI.10.1109/WSC.1998.744897. 

12. Botchkarev A. A new typology design of performance metrics to measure errors in machine learning regression algorithms //Interdisciplinary Journal of Information, Knowledge, and Management. 2019. Т. 14. С. 045-076. DOI.10.28945/4184.

13. Asmelash M. et al. Simulation modeling of a manufacturing process using Tecnomatix plant simulation software // Journal of Modern Manufacturing Systems and Technology. 2021. Т. 5. №. 1. С. 56-62. DOI. 10.15282/jmmst.v5i1.6083.

14. Beloglazov I., Krylov K. An interval-simplex approach to determine technological parameters from experimental data //Mathematics. 2022. Т. 10. №. 16. С. 2959.

15. Singh M. и др. Digital twin: Origin to future // Applied System Innovation. 2021. Т. 4. №. 2. С. 36. DOI.10.3390/asi4020036. 

16. Ильин В.А., Кирюшов Н.П. Метод проверки тренажерных моделей на адекватность // Программные продукты и системы. 2021. Т. 34, № 1. С. 061-066.

17. Hora J., Campos P. A review of performance criteria to validate simulation models // Expert Systems. 2015. Т. 32. №. 5. C. 578-595. DOI.10.1111/exsy.12111.

18. Zheleznyakova A. L. Verification and validation technologies for gas dynamic simulations // Fiz.-Khim. Kinet. Gaz. Din. 2018. Т. 19. №. 2. С. 1-62. DOI.10.33257/PhChGD.19.2.687.

19. Nikolić B., Popović T. Hypothesis testing and statistical test selection: Fundamentals of statistics in clinical studies-part II //Medicinski pregled. 2024. Т. 77. №. 1-2. С. 49-54.

20. do Amaral J. V. S. et al. Metamodeling-based simulation optimization in manufacturing problems: a comparative study //The International Journal of Advanced Manufacturing Technology. 2022. Т. 120. №. 7. С. 5205-5224.

21. Asadi R., Zamaniannejatzadeh M., Eilbeigy M. Assessing the impact of human activities and climate change effects on groundwater quantity and quality: a case study of the Western Varamin Plain, Iran //Water. 2023. Т. 15. №. 18. С. 3196.

22. Velichko A. et al. Neural Network Entropy (NNetEn): Entropy-Based EEG Signal and Chaotic Time Series Classification, Python Package for NNetEn Calculation //Algorithms. 2023.Т. 16(5) С. 255.

23. Горбунов Д. В., Гавриленко Т. В. Математическое моделирование динамических процессов организма человека на основе дифференциальных уравнений с разрывной правой частью // Успехи кибернетики. 2023. Т. 4. №. 1. С. 15-20. DOI.10.51790/2712-9942-2023-4-1-02.

24. Арьков В. Ю., Шарипова А. М., Куликов Г. Г. Оценивание неопределенности в машинном обучении // Вестник Южно-Уральского государственного университета. Серия: Компьютерные технологии, управление, радиоэлектроника. 2023. Т. 23. №. 3. С. 48-58. DOI. 10.14529/ctcr230305.

25. Запечников С. В. Модели и алгоритмы конфиденциального машинного обучения Безопасность информационных технологий. 2020. Т. 27. №. 1. С.51-67. 

26. McCoy L. G. et al. Believing in black boxes: machine learning for healthcare does not need explainability to be evidencebased // Journal of clinical epidemiology. 2022. Т. 142. С. 252-257. DOI.10.1016/j.jclinepi.2021.11.001.

27. Гусев А. В. и др. Машинное обучение на лабораторных данных для прогнозирования заболеваний // Фармакоэкономика. Современная фармакоэкономика и фармакоэпидемиология. – 2021. Т. 14, №. 4. С. 581-592. DOI. https://doi.org/10.17749/2070-4909/farmakoekonomika.2021.115.

28. Исаев Д. В. Стратегия поиска эффективного алгоритма машинного обучения на примере кредитного скоринга // Проблемы экономики и юридической практики. 2020. №. 6. С. 132-138.

29. Гуртова К. С. Метод защиты информации цифровых документов с помощью невидимых цифровых меток и его реализация // Современные информационные технологии и ИТ-образование. 2022. Т. 18. №. 1. С. 152-166. DOI. 10.25559/SITITO.18.202201.152-166.

30. Maulud D., Abdulazeez A. M. A review on linear regression comprehensive in machine learning // Journal of Applied Science and Technology Trends. 2020. Т. 1. №. 4. С. 140-147. DOI.10.38094/jastt1457.

31. Bisaso K. R. et al. A comparative study of logistic regression based machine learning techniques for prediction of early virological suppression in antiretroviral initiating HIV patients // BMC medical informatics and decision making. 2018. Т. 18. С. 1-10. DOI.10.1186/s12911-018-0659-x.

32. Лебедев И. С. Адаптивное применение моделей машинного обучения на отдельных сегментах выборки в задачах регрессии и классификации // Информационноуправляющие системы. 2022. №. 3 (118). С. 20-30. DOI.10.31799/1684-8853-2022-3-20-30.

33. Botchkarev A. A new typology design of performance metrics to measure errors in machine learning regression algorithms //Interdisciplinary Journal of Information, Knowledge, and Management. 2019. Т. 14. С. 045-076. DOI.10.28945/4184. 

34. Hodson T. O. Root-mean-square error (RMSE) or mean absolute error (MAE): When to use them or not // Geoscientific Model Development. 2022. Т. 15. №. 14. С. 5481-5487. DOI. 10.5194/gmd-7-1247-2014. 

35. Handoyo S. et al. The varying threshold values of logistic regression and linear discriminant for classifying fraudulent firm // Mathematics and Statistics. 2021. Т. 9. №. 2. С. 135-143.

36. Grandini M., Bagli E., Visani G. Metrics for multi-class classification: an overview // arXiv preprint arXiv:2008.05756. 2020. DOI. 10.48550/arXiv.2008.05756.

37. Kipkogei F. et al. Business success prediction in Rwanda: a comparison of tree-based models and logistic regression classifiers // SN Business & Economics. 2021. Т. 1. С. 1-19.

38. Borovkov A., Bolsunovskaya M., Gintciak A., Rakova V., Efremova M., Akbarov R. COVID-19 Spread Modeling Considering Vaccination and Re-Morbidity // International Journal of Technology. 2022. № 13 (7). С. 1463–1472. DOI: 10.14716/ijtech.v13i7.6186.

39. Бекетов С.М., Федяевская Д.Э., Бурлуцкая Ж.В., Гинцяк А.М. Архитектура интеллектуальной системы поддержки принятия решений для нефтедобывающих предприятий // Автоматизация и информатизация ТЭК. 2024. № 11 (616). С. 16-26. DOI: 10.33285/2782-604X-2024-11(616)-16-26