 |
А. М. Соколов, А. А. Ларионов, В. М. Вишневский, А. А. Мухтаров "Архитектура распределенной системы для потоковых вычислений с контейнеризацией и приоритизацией задач " |
 |
|
Аннотация.
В статье представлена распределенная система для организации потоковых вычислений. Система включает в себя сервер для управления данными, управляющий сервис (супервизор), набор узлов-рабочих, на которых производится выполнение задач, и базу данных. Для абстрагирования от конкретных языков программирования и инструментов, используемых при вычислениях, реализации алгоритмов (задачи) упаковываются и выполняются в контейнерах Docker. Для эффективной работы при высокой нагрузке система поддерживает несколько стратегий приоритизации задач. Для работы с системой пользователю достаточно построить образ docker-контейнера, описать набор входных данных в JSON-файле и загрузить их через веб-интерфейс. Система может быть развернута в любом общедоступном облаке. В статье подробно описана архитектура системы и приведены численные результаты, полученные при вычислениях на различных облачных и локальных платформах. В работе изучено влияние различных стратегий приоритизации на длительность вычислений при умеренной нагрузке.
Ключевые слова:
потоковые вычисления, контейнеризация, тонкая виртуализация, облачные вычисления. Стр. 5-18.
DOI 10.14357/20718632230401
EDN HSOYNI Литература
1. Vishnevsky V. и др. Performance evaluation of the priority multi-server system mmap/ph/m/n using machine learning methods // Mathematics. 2021. Т. 9. № 24. 2. Arora R., Redondo C., Joshua G. Scalable software infrastructure for integrating supercomputing with volunteer computing and cloud computing // Communications in Computer and Information Science. 2019. С. 105–119. 3. Nouman Durrani M., Shamsi J. A. Volunteer computing: Requirements, challenges, and solutions // J. Netw. Comput. Appl. 2014. Т. 39. № 1. С. 369–380. 4. Mengistu T. M., Che D. Survey and taxonomy of volunteer computing // ACM Comput. Surv. 2019. Т. 52. № 3. 5. Anderson D. P. BOINC: A Platform for Volunteer Computing // J. Grid Comput. 2020. Т. 18. № 1. С. 99–122. 6. Nikitina N. и др. Volunteer Computing Project SiDock@home for Virtual Drug Screening Against SARSCoV-2 // IFIP Advances in Information and Communication Technology. , 2021. С. 23–34. 7. Barranco J. и др. LHC@Home: A BOINC-based volunteer computing infrastructure for physics studies at CERN // Open Eng. 2017. Т. 7. № 1. С. 379–393. 8. Brundo R., Nicola R. De. Blockchain-based decentralized cloud/fog solutions: Challenges, opportunities, and standards // IEEE Commun. Stand. Mag. 2018. Т. 2. № 3. С. 22–28. 9. Antelmi A. и др. A Volunteer Computing Architecture for Computational Workflows on Decentralized Web // IEEE Access. 2022. Т. 10. С. 98993–99010. 10. Agliamzanov R., Sit M., Demir I. Hydrology@Home: A distributed volunteer computing framework for hydrological research and applications // J. Hydroinformatics. 2020. Т. 22. № 2. С. 235–248. 11. Sukhoroslov O., Putilina E. Cloud Services for Automation of Scientific and Engineering Computations Science // Business. Soc. 2018. Т. 1. № 2. С. 6–9. 12. Abramson D., Giddy J., Kotler L. High performance parametric modeling with Nimrod/G: Killer application for the global grid? // Proceedings of the International Parallel Processing Symposium, IPPS. , 2000. С. 520–528. 13. Korenkov V. и др. The JINR distributed computing environment // EPJ Web of Conferences. , 2019. С. 03009. 14. Lamanna M. The LHC computing grid project at CERN // Nucl. Instruments Methods Phys. Res. Sect. A Accel. Spectrometers, Detect. Assoc. Equip. 2004. Т. 534. № 1–2. С. 1–6.
|
