Аннотация.

В статье рассматривается задача разработки программного комплекса для обработки радарных снимков с поддержкой графических интерфейсов конфигурирования и запуска алгоритмов основных этапов процессинга интерферометрических данных методом Persistent Scatterer в интеграции с MPP-системой (massive parallel processing) для высокопроизводительного мониторинга смещений земной поверхности на участках аэрокосмической съемки. Даны основные схемы маршрутизации потоков данных исполнения заданий. Представлена программная реализация в виде веб-портала на базе компонентов ReactJS+Redux, включая автоматизированную загрузку и обновление базы данных радарных снимков Sentinel-1A посредством технологии RESTful API. Проведены тесты производительности программного комплекса, отмечено низкое время исполнения расчетных заданий на основе массово-параллельной обработки на программной платформе Apache Spark.

Ключевые слова:

мониторинг смещений земной поверхности, радарная интерферометрия, системы с массово-параллельным исполнением заданий, высокопроизводительная обработка радарных спутниковых снимков.

Стр. 44-59.

Полная версия статьи в формате pdf. 

Литература

1. Бондур В.Г., Савин А.И. Концепция создания систем мониторинга окружающей среды в экологических и природно-ресурсных целях // Исследование Земли из космоса. 1992. № 6. С. 70-78.
2. Кантемиров Ю.И. Космический радарный мониторинг смещений и деформаций земной поверхности и сооружений // Вестник СибГАУ. 2013. № 5(51). C. 52-54.
3. Sbas Tutorial // Sarmap tutorials. URL: http://sarmap.ch/tutorials/sbas_tutorial_V_2_0.pdf (дата обращения:12.02.2018)
4. Sousaa J. J., Hooperc J.A., Hanssenc R.F., Bastosd L.C., Ruize A.M. Persistent Scatterer InSAR: A comparison of methodologies based on a model of temporal deformation vs. spatial correlation selection criteria. // Remote Sensing of Environment. 2011. Vol. 115. № 10. P. 2652-2663
5. Опарин В.Н., Сашурин А.Д., Леонтьев А.В. и др. Деструкция земной коры и процессы самоорганизации в областях сильного техногенного воздействия / отв. ред. Н. Н. Мельников. – Новосибирск: Изд-во СО РАН. 2012. 632 с.
6. Адушкин В. В., Опарин В. Н. От явления знакопеременной реакции горных пород на динамические воздействия - к волнам маятникового типа в напряженных геосредах. Ч. І. // Физико-технические проблемы разработки полезных ископаемых. 2012. № 2. C. 3-28
7. Musil M., Pleginger A. Discrimination between Local Microearthquakes and Quarry Blasts by Multi-Layer Perceptrons and Kohonen Maps // Bulletin of the Seismological Society of America, 1996. Vol. 86. No. 4. pp. 1077-1090.
8. Simmons A.D., Kerekes J.P., Raqueno N.G. Hyperspectral monitoring of chemically sensitive plant sentinels // Proceeding SPIE 7457. – Imaging Spectrometry XIV, 74570G, San Diego, CA. 2003. P. 45-51.
9. Лупян Е.А., Савин И.Ю., Барталев С.А., Толпин В.А., Балашов И.В., Плотников Д.Е. Спутниковый сервис мониторинга состояния растительности ("Вега") // Современные проблемы дистанционного зондирования Земли из космоса. 2011. Т.8. № 1. С. 190-198.
10. Lavrova O. Yu., Loupian E.A., Mityagina M.I., Uvarov I.A., BocharovaT. Yu. See the Sea — Multi-User Information System Ocean Processes Investigations Based on Satellite Remote Sensing Data // Bollettino di Geofisica teorica ed applicata. An International Journal of Earth Sciences. 2013. Vol. 54. P.146-147.
11. Гордеев Е.И., Гирина О.А., Лупян Е.А., Кашницкий А.В., Уваров И.А., Ефремов В.Ю., Мельников Д.В., Маневич А.Г., Сорокин А.А., Верхотуров А.Л., Романова И.М., Крамарева Л.С., Королев С.П. Изучение продуктов извержений вулканов Камчатки с помощью гиперспектральных спутниковых данных в информационной системе VolSatView // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т.12. № 1. С. 113-128.
12. Лупян Е.А., Барталев С.А., Ершов Д.В., Котельников Р.В., Балашов И.В., Бурцев М.А., Егоров В.А., Ефремов В.Ю., Жарко В.О., Ковганко К.А., Колбудаев П.А., Крашенинникова Ю.С., Прошин А.А., Мазуров А.А., Уваров И.А., Стыценко Ф.В., Сычугов И.Г., Флитман Е.В., Хвостиков С.А., Шуляк П.П. Организация работы со спутниковыми данными в информационной системе дистанционного мониторинга лесных пожаров Федерального агентства лесного хозяйства (ИСДМ-Рослесхоз) // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т.12. № 5. С.222-250.
13. Takeuchi S., Yamada H. Monitoring of forest fire damage by using JERS-1 InSAR // Geoscience and Remote Sensing Symposium (IGARSS '02). – Toronto, Ontario, Canada. 2002. P. 3290-3292
14. Geohazard Tep. URL: https://geohazards-tep.eo.esa.int/ (дата обращения:15.02.2018)
15. Маклин С., Нафтел Дж., Уильямс К. Microsoft .NET Remoting // Пер. с англ. – М.: Торгово-издательский дом «Русская редакция». 2003. 384 с. (McLean S., Naftel J., Williams K. Microsoft .NET Remoting – 1st ed. – NY: Microsoft Press. 2003. 384 p.)
16. Berman F., Wolski R. Application-Level Scheduling on Distributed Heterogeneous Networks // Supercomputing: Proceedings of the ACM/IEEE conference. – Pittsburgh, Pennsylvania USA, May 25-28, 1996. – IEEE Computer Society. 1996. P. 39-39.
17. Maheswaran M., Ali S. Dynamic Matching and Scheduling of a Class of Independent Tasks onto Heterogeneous Computing Systems // Journal of Parallel and Distributed Computing. 1999. Vol. 59. No. 2. P. 107-131.
18. Laszewski G., Foster I. et al. CoG Kits: A Bridge between Commodity Distributed Computing and High-Performance Grids // Proceedings of the ACM Java
Grande 2000 Conference. – San Francisco, CA, USA, June 3-5. – 2000. P. 97-106.
19. Yang T., Gerasoulis A. DSC: Scheduling Parallel Tasks on an Unbounded Number of Processors // IEEE Transactions on Parallel and Distributed Systems. 1994. Vol. 5. No. 9. P. 951-967.
20. Qusay H. Mahmoud. Distributed Java Programming with RMI and CORBA // Oracle Technology Network. URL:
http://www.oracle.com/technetwork/articles/javase/rmicorba-136641.html (дата обращения: 12.02.2018)
21. Reyes-Ortiz J.L., Oneto,L., Anguita D. Big Data Analytics in the Cloud: Spark on Hadoop vs MPI/OpenMPI // INNS Conference on Big Data 2015: Conference proceedings. – San Francisco, USA, 8-10 August 2015. P. 121-130
22. Mavridis I., Karatza H. Performance evaluation of cloudbased log file analysis with Apache Hadoop and Apache Spark // Journal of Systems and Software. 2017. Vol. 125. P. 133-151
23. Polato I., Ré R., Goldman A., Kon F. A comprehensive view of Hadoop research - A systematic literature review // Journal of Network and Computer Applications. 2014. Vol. 46. P. 1-25
24. Chen Xu. Big Data Analytic Frameworks for GIS (Amazon EC2, Hadoop, Spark) // Comprehensive Geographic Information Systems. 2017. Vol.1. P.148-152
25. Verbesselt. J. Big Data: Techniques and Technologies in Geoinformatics // International Journal of Applied Earth Observation and Geoinformation. 2015. Vol. 35. Part B. P. 368-369
26. Yang Chaowei, Yu Manzhu, Hu Fei, Jiang Yongyao, Li Yun. Utilizing Cloud Computing to address big geospatial data challenges // Computers, Environment and Urban Systems. 2017. Vol. 61. Part B. – P. 120-128
27. Hadoop, Storm, Samza, Spark, and Flink: Big Data Frameworks Compared // Digital Ocean. URL: https://www.digitalocean.com/community/tutorials/hadoop-storm-samza-spark-and-flink-big-data-frameworkscompared (дата обращения: 14.02.2018)
28. Spark vs. Tez: What's the Difference? // Xplenty. URL: https://www.xplenty.com/blog/2015/01/apache-spark-vstez-comparison/ (дата обращения: 14.02.2018)
29. Feature wise comparison between Apache Hadoop vs Spark vs Flink // TheServerSide. URL:
http://www.theserverside.com/blog/Coffee-Talk-Java-News-Stories-and-Opinions/Feature-wise-comparisonbetween-Apache-Hadoop-vs-Spark-vs-Flink (дата обращения: 22.02.2018)
30. Sentinel 1 Toolbox // ESA Science toolbox exploration platform URL: http://step.esa.int/main/toolboxes/sentinel-1-toolbox/ (дата обращения: 08.04.2018)
31. STAMPS // A software package to extract ground displacements from time series of synthetic aperture radar (SAR) acquisitions. URL:
https://homepages.see.leeds.ac.uk/~earahoo/stamps/ (дата обращения: 08.04.2018)
32. MATLAB API for Java // Mathworks URL: https://www.mathworks.com/help/matlab/matlab-engineapi-for-java.html (дата обращения: 08.04.2018)