Аннотация. 

В ходе исследования работ, посвященных сопоставлению оптических и радиолокационных изображений, было обнаружено отсутствие открытых датасетов достаточного размера для отладки и тестирования алгоритмов. Во многих работах тестирование проводится на малом количестве пар изображений (единицы), которые к тому же часто не опубликованы, причем разные работы используют различные датасеты. В данной работе представлен датасет из 100 выравненных пар optical-SAR изображений. Дополнительно, рассмотрены методы оценки повторяемости устойчивых точек, точности их сопоставления и метод оценки точности сопоставления изображений для optical-SAR данных. С помощью этих методов проведено сравнение результатов этих методов для классических детекторов SIFT, YAPE и Харрис и дескрипторов SIFT, ORB и SURF на представленном датасете.

Ключевые слова: 

сопоставление изображений, повторяемость устойчивых точек.

Стр. 44-57.

DOI 10.14357/20718632210205

 

 

Литература

1. Сидорчук Д.С., Волков В.В. Комплексирование радиолокационных изображений и оптических снимков в видимом и тепловом диапазонах с учетом различий в восприятии яркости и цветности // Сенсорные системы. 2018. Т. 32. № 1. С. 14–18. DOI: 10.7868/S0235009218010031.

2. Errico A., Angelino C. V., Cicala L., Persechino G., Ferrara C., Lega M., Vallario A., Parente C., Masi G., Gaetano R., Scarpa G. Detection of environmental hazards through the feature-based fusion of optical and SAR data: A case study in southern Italy. // International Journal of Remote Sensing. 2015. V. 36. № 13. P. 3345–3367. DOI: 10.1080/01431161.2015.1054960.

3. Plank S., Twele A., Martinis S. Landslide mapping in vegetated areas using change detection based on optical and polarimetric SAR data. // Remote Sensing. 2016. V. 8. № 4. P. 307. DOI: 10.3390/rs8040307.

4. Ye S. P., Chen C. X., Nedzved A., Jiang J. Building detection by local region features in SAR images. // Computer Optics. 2020. V. 44. № 6. P. 944–950. DOI: 10.18287/2412-6179-CO-703.

5. Shi W., Su F., Wang R., Fan J. A visual circle based image registration algorithm for optical and SAR imagery. // In 2012 IEEE International Geoscience and Remote Sensing Symposium. 2012. P. 2109–2112.

6. Suri S., Reinartz P. Mutual-information-based registration of TerraSAR-X and Ikonos imagery in urban areas. // IEEE Transactions on Geoscience and Remote Sensing. 2009. V. 48. № 2. P. 939–949. DOI: 10.1109/TGRS.2009.2034842.

7. Gong M., Zhao S., Jiao L., Tian D., Wang S. A novel coarse-to-fine scheme for automatic image registration based on SIFT and mutual information. // IEEE Transactions on Geoscience and Remote Sensing. 2013. V. 52. № 7. P. 4328–4338. DOI: 10.1109/TGRS.2013.2281391.

8. Fan B., Huo C., Pan C., Kong Q. Registration of optical and SAR satellite images by exploring the spatial relationship of the improved SIFT. // IEEE Geoscience and Remote Sensing Letters. 2012. V. 10. № 4. P. 657–661. DOI: 10.1109/LGRS.2012.2216500.

9. Ma W., Wen Z., Wu Y., Jiao L., Gong M., Zheng Y., Liu L. Remote sensing image registration with modified SIFT and enhanced feature matching. // IEEE Geoscience and Remote Sensing Letters. 2016. V. 14. № 1. P. 3–7. DOI: 10.1109/LGRS.2016.2600858.

10. Paul S., Pati U. C. Optical-to-SAR image registration using modified distinctive order based self-similarity operator. // In 2018 IEEE International Students' Conference on Electrical, Electronics and Computer Science (SCEECS). 2018. P. 1–5.

11. Xiang Y., Wang F., You H. OS-SIFT: A robust SIFT-like algorithm for high-resolution optical-to-SAR image registration in suburban areas. // IEEE Transactions on Geoscience and Remote Sensing. 2018. V. 56. № 6. P. 3078– 3090. DOI: 10.1109/TGRS.2018.2790483.

12. Paul S., Pati U. C. Automatic optical-to-SAR image registration using a structural descriptor. // IET Image Processing. 2019. V. 14. № 1. P. 62–73. DOI: 10.1049/ietipr. 2019.0389.

13. Xiong X., Xu Q., Jin G., Zhang H., Gao X. Rank-Based Local Self-Similarity Descriptor for Optical-to-SAR Image Matching. // IEEE Geoscience and Remote Sensing Letters. 2019. V. 17. № 10. P. 1742–1746. DOI: 10.1109/LGRS.2019.2955153.

14. Wang H., Wang C., Li P., Chen Z., Cheng M., Luo L., Liu Y. Optical-to-SAR Image Registration Based On Gaussian Mixture Model. // ISPRS-International Archives of thePhotogrammetry, Remote Sensing and Spatial Information Sciences. 2012. V. 39. P. 179–183.

15. Kunina I., Panfilova E., Gladkov A. Matching of SAR and optical images by independent referencing to vector map. // In Eleventh International Conference on Machine Vision (ICMV 2018). 2019. V. 11041. DOI: 10.1117/12.2523132.

16. Fischler M.A., Bolles R.C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography. // Communications of the ACM. 1981. V. 24. № 6. P. 381–395.

17. Чеканов М. О., Шипитько О. С., Ершов Е. И. Одноточечный RANSAC для оценки величины осевого вращения объекта по томографическим проекциям. // Сенсорные системы. 2020. Т. 34. № 1. С.72–86. DOI: 10.31857/S0235009220010060.

18. Tropin D. V., Nikolaev D. P., Slugin D. G. The method of image alignment based on sharpness maximization. // In Eleventh International Conference on Machine Vision (ICMV 2018). 2019. V. 11041. DOI: 10.1117/12.2522903.

19. Шемякина Ю. А. Использование точек и прямых для вычисления проективного преобразования по двум изображениям плоского объекта. // Информационные технологии и вычислительные системы. 2017. Т. 3. С. 79–91.

20. Skoryukina N., Faradjev I., Bulatov K., Arlazarov V.V. Impact of geometrical restrictions in RANSAC sampling on the ID document classification. // In Twelfth International Conference on Machine Vision (ICMV 2019). 2020. V. 11433. DOI: 10.1117/12.2559306.

21. Xu C., Sui H., Li H., Liu J. An automatic optical and SAR image registration method with iterative level set segmentation and SIFT. // International Journal of Remote Sensing. 2015. V. 36. № 15. P. 3997–4017. DOI: 10.1080/01431161.2015.1070321.

22. Тропин Д.В., Шемякина Ю.А., Коноваленко И.А., Фараджев И.А. О локализации плоских объектов на изображениях со сложной структурой проективных искажений. // Информационные процессы. 2019. Т. 19. № 2. С. 208–229.

23. Optical-SAR dataset and method for evaluating image registration algorithms. Available at:

https://github.com/VolkovVl/Optical-SAR-dataset (accessed April 9, 2021).

24. Lowe D.G. Distinctive image features from scale-invariant keypoints. // Int. J. Comput. Vis. 2004. V. 60. № 2. P. 91–110.

25. Lepetit V., Fua P. Towards Recognizing Feature Points using Classification Trees. // Technical report, Swiss Federal Institute of Technology (EPFL). 2004.

26. Sedaghat A., Mokhtarzade M., Ebadi H. Uniform robust scale-invariant feature matching for optical remote sensing images. // IEEE Transactions on Geoscience and Remote Sensing. 2011. V. 49. № 11. P. 4516–4527.

27. Zhao D., Yang Y., Ji Z., Hu X. Rapid multimodality registration based on MM-SURF. // Neurocomputing. 2014. V. 131. P. 87–97. DOI: 10.1016/j.neucom.2013.10.037.

28. Xiang Y., Tao R., Wang F., You H. Automatic Registration of Optical and SAR Images VIA Improved Phase Congruency. // In IGARSS 2019-2019 IEEE International Geoscience and Remote Sensing Symposium. 2019. P. 931–934.

29. Ye Y., Shen L., Hao M., Wang J., Xu Z. Robust opticalto-SAR image matching based on shape properties. // IEEE Geoscience and Remote Sensing Letters. 2017. V. 14. № 4. P. 564–568. DOI: 10.1109/LGRS.2017.2660067.

30. Ye Y., Shan J., Bruzzone L., Shen L. Robust registration of multimodal remote sensing images based on structural similarity. // IEEE Transactions on Geoscience and Remote Sensing. 2017. V. 55. № 5. P. 2941–2958. DOI: 10.1109/TGRS.2017.2656380.

31. Copernicus Open Access Hub, Terms and Conditions. Available at:

https://scihub.copernicus.eu/twiki/do/view/SciHubWebPor

tal/TermsConditions (accessed January 22, 2021).

32. Copernicus Open Access Hub. Available at:

https://scihub.copernicus.eu/ (accessed December 29, 2020).

33. OpenCV: Main page. Available at:

https://docs.opencv.org/master/index.html (accessed April 06, 2021).