ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ И ТЕХНОЛОГИИ
А. А. Зацаринный, А. А. Карандеев, В. П. Осипов, Б. Н. Четверушкин, Н. А. Яшин "Выявление атак типа триггер на искусственные нейронные сети"
МАТЕМАТИЧЕСКИЕ ОСНОВЫ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ
ПРИКЛАДНЫЕ АСПЕКТЫ ИНФОРМАТИКИ
МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ
А. А. Зацаринный, А. А. Карандеев, В. П. Осипов, Б. Н. Четверушкин, Н. А. Яшин "Выявление атак типа триггер на искусственные нейронные сети"
Аннотация. 

В статье рассмотрена актуальная проблема триггерных атак на искусственные нейронные сети, предназначенные для распознавания образов в контексте обеспечения их надежности и безопасности. Рассмотрены различные сценарии триггерных атак, основные методы их реализации и последствия подобных атак. Подробно рассмотрены способы наложения триггеров на изображения, методы поиска триггеров, включая поиск основных характеристик, присущих изображению с триггером. Представлены результаты применения разработанного способа борьбы с триггерными атаками, позволяющего распознавать триггеры на изображении на этапе машинного обучении нейронной сети. Рассматриваются перспективы развития методов защиты от триггерных атак при использовании машинного обучения и сверточных нейронных сетей.

Ключевые слова: 

искусственная нейронная сеть, машинное обучение, триггерная атака, распознавание образов.

DOI 10.14357/20718632250101 

EDN CPNGAB

Стр. 3-13.

Литература

1. А.А. Зацаринный, А.А. Карандеев, А.Е. Маслов, В.П. Осипов, Н.Ю. Апальков, Развитие технологий распознавания на основе дополнительных признаков // Информационные технологии и вычислительные системы. 2024, №1, с. 67-74, DOI: 10.14357/20718632240107
2. Rodrigo D. Moreira, Flávio Coutinho, Luiz Chaimowicz, "Analysis and Compilation of Normal Map Generation Techniques for Pixel Art". arXiv:2212.09692, 2022.
3. Jing Xu, Gorka Abad, Stjepan Picek, "Rethinking the Trigger-injecting Position in Graph Backdoor Attack". arXiv:2304.02277, 2023.
4. Tianlong Chen, Zhenyu Zhang, Yihua Zhang, Shiyu Chang, Sijia Liu, Zhangyang Wang, "Quarantine: Sparsity Can Uncover the Trojan Attack Trigger for Free", arXiv:2205.11819, 2022.
5. Tzvi Lederer, Gallil Maimon, Lior Rokach, "Silent Killer: Optimizing Backdoor Trigger Yields a Stealthy and Powerful Data Poisoning Attack". arXiv:2301.02615, 2023.
6. Yinghua Gao, Yiming Li, Xueluan Gong, Shu-Tao Xia, Qian Wang, "Backdoor Attack with Sparse and Invisible Trigger". arXiv:2306.06209, 2023.
7. Mohsen Ebrahimi, "Broken Rail Detection With Texture Image Processing Using Two-Dimensional Gray Level Cooccurrence Matrix", arXiv:2304.11592, 2023.
8. Zhenting Wang, Kai Mei, Juan Zhai, Shiqing Ma, "UNICORN: A Unified Backdoor Trigger Inversion Framework", arXiv:2304.02786, 2023.
9. Tong Xu, Yiming Li, Yong Jiang, Shu-Tao Xia, "BATT: Backdoor Attack with Transformation-based Triggers". arXiv:2211.01806.
10. Aniruddha Saha, Akshayvarun Subramanya, Hamed Pirsiavash, "Hidden Trigger Backdoor Attacks", arXiv preprint arXiv:1910.00033, 2019.
11. Sobel, Irwin & Feldman, Gary. (1973). A 3×3 isotropic gradient operator for image processing. Pattern Classification and Scene Analysis. 271-272.
12. Duda, Richard & Hart, Peter & G.Stork, David. (2001). Pattern Classification.
13. Shapiro, L. G. & Stockman, G. C. Computer Vision. — Prentence Hall, 2001. — С. 137, 150.
14. Akshakhi Kumar Pritoonka, Faeze Kiani, "Texture image analysis based on joint of multi directions GLCM and local ternary patterns", arXiv:2209.01866, 2022.
15. Li-Yun Wang, Yeganeh Jalalpour, Wu-chi Feng, "Context-Aware Image Denoising with Auto-Threshold Canny Edge Detection to Suppress Adversarial Perturbation". arXiv:2101.05833, 2021.
16. Маврин Е. М., Сравнение алгоритмов выделения контуров на цифровом изображении и выбор наилучшего алгоритма для реализации на ПЛИС // Вопросы науки и образования. 2019. №14 (61).

2025 / 01
2024 / 04
2024 / 03
2024 / 02

© ФИЦ ИУ РАН 2008-2018. Создание сайта "РосИнтернет технологии".