 |
М. В. Зингеренко, Е. Е. Лимонова "Послойная дистилляция знаний для обучения упрощенных биполярных морфологических нейронных сетей" |
 |
|
Аннотация.
В работе представлено улучшение структуры биполярного морфологического нейрона, повышающее его вычислительную эффективность и новый подход к обучению на основе непрерывных аппроксимаций максимума и дистилляции знаний. Были проведены эксперименты на выборке MNIST с нейронной сетью LeNet-подобной архитектуры, а также на выборке CIFAR10 с моделью архитектуры ResNet-22. На LeNet-подобной модели с помощью предложенного метода обучения получилось добиться 99.45% точности классификации при такой же точности у классической сети, а на ResNet-22 точность составила 86.69% при точности 86.43% у классической модели. Полученные результаты показывают, что предложенный метод, использующий log-sum-exp (LSE) аппроксимацию максимума и послойную дистилляцию знания, позволяет получить упрощенную биполярную морфологическую сеть, не уступающую классическим сетям.
Ключевые слова:
биполярные морфологические сети, аппроксимации, искусственные нейронные сети, вычислительная эффективность.
Стр. 46-54.
DOI 10.14357/20718632230305 Литература
1. Chernyshova Y. S., Sheshkus A. V., Arlazarov V. V. Two-step CNN framework for text line recognition in camera-captured images // IEEE Access. – 2020. – Т. 8. – С. 32587-32600. 2. Kanaeva I. A., Ivanova Y. A., Spitsyn V. G. Deep convolutional generative adversarial network-based synthesis of datasets for road pavement distress segmentation // Computer Optics. – 2021. – Т. 45. – №. 6. – С. 907-916. 3. Das P. A. K., Tomar D. S. Convolutional neural networks based weapon detection: a comparative study // Fourteenth International Conference on Machine Vision (ICMV 2021). – SPIE, 2022. – Т. 12084. – С. 351-359. 4. Bulatov K. et al. Smart IDReader: Document recognition in video stream // 2017 14th IAPR International Conference on Document Analysis and Recognition (ICDAR). – IEEE, 2017. – Т. 6. – С. 39-44. 5. Zhao Y., Wang D., Wang L. Convolution accelerator designs using fast algorithms // Algorithms. – 2019. – Т. 12. – №. 5. – С. 112. 6. Yao Z. et al. Hawq-v3: Dyadic neural network quantization // International Conference on Machine Learning. – PMLR, 2021. – С. 11875-11886. 7. Tai C. et al. Convolutional neural networks with low-rank regularization // arXiv preprint arXiv:1511.06067. – 2015. 8. Sun X. et al. Pruning filters with L1-norm and standard deviation for CNN compression // Eleventh international conference on machine vision (ICMV 2018). – SPIE, 2019. – Т. 11041. – С. 691-699. 9. You H. et al. Shiftaddnet: A hardware-inspired deep network // Advances in Neural Information Processing Systems. – 2020. – Т. 33. – С. 2771-2783. 10. Chen H. et al. AdderNet: Do we really need multiplications in deep learning? // Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. – 2020. – С. 1468-1477. 11. Limonova E. E. et al. Bipolar morphological neural networks: Gate-efficient architecture for computer vision // IEEE Access. – 2021. – Т. 9. – С. 97569-97581. 12. Limonova E. E. Fast and Gate-Efficient Approximated Activations for Bipolar Morphological Neural Networks // Информационные технологии и вычислительные системы. – 2022. – №. 2. – С. 3-10. 13. Hinton G., Vinyals O., Dean J. Distilling the knowledge in a neural network // arXiv preprint arXiv:1503.02531. – 2015. 14. Xu Y. et al. Kernel based progressive distillation for adder neural networks // Advances in Neural Information Processing Systems. – 2020. – Т. 33. – С. 12322-12333. 15. Kirszenberg A. et al. Going beyond p-convolutions to learn grayscale morphological operators // Discrete Geometry and Mathematical Morphology: First International Joint Conference, DGMM 2021, Uppsala, Sweden, May 24–27, 2021, Proceedings. – Cham : Springer International Publishing, 2021. – С. 470-482. 16. Calafiore G. C., Gaubert S., Possieri C. A universal approximation result for difference of log-sum-exp neural networks // IEEE transactions on neural networks and learning systems. – 2020. – Т. 31. – №. 12. – С. 5603-5612. 17. He K. et al. Deep residual learning for image recognition // Proceedings of the IEEE conference on computer vision and pattern recognition. – 2016. – С. 770-778.
|
