Аннотация.

Предложен метод оценки эффективности уменьшения размерности пространства признаков, ориентированный на использование в процедурах рандомизированнго машинного обучения. Эффективность измеряется в терминах функции Кульбака-Ляйблера, интерпретируемой как информационное расстояние между энтропийно-оптимальными функциями плотности распределения вероятностей для исходной и редуцированной входной обучающей коллекции.

Ключевые слова:

рандомизированное машинное обучение, Энтропийный функционал, информационное расстояние Кульбака-Ляйблера

Стр. 3-7

 Полная версия статьи в формате pdf.

Литература

1. Yu. S. Popkov, Yu. A. Dubnov, A. Yu. Popkov. Randomized Machine Learning: Statement, Solution, Applications // Proceedings of 2016 IEEE 8-th International Conference on Intelligent Systems (IS16). September 4-6, 2016. Sofia, Bulgaria, P.27-39.
2. Yuri S. Popkov, Zeev Volkovich, Yuri A. Dubnov, Renata Avros and Elena Ravve. // Entropy '2'-Soft Classification of Objects // Entropy, 2017, Vol. 19, Iss. 4, No.178.
3. Popkov Y.S., Dubnov Y.A. Entropy-robust randomized forecasting under small sets of retrospective data. Automation and Remote Control, 2016,v.77, No.5, p.839-854.
4. Bruckstein A.M., Donoho D.L., Elad M. From Sparse Solutions of Systems of Equations to Sparse Modeling of Signals and Images. SIAM Rev. 2009, v.51, No.1, p.34-81.
5. Кендал М.Дж., Стюарт А. Статистические выводы и связи./ Пер. с англ. М.. Наука, 1973.
6. Jollife I.T. Principal Component Analysis. N.Y. Springer-Verlag, 2002.
7. Поляк Б.Т., Хлебников М.В. Метод главных компонент: робастные версии. Автоматика и Телемеханика, 2017, №3, с.130-148.
8. Попков Ю.С. Энтропийный метод сжатия матриц со случайными значениями элементов. ИТВС, 2018, №1, с.
9. Kullback S., Leibler R.A. On information and Sufficiency. Ann. of Math. Statistics, 1951, v.22(1), p. 79-86.
10. Zhang Y., Li S., Wang T., Zhang Z. Divergence-based feature selection for separate classes. Neurocomputing, 2013, v.101, p. 32-42.