Аннотация.

Предлагается двухэтапный метод сжатия матрицы со случайными значениями элементов, имитирующей входные данные (прецеденты) в задачах рандомизированного машинного обучении (РМО). Ядро метода составляют операции <<прямого>> и <<обратного>> проектирования, оптимизация которых осуществляется посредством максимизации информационной относительной энтропии. Соответствующие этим операциям модули могут применяться в виде последовательной или параллельной процедуры. Разработаны алгоритмы максимизации информационной относительной энтропии, использующие покоординатную модификацию метода проекций градиента.

Ключевые слова:

относительная информационная энтропия, операторы проектирования, матричные производные, градиентный метод, прямые и обратные проекции.

Стр. 8-15.

Полная версия статьи в формате pdf. 

Литература

1. Айвазян С.А., Бухштабер В.М., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Классификация и снижение размерности. М.. Фининсы и статистика, 1989.
2. Мерков А.Б. Распознавание образов. Введение в методы статистического обучения. М., Едиториал УРСС, 2010.
3. Имельбаев Ш.С., Шмульян Б.Л. Моделирование стохастических коммуникационных систем.// Вильсон А.Дж. Энтропийные методы моделирования сложных систем. М., Наука, 1978, с.170-234.
4. Bruckstein A.M., Donoho D.L., Elad M. From Sparse Solutions of Systems of Equations to Sparse Modeling of Signals and Images. SIAM Rev. 2009, v.51, No.1, p.34-81.
5. Кендал М.Дж., Стюарт А. Статистические выводы и связи./ Пер. с англ. М.. Наука, 1973.
6. Jollife I.T. Principal Component Analysis. N.Y. Springer-Verlag, 2002.
7. Поляк Б.Т., Хлебников М.В. Метод главных компонент: робастные версии. Автоматика и Телемеханика, 2017, №3, с.130-148.
8. Воронцов К.В. Математические методы обучения по прецендентам. Курс лекций МФТИ, 2006.
9. Jaynes E.T. Information Theory and Statistical Mechanics. Physics Review, 1957, v.106, p. 620-639.
10. Popkov Yu.S. Macrosystem Theory and Applications. Springer, Lecture Notes in Informatics and Control, 1995.
11. Kullback S., Leibler R.A. On information and Sufficiency. Ann. of Math. Statistics, 1951, v. 22(1), p. 79-86.
12. Magnus J., Neudecker H. Matrix Differential Calculus with Applications in Statistics and Econometrics. John Willey and Sons, 2007, thied Edt.