|
Аннотация.
Работа посвящена разработке метода энтропийного оценивания с мягкой рандомизацией для восстановления параметров вероятностных математических моделей по имеющимся наблюдениям. Под мягкой рандомизацией понимается техника добавления регуляризации в функционал информационной энтропии с целью упрощения оптимизационной задачи и ускорения обучения по сравнению с традиционным методом наибольшей энтропии. В данной работе была разработана концепция метода энтропийного оценивания с мягкой рандомизацией, включая получение энтропийно-оптимальных функций ПРВ в общем виде. В ходе экспериментов были протестированы несколько типов регуляризации модели на примере классической задачи регрессионного анализа.
Ключевые слова:
вероятностная математическая модель, метод наибольшей энтропии, линейная регрессия, регуляризация.
Стр. 69-80.
DOI 10.14357/20718632220407 Литература
1. Björck, Å. Numerical Methods for Least Squares Problems. SIAM. 1996. 2. Huang, David S. Regression and Econometric Methods. New York: John Wiley & Sons. 1970. pp. 127–147. 3. Мишулина О. А. Статистический анализ и обработка временных рядов. — М.: МИФИ, 2004. — С. 180. 4. Woodward, W. A., Gray, H. L. & Elliott, A. C. Applied Time Series Analysis, CRC Press. 2012. 5. Amos Golan, George G. Judge, Douglas Miller. Maximum Entropy Econometrics: Robust Estimation with Limited Data. – John Wiley and Sons Ltd. Chichester, U.K., 1996. 6. Yu. S. Popkov , Yu. A. Dubnov. Entropy-robust randomized forecasting under small sets of retrospective data // Automation and Remote Control. 2016, Volume 77, Issue 5, pp 839-854. 7. Popkov, Y.S.; Dubnov, Y.A.; Popkov, A.Y. New Method of Randomized Forecasting Using Entropy-Robust Estimation: Application to the World Population Prediction. // Mathematics, 2016, Vol. 4, Iss.1, p.1-16. 8. Jaynes E.T. Information Theory and Statistical Mechanics // Physics Review Notes. 1957. V. 106. P. 620–630. 9. R.D. Levin, M. Tribus. The maximum entropy formalism. MIT Press, 1979. 10. Jaynes E.T. Probability Theory. The logic and science. Cambrige Univ. Press, 2003. 11. Ximing Wu. A Weighted Generalized Maximum Entropy Estimator with a Data-driven Weight // Entropy, 2009. no.11. 12. Ю. С. Попков, А. Ю. Попков, Ю. А. Дубнов. Элементы рандомизированного прогнозирования и его применение для предсказания суточной электрической нагрузки энергетической системы”, Автомат. и телемех., 2020, № 7, 148–172 13. Popkov, Y.S.; Popkov, A.Y.; Dubnov, Y.A.; Solomatine, D. Entropy-Randomized Forecasting of Stochastic Dynamic Regression Models. Mathematics 2020, 8, 1119. 14. Yuri S. Popkov, Zeev Volkovich, Yuri A. Dubnov, Renata Avros and Elena Ravve. Entropy “2”-Soft Classification of Objects // Entropy, 2017, Vol. 19, Iss. 4, No.178. 15. Дубнов Ю.А. Энтропийное оценивание в задачах классификации // «Автомат. и телемех.», 2019, № 3, 138–151. 16. Воеводин В.В., Кузнецов Ю.А. Матрицы и вычисления. М., Наука, 1984. 17. Цыпкин Я.З. Основы теории обучающихся систем. М., Наука, 1970. 18. Kaashoek M.A., Seatzu S., van der Mee C. Recent Advances in Operator Theory and its Application. 2006, Springer, p.478.
|
