 |
Г. Н. Ахобадзе, Е. Ю. Русяева, А. В. Полтавский "Энтропийно информационный подход для оценивания качества текстов машинных переводов" |
 |
|
Аннотация.
В статье предлагается методика оценки качества текстов машинных переводов на основе энтропийно-информационного подхода. Дается анализ дисперсионного и энтропийного коэффициентов конкордации, используемых для оценки согласованности мнений экспертов при близких ранжировках различных объектов. Обосновывается перспективность применения энтропийного коэффициента конкордации, позволяющего зафиксировать факт разделения мнений на две противоположные группы. Это положение важно для проводимого исследования, поскольку в данной методике экспертной оценки переводов текстов важен учет разных мнений нескольких экспертов, привлеченных к экспертизе. Приводятся примеры расчета энтропийного коэффициента конкордации с изменяющейся ранговой системой, числом экспертов и ранжируемых объектов оценивания.
Ключевые слова:
коэффициент конкродации, ранжировка текстов, мнение экспертов, информационная энтропия, ранг, матрица мнений экспертов, вероятностные параметры.
Стр. 19-27.
DOI 10.14357/20718632230402
EDN EOBUMC Литература
1. Полтавский А.В., Русяева Е.Ю. Entropy Evaluation of Data Flows Using an Integrative Approach / Proceedings of the 15th International Conference Management of Large- Scale System Development (MLSD). Moscow: IEEE, 2022. р.1-4. doi: 10.1109/MLSD55143.2022.9934166 2. Introducing ChatGPT and Whisper APIs. Developers can now integrate ChatGPT and Whisper models into their apps and products through our API. Электронный ресурс. https://openai.com/blog/introducing-chatgpt-and-whisperapis. Дата обращения 27.04.2023. 3. Попков Ю.С. Математическая демоэкономика. Макро-системный подход. М.: ЛЕНАНД. 2021. 560 с. 4. Ларичев О. И. Вербальный анализ решений. М.: Наука, 2006. 181 с. 5. Нечеткие множества в моделях управления и искусственного интеллекта / А. Н. Аверкин, И. З. Батыршин, А. Ф. Блишун и др.; Под ред. Д. А. Поспелова. М.: Наука, 1986. 312 с. 6. Алескеров Ф. Т., Хабина Э. Л., Шварц Д. А. Бинарные отношения, графы и коллективные решения. М.: ГУ ВШЭ, 2006. 298 с. 7. Вольский В. И., Лезина З. М. Голосование в малых группах: процедуры и методы сравнительного анализа. М.: Наука, 1991. 192 с. 8. Китаев Н. Н. Групповые экспертные оценки. М.: Знание, 1975. 64 с. 9. Миркин Б. Г. Проблема группового выбора. М.: Наука, 1974. 256 с. 10. Multi-objective Group Decision Making: Methods, Software and Applications with Fuzzy Set Techniques / J. Lu, G. Zhang, D. Ruan, F. Wu. London: Imperial College Press, 2007. 400 pp. 11. Эрроу К. Дж. Коллективный выбор и индивидуальные ценности. М.: ГУ ВШЭ, 2004. 204 с. 12. Льюис Р. Д., Райфа Г. Игры и решения. М.: Иностранная литература, 1961. 642 с. 13. Жилякова Е.В., Ларин С.П. Методы и приемы проведения независимой экспертизы // Вестник Воронежского государственного университета. Серия: Экономика и управление, 2009, №2, с.108-116. 14. Венедиктов А.А. О показателе согласованности экспертных оценок // Вооружение и экономика, 2018, №3 (45), с. 52-66. 15. Буравлев А.И. О задачах многокритериального выбора // Вооружение и экономика, 2021, №1 (55), с. 131-138. 16. Клевец Н.И. Сравнительный анализ методов многокритериального ранжирования альтернатив // Научный вестник: Финансы, банки, инвестиции, 2018, №2, с.153-163. 17. Ларичев О. И. Теория и методы принятия решений. М.: Логос, 2002. 296 с. 18. Оценка согласованности мнений экспертов. Электронный ресурс. Дата обращения 05.03.2023. https://studfile.net/preview/9186952/page:22/ 19. Бурков В. Н., Новиков Д. А. Элементы теории графов. Электронный ресурс. Дата обращения 20.03.2023. http://www.mtas.ru/start/t_garf.pdf
|
