Schlesinger M. I., Vodolazskiy E. V.
Minimax deviation strategies for machine learning and recognition with short learning samples

The article analyses risk-oriented formulation of pattern recognition and machine learning problems. Based on the arguments from multicriteria optimization, a class of improper strategies is defined that are dominated by some other strategy. A general form of strategies that are not improper is derived. It is shown that some widely used approaches are improper in a defined sense, including the maximum likelihood estimation approach. This drawback is especially apparent when dealing with short learning samples of fixed length. A unified formulation of the pattern recognition and machine learning problems is presented, which embraces the whole range of sizes of the learning sample, including zero size. It is proven that solutions to problems in the presented formulation are not improper. The concept of minimax deviation recognition and learning is formulated, several examples of its implementation are presented and compared with the widely used methods based on the maximal likelihood estimation. © 2023, Springer Science+Business Media, LLC, part of Springer Nature.

Keywords: machine learning, pattern recognition, short learning sample, Machine learning, Maximum likelihood estimation, Multiobjective optimization, Risk analysis, Estimation approaches, Learning samples, Machine learning problem, Machine recognition, Machine-learning, Maximum-likelihood estimation, Minimax, Multi-criteria optimisation, Short learning sample, Unified formulations, Pattern recognition

Виконано аналіз задач розпізнавання образів і машинного навчання у випадку, коли якість стратегій для їхнього розв'язання визначається ризиком під час їхнього використання. Спираючись на поняття багатокритерійної оптимізації, визначено клас стратегій, непридатних для розв'язання задач, і виведено загальний вигляд усіх інших стратегій. Показано, що застосування окремих широковживаних підходів призводить до непридатних у визначеному сенсі стратегій. Зокрема, це стратегії, що базуються на найвірогіднішому оцінюванні, особливо у разі використання навчальних вибірок фіксованого та малого обсягу. Сформульовано задачі розпізнавання та навчання у єдиній уніфікованій формі, яка охоплює увесь спектр обсягів навчальних вибірок, що включає вибірки нульового обсягу. Доведено, що розв'язання задач у наведеному формулюванні виключає отримання непридатної стратегії. Сформульовано поняття стратегій розпізнавання та навчання, що мінімізують максимальне відхилення досягнутої якості від бажаної, яка, можливо, є недосяжною. Наведено приклади побудови таких стратегій та їхнього порівняння з широковживаними методами, що базуються на найвірогіднішому оцінюванні.

Cite:
Schlesinger, Vodolazskiy. (2022). Minimax deviation strategies for machine learning and recognition with short learning samples. Cybernetics and Systems Analysis, 58 (6), 15–29. doi: https://doi.org/10.1007/s10559-023-00519-9 http://jnas.nbuv.gov.ua/article/UJRN-0001368545