Abstract
The implementation of the WaldBoost algorithm is considered, and its modification is proposed, which allows to significantly reduce the number of weak classifiers to achieve a given classification accuracy. The efficiency of the proposed algorithm is shown by specific examples. The paper studies modifications of compositions (ensembles) of algorithms for solving real-time pattern recognition problems. The aim of the study is to improve the known machine learning algorithms for pattern recognition using a minimum amount of time (the minimum number of used classifiers) and with a given accuracy of the results. We consider the implementation of the WaldBoost algorithm, which combines two algorithms: adaptive boosting of weak classifiers – AdaBoost (adaptive boosting), which has a high generalizing ability, and the sequential probability ratio test – SPRT (Wald test), which is the optimal rule of decision-making when distinguishing two hypotheses. It is noted that when using the WaldBoost, the values of the actual probability of classification errors, as a rule, are less than given because of the approximate boundaries of the SPRT, so that the classification process uses an excessive series of weak classifiers. In this regard, we propose a modification of the WaldBoost based on iterative refinement of the decision boundaries, which can significantly reduce the number of used weak classifiers required for pattern recognition with a given accuracy. The efficiency of the proposed algorithm is shown by specific examples. The results are confirmed by statistical modeling on several data sets. It is noted that the results can be applied in the refinement of other cascade classification algorithms.
Highlights
Задачей исследования является совершенствование известных алгоритмов машинного обучения для распознавания образов с использованием минимального количества времени и с заданной достоверностью результатов
Modification of the WaldBoost algorithm to improve the efficiency of solving pattern recognition problems in real-time
The efficiency of the proposed algorithm is shown by specific examples
Summary
Задачей исследования является совершенствование известных алгоритмов машинного обучения для распознавания образов с использованием минимального количества времени (минимального количества используемых классификаторов) и с заданной достоверностью результатов. Отмечается, что при использовании WaldBoost значения фактических вероятностей ошибок классификации, как правило, оказываются меньше заданных из-за используемых приближенных границ SPRT, вследствие чего в процессе классификации используется излишняя серия слабых классификаторов. В связи с этим предлагается модификация алгоритма WaldBoost, основанная на итерационном уточнении границ принятия решения, позволяющая значительно сократить количество используемых слабых классификаторов, необходимых для распознавания образов с заданной точностью.
Talk to us
Join us for a 30 min session where you can share your feedback and ask us any queries you have