Abstract
In this paper, we consider policies for the sequential resource allocation under the multi-armed bandit problem in a stochastic environment. In this model, an agent sequentially selects an action from a given set and an environment reveals a reward in return. In the stochastic setting, each action is associated with a probability distribution with parameters that are not known in advance. The agent makes a decision based on the history of the chosen actions and obtained rewards. The objective is to maximize the total cumulative reward, which is equivalent to the loss minimization. We provide a brief overview of the sequential analysis and an appearance of the multi-armed bandit problem as a formulation in the scope of the sequential resource allocation theory. Multi-armed bandit classification is given with an analysis of the existing policies for the stochastic setting. Two different approaches are shown to tackle the multi-armed bandit problem. In the frequentist view, the confidence interval is used to express the exploration-exploitation trade-off. In the Bayesian approach, the parameter that needs to be estimated is treated as a random variable. Shown, how this model can be modelled with help of the Markov decision process. In the end, we provide numerical experiments in order to study the effectiveness of these policies.
Highlights
У данiй статтi наводиться стислий огляд послiдовного аналiзу, а також мiсце в ньому послiдовного розподiлу ресурсiв
Each action is associated with a probability distribution with parameters that are not known in advance
We provide a brief overview of the sequential analysis and an appearance of the multi-armed bandit problem as a formulation in the scope of the sequential resource allocation theory
Summary
Проблема багаторуких бандитiв це послiдовна взаємодiя мiж суб’єктом, що приймає рiшення, так званим агентом, та зовнiшнiм середовищем. Метою агента є послiдовний вибiр таких дiй iз заданої множини A, якi призводять до найбiльшої можливої сукупної винагороди за n крокiв, тобто n t=1. Ключовим моментом у данiй проблемi є те, що середовище не вiдоме для агента, тобто не вiдомий розподiл iмовiрностей винагород кожної дiї моделi. Однiєю з метрик вимiрювання ефективностi стратегiї агента є його втрати Rn за n крокiв, що є рiзницею мiж очiкуваною винагородою при виборi оптимальної дiї на кожному кроцi та винагородою при виборi дiй вiдповiдно до заданої стратегiї. За характером взаємодiї супротивника видiляють два випадки: супротивник вибирає послiдовнiсть винагород на початку горизонту, тобто вiн не займається вивченням стратегiї агента; супротивник обирає винагороди на кожному кроцi, що часто формулюють в термiнах теорiї iгор, а також використовують критерiй мiнiмаксу. В iншому варiантi моделi марковських бандитiв перехiд дiї у новий стан вiдбувається на кожному кроцi незалежно вiд того, вибрана ця дiя чи нi Метою моделi є пошук послiдовностi дiй, яка призводить до найбiльшої можливої сукупної винагороди
Talk to us
Join us for a 30 min session where you can share your feedback and ask us any queries you have