💪🏻

Double DQN

생성일

2024/07/22 02:59

태그

강화학습

작성자

Double DQN

1. Double DQN 개요

일반적인 Q-learning에서 target을 계산할 때 max 연산자를 통해 계산하기 때문에, Q-value가 overestimate 되는 문제가 생긴다. 만약 Q-value에 대한 추정 시 모든 값이 overestimate 된다면, 어차피 Q-value를 최대로 하는 action을 선택하도록 만드는 policy를 찾는 것이 주요한 목적이므로 별 문제가 되지 않느나 RL에서는 모든

(s,a)

에 대해서 고려하지 않고 sample에 대해서만 Q-value를 추정하므로 문제가 된다. 따라서 Double Q-learning은 이러한 overestimation bias를 해결하기 위해 target 내에서 action을 선택하는 부분과 action에 대해 Q-value를 구하는 과정을 나누어 적용한다. Double Q-learning에서는 Q-table을 2개로 나누어 이 과정을 수행하였으나, DQN에서는 target network의 사용으로 인하여 이미 서로 다른 두 개의 parameter가 존재하므로 이를 활용한다.

•

Double DQN의 loss function

L(\theta) = [r_{t+1}+\gamma \hat Q(s_{t+1}, \displaystyle\argmax_a Q(s_{t+1}, a ; \theta) ; \hat \theta) - Q(s_t,a_t ;\theta)]^2

⇒ Target에서 action을 선택할 때

\theta

를 사용한 network에서 선택하도록 만든다. 따라서 이 경우 선택된 action이

\hat \theta

를 기반으로 선택한 action에 대해서도 항상 max라는 보장은 없기 때문에 overestimate가 줄어들게 된다.

2. Prioritized Replay 개요

Online RL agent는 parameter update 시 시간의 흐름에 따라 얻어진 data를 사용한다. 이는 연속된 sample들이 강한 상관관계를 가지게 되는 temporal correlation 문제를 유발하며, 드물게 얻어지는 경험에 대해서 빠른 폐기를 한다는 것에서 단점을 가진다. 이를 보완하기 위해 DQN에서는 Replay buffer를 도입하여 transition을 저장하여 replay buffer로부터 minibatch의 크기만큼 sampling하여 사용한다. 이 경우 중요한 sample과 그렇지 않은 sample이 추출될 확률이 동일하다. 그러므로 중요한 sample에 가중치를 부여하여 더 자주 sampling 되도록 만들 필요가 있다. 이때 중요한 sample의 판단은 TD error의 크기로 평가하는데, TD error가 크다는 것은 해당 state에서 예측한 Q-value에 대한 개선이 많이 필요하다는 것이고, 개선에 대한 많은 정보를 담은 transition이므로 중요하다고 판단하는 것이다. 그러나 여기에도 sample의 다양성 감소와 bias에 대한 문제가 있다. 따라서 stochastic sampling prioritization과 importance sampling weights를 도입하여 문제를 완화한다.

3. Prioritizing with TD error

•

Model-based

예를 들어 value-iteration의 경우 prioritizing update를 사용하면 더 효율적인 경우가 많은데, 이때 모든 state에 대해서 동등하게 update하는 것이 아니라 state value의 변화량이 가장 큰 state에 대해서 우선적으로 update한다. 이렇게 되면 현재 policy에 대해서 Q-value를 찾을 때 영향력이 큰 state부터 update를 반영하게 되므로 성능이 향상된다. 그리고 이는 중요한 update의 결과가 즉시 반영되는 비동기적 방식에서 더 나은 성능을 보인다.

•

Model-free

대부분의 RL 환경에서 성공에 대한 transition보다 실패에 대한 transition이 더 많이 나타나는 경향이 있다. 따라서 특정 시도에 대해 성공적인 결과로 이어졌을 때, value 차이가 매우 커지게 된다. 왜냐하면 특정 state에서 성공적인 action을 취했다는 것은 그 action에 의해 받게 되는 reward가 커진다는 것과 action의 결과 이동하게 되는 state가 더 높은 가치를 가진 state라는 의미가 되기 때문이다. 따라서 만약 단순히 Replay buffer에서 동등하게 sampling 할 경우 위와 같은 유의미한 sample이 뽑히는 경우가 적을 것이므로 Prioritizing을 사용한다.

⇒ 결과적으로 Prioritizing는 현재 state에서 특정 transition을 취했을 때 학습할 정보가 많은 것을 더 우선적으로 고려하도록 만들어주어야 하며 따라서 TD-error를 가지고 그것을 판단하게 된다. 이때 TD-error는 이미 DQN-learning 과정 중에서 찾아지는 값이므로 실용적이다.

•

식

TD-error를 반영하여 sampling하기 위한 가중치는 아래 식과 같다.

•

문제점

Replay buffer의 전체 transition을 update하는 것은 연산량이 많이 필요하므로 mini batch로 sampling 된 transition에 대해서만 update된다. 따라서 TD-error의 초기값 큰 transition에 대해서는 자주 선택되어 update가 정확하게 되고 나머지는 그렇지 않다. 그러므로 sample의 다양성이 줄어 overfitting의 가능성이 생긴다. 심지어, sampling을 진행할수록 priority가 계속 변화하기 때문에 data sampling을 진행하는 기반이 되는 분포가 계속 변화하는 문제가 있다.

•

Sample 다양성에 관한 문제 해결

Stochastic sampling prioritization을 사용한다. Sample에 대한 prioritization을 하는 확률이

P(i) = \frac {p^\alpha}{\sum_k p^{\alpha} _{k}}

로 주어지는데, 이때

\alpha

의 값이 1에 가까울수록 TD-error를 바탕으로 선택될 비율을 높이게 되고 만약 0이 된다면 prioritization을 전혀 고려하지 않는 경우가 된다. 정리하자면

\alpha

가 얼마나 prioritization을 사용할 것인지에 대한 hyperparameter가 된다.

•

Sampling 분포 변화에 따른 bias 문제 해결

Importance sampling weights를 사용하여 samling 분포를 보정한다. 이때 importancee sampling weights의 값은

w_i = (\frac{1}{N} \ \frac{1}{P(i)})^\beta

로 주어지게 된다. 만약

\beta

가 1이 된다면 완벽한 보정이 이뤄지게 된다. 정리하면 아래와 같다.

unbiased update를 위해서는 training의 마지막에

\beta

가 1에 수렴하도록 만들어주는 것이 좋다. 따라서 초기값

\beta_0

를 1로 수렴하도록 하는 linearly anneal을 적용한다.

4. Double DQN with prioritized replay pseudo code

***

\triangle

은 parameter update를 위한 저장 공간