💪🏻

DQN

생성일

2024/07/22 02:58

태그

강화학습

작성자

DQN

1. DQN 개요

DQN은 높은 차원의 이미지 input을 CNN을 기반으로 Q-learning 모델에 적용한 알고리즘이다. 기존 Q-learning에서 Q-table을 통해 update 했으나, DQN은 Q-network를 사용하여 Policy evaluation을 진행한다. DQN에서는 input으로 large state space 또는 continuous state space를 처리할 수 있는데, 이는 CNN의 convolution layer가 높은 차원의 input을 낮은 차원의 feature vector로 변환해주기 때문이다. 그러나 output으로는 각 action에 대한 Q-value가 출력되어야 하므로 action space는 이산적이고 유한하며 state space에 비해 작은 차원만 가능하다.

2. DQN 구조

Playing Atari with Deep Reinforcement Learning에서 소개된 DQN의 구조이다.

•

Input

Input으로 특정 순간의 화면이 들어가게 되면, Markov property를 만족할 수 없기 때문에, 4개의 frame을 묶어서 input으로 입력한다. 이때 tabular method와 다르게 전체 state에 대한 입력이 아닌, 특정 state에 대한 입력을 받아 처리하므로 state space의 차원에 제약을 받지 않는다.

•

Convolution layer

입력된 이미지를 합성곱 연산을 사용하여 feature vector로 변환하고 이 과정에서 차원이 줄어들게 되므로 높은 차원의 이미지 입력도 처리할 수 있게 된다.

•

Output

결과적으로 각 action에 대한 Q-value를 출력하게 된다. 전체 과정의 목적은 출력되는 Q-value가 optimal Q-value에 근사하도록하는 것이며, 이를 위해서 Q-network의 parameter인

\theta

를 조정하는 것이 목적이 된다. Target에서는 output 중에 가장 높은 Q-value를 갖는 action을 선택하게 된다.

3. Naive DQN

•

Q-learning 

Q(S_t, A_t) ← Q(S_t, A_t) + \alpha [R_{t+1} + \gamma \displaystyle\max_a Q(S_{t+1} ,a ) - Q(S_t, A_t)]

⇒ target에서는 Q에 대한

greedy

policy로 action을 선택하고 현재 state에서는 behavior policy인 Q에 대한

\epsilon - greedy

policy로 action을 선택하여 해당 state에서의 Q-value와 target과의 차이가 작아지는 방향으로 학습하게 된다

•

Naive DQN

L(\theta) = [r_{t+1} + \gamma \displaystyle \max_a Q(s_{t+1}, a ; \theta) - Q(s_t, a_t ; \theta)]^2

⇒ MSE로 손실함수를 정의하여 이를 최소화 하는 방향으로 학습을 진행한다.

•

문제점

Temporal correlations

: Online-RL에서는 시간의 흐름에 따라 얻어진 data를 바탕으로 parameter update를 진행하게 되므로 data 사이의 상관성이 존재한다. 이는 parameter update를 통해 근사한 함수가 overfitting 문제를 일으킬 수 있다는 점에서 문제가 있다. 또한 한번 사용한 data를 다시 사용하지 않기 때문에 드물게 나오는 experience에 대해서는 그것이 중요할지라도, 빠르게 폐기되어버린다는 문제점을 가진다

Non-stationary target

: Target을 계산 할 때 사용하는 Q-network가 update 대상 (

Q(S_t, A_t)

)를 계산할 때 사용하는 network와 동일하기 때문에

\theta

update에 따라 target function이 자주 변화하게 되어, 수렴이 어려워지는 문제가 발생한다.

4. Replay buffer

Temporal correlation 문제를 해결하기 위해서 DQN에서는 replay buffer를 도입한다. 따라서

{(s, a, r, s’)}

으로 이루어진 data를 replay buffer에 저장해두고 minibatch의 크기만큼 random sampling 하여 학습에 사용한다. 결과적으로 data 사이의 temporal correlation이 줄어들게 되고 minibatch를 사용하므로 학습 속도가 향상되며, 과거의 경험을 재사용할 수 있다는 점에서 유용하다.

5. Target Network

Target function이 자주 변하는 문제는 수렴을 어렵게 만든다는 문제점이 있기 때문에, DQN에서는 Target network를 도입하여 이 문제를 해결한다. 먼저 Target Q-network의 parameter

\hat\theta

과 behavior Q-network parameter

\theta

를 동일하게 설정하여 학습을 시작한다. 학습 과정에서는

\hat\theta

는 고정하고

\theta

는 지속적으로 update한다. 일정 step이 지난 이후에

\hat\theta

를

\theta

로 update한다. 이와 같은 방식을 적용하여 Target function이 지속적으로 변화하는 문제를 해결할 수 있다.

6. DQN 정리

현재 state StS_tSt​에서 Behavior network의 parameter를 사용하여, ϵ−greedy\epsilon -greedyϵ−greedy Policy에 의해 action ata_tat​ 선택

1의 결과 얻게 된 transition (st,at,rt+1,st+1)(s_t, a_t, r_{t+1}, s_{t+1})(st​,at​,rt+1​,st+1​)을 Replay buffer에 저장

Replay Buffer에는 최근 N개의 transition 정보가 저장되어 있으며, 2의 결과 얻어진 새 정보를 저장하면서, 가장 오래된 transition 삭제

Replay Buffer에서 minibatch의 크기만큼 random으로 transition sampling

주어진 N개의 data에 대해 Target network의 parameter를 사용하여 target value 계산

Loss function L(θ)L(\theta)L(θ) 계산

Behavior network parameter update

일정 step 이후에 Target network parameter update

**과정 6, 과정 7에서 사용되는 수식

7. DQN pesudo code

•

CNN in DQN

DQN에서는 모든 action에 대한 Q-value를 추정하기 위해서 1개의 frame이 아니라, 4개의 frame을 엮어서 넣어주는데 이는 markov property를 만족할 수 있도록 하는 조치이다. 따라서 차원이 매우 커지게 되는데 CNN을 사용하므로 convolution layer를 통해 차원 축소를 한다. 이때 CNN의 max pooling은 사용하지 않는다. 기존의 CNN에서 max pooling을 사용하는 이유는 translation invariance를 위해서이다. 그러나 게임에서는 위치 변화에 따라 output이 달라지는 것이 타당하기 때문에 max pooling은 적용하지 않는 것이 일반적이다.

8. Multi-step Learning

Multi-step learning은 학습에 있어 Target을 계산할 때, n-step return을 사용하여 학습하는 것이다. 이때 적당한 step을 사용하면 학습 속도의 개선을 이룰 수 있다. Multi-step learning에서 사용하는 loss function은 아래와 같다.