💪🏻

DQN

생성일

2024/07/22 02:58

태그

강화학습

작성자

DQN

1. DQN 개요

•

고차원의 이미지 입력을 처리하기 위해 CNN 구조 도입

◦

고차원/연속적 State Space 처리 가능

•

Q-Network를 통해 Q-Value를 표현

◦

모든 action에 대한 Q-Value를 출력해야 하므로 action space는 이산적이고 유한하며 state space에 비해 작은 차원만 가능

2. DQN 구조

•

Input

◦

Markov Property를 만족하도록, 4개의 frame을 묶어서 input으로 입력

◦

하나의 Frame은 속도, 방향 등의 측면에서 미래를 예측하는데 충분한 정보를 담고 있지 않음.

◦

특정 State에 대한 입력을 받아 Q-Value를 계산하기 때문에, State Space의 차원에 제약이 적다.

•

Convolution layer

◦

입력된 이미지에 합성 곱 연산을 적용하여 Feature Vector로 변환하여 차원을 줄임

◦

FC로 각 벡터를 처리하도록, Flatten 진행

◦

게임에서는 위치 정보가 중요하기 때문에, 위치 정보를 뭉개는 Max Pooling 연산은 수행하지 않음

•

Output

◦

각 action에 대한 Q-Value

◦

Q-Value가 Optimal Q-Value에 근사하도록 하는 것을 목적으로 하여 Network의 Parameter를 Update한다.

3. Naive DQN

•

Q-learning 

Q(S_t, A_t) ← Q(S_t, A_t) + \alpha [R_{t+1} + \gamma \displaystyle\max_a Q(S_{t+1} ,a ) - Q(S_t, A_t)]

◦

Target policy:  Q에 대한 greedygreedygreedy policy로 action 선택

◦

Behavior policy: Q에 대한 ϵ−greedy\epsilon - greedyϵ−greedy policy로 action을 선택

◦

해당 state에서의 Q-value와 target과의 차이가 작아지는 방향으로 학습

•

Naive DQN

L(\theta) = [r_{t+1} + \gamma \displaystyle \max_a Q(s_{t+1}, a ; \theta) - Q(s_t, a_t ; \theta)]^2

◦

MSE로 손실함수 정의 후 최소화하는 방향으로 update

•

문제점

◦

Temporal correlations

▪

Online RL에서는 시간의 흐름에 따라 얻은 transition을 바탕으로 parameter update 진행

▪

transition 사이의 상관성 존재 ⇒ 특정 상황에 과도하게 적응할 수 있다 (과적합)

▪

드물게 등장하는 중요한 experience에 대해 충분한 학습 X

◦

Non-stationary target

▪

Target을 계산할 때 사용하는 Q-Network와 Update의 대상이 되는 Q-Value를 계산하는 Network가 동일하기 때문에, Target function이 자주 변화하게 되어 수렴이 어렵다.

4. Replay buffer

•

Temporal correlation 문제 해결

•

(s,a,r,s’){(s, a, r, s’)}(s,a,r,s’)으로 이루어진 Transition을 replay buffer에 저장 후 minibatch의 크기만큼 random sampling 하여 학습에 사용

•

Transition 사이의 temporal correlation 감소 (서로 다른 experience에서의 transition으로 Batch 구성 가능)

•

Minibatch를 사용하므로 학습 속도가 향상

•

과거의 경험을 재사용할 수 있다 (Buffer 내부의 transition이 바로 폐기되지 않음)

5. Target Network

•

Target Q-network의 parameter θ^\hat\thetaθ^과 behavior Q-network parameter θ\thetaθ를 동일하게 설정하여 학습 시작

•

학습 과정에서는 θ^\hat\thetaθ^는 고정하고 θ\thetaθ는 지속적으로 update

•

일정 step이 지난 이후에 θ^\hat\thetaθ^를 θ\thetaθ로 update

•

이와 같은 방식을 적용하여 Target function이 지속적으로 변화하는 문제 해결

6. DQN

현재 state StS_tSt​에서 Behavior network의 parameter를 사용하여, ϵ−greedy\epsilon -greedyϵ−greedy Policy에 의해 action ata_tat​ 선택

1의 결과 얻게 된 transition (st,at,rt+1,st+1)(s_t, a_t, r_{t+1}, s_{t+1})(st​,at​,rt+1​,st+1​)을 Replay buffer에 저장

Replay Buffer에는 최근 N개의 transition 정보가 저장되어 있으며, 2의 결과 얻어진 새 정보를 저장하면서, 가장 오래된 transition 삭제

Replay Buffer에서 minibatch의 크기만큼 random으로 transition sampling

주어진 N개의 data에 대해 Target network의 parameter를 사용하여 target value 계산

Loss function L(θ)L(\theta)L(θ) 계산

Behavior network parameter update

일정 step 이후에 Target network parameter update

** 목적함수 설정 및 미분

8. Multi-step Learning

Multi-step learning은 학습에 있어 Target을 계산할 때, n-step return을 사용하여 학습하는 것이다. 이때 적당한 step을 사용하면 학습 속도의 개선을 이룰 수 있다. Multi-step learning에서 사용하는 loss function은 아래와 같다.