💪🏻

Dueling DQN

생성일

2024/07/22 03:00

태그

강화학습

작성자

Dueling DQN

1. Dueling DQN 개요

Dueling DQN은 Advantage fuction과 State-value function을 각각 계산하고 이를 결합하여 Action value function을 계산하는 방식을 사용한다. CNN encoder는 공유하면서 각 함수를 계산하기 위해서 FC layer의 parameter만 다르게 적용하는 방식을 사용한다.

결과적으로 Dueling DQN은 state-value function과 Advantage-function을 모두 학습하여 action이 환경 내에서 중요하지 않은 경우에도 그 state의 value를 평가하는데 유용하게 사용될 수 있으며, 전반적인 state에 대한 value 평가도 가능하다.

2. Value function

보통은 특정 state에서 어떤 action을 선택할 것인지에 대한 Policy를 학습하는 것에 중점을 둔다. 따라서

Q(s,a)

를 학습하고자 한다. 그러나 특정 state에서 action이 환경에 미치는 영향이 거의 없는 경우 그 state의 value인

V(s)

를 학습하는 것이 state value 판단에 있어 더 중요할 때도 있다.

위의 예시를 보면 첫번째 Case에서는 차가 먼 위치에 있기 때문에 action 선택에 대한 중요도는 떨어지게 된다. 그러므로 State-value를 평가에만, 앞의 차를 고려한다. 반대로 차가 가까운 경우는 action 선택의 중요도가 높아지므로 Advantage에서도 각 차들에 집중하는 경향을 보인다.

3. Identifiability issue

Action value function, Advantage function, State value function 사이의 관계를 살펴보면 아래와 같다.

여기서 주목할 부분은 Q-value를 max로 만드는 action을 적용한 것이 결국 optimal state value이기 때문에, optimal action에 대해서는 Advantage function이 0이 된다는 것이다. 그러나 Dueling DQN에서는 state value function과 Advantage function 계산에 있어 서로 다른 network를 사용하기 때문에 optimal action에 대해서 이 성질을 보장하기 어렵다. 그리고 state value는 하나의 값으로 나오는 반면 Advantage function은 모든 action에 대해 고려되므로 shape에 대한 문제도 발생한다. 추가적으로 하나의 Q-value에 대해

(V(s)+const) + (A(s,a) -const)

인 경우에도 문제가 발생하지 않으므로

V(s ; \theta, \beta)

와

A(s,a ; \theta, \alpha)

가 좋은 추정량이라고 보기 어렵다. 이것이 identifiability issue를 일으킨다. 따라서 이 문제를 해결하기 위해 전자의 성질이 보장되도록 만들어주어야 하는데, 이는

V(s)

와

A(s,a)

중 하나가 정확한 estimator가 된다면 다른 하나는 자연스럽게 바른 추정량이 될 것이라는 아이디어에 기반한다. 따라서 아래와 같이 optimal action에 대한 advantage function 항을 추가한다.

그러나 여기에도 문제가 있는데, max 항에 대한 변동성이 크므로 안정성이 떨어진다는 문제점이 있다. 따라서 max 값을 제외하는 것이 아니라 mean 값을 제외하는 방식을 적용해준다.

원래 Action-value function과 State-value function , Advantage function 사이의 의미를 맞춰주기 위해서 maximum 값을 빼는 방식을 사용한 것인데, 이 부분을 mean으로 대체하였으므로 max-mean만큼의 오차가 발생한다. 그러나 훨씬 더 stable한 학습이 가능하다는 장점이 생긴다. 그리고 결국 목적 자체가 Q를 maximize하는 action을 찾는 것인데, 그것은 Advantage function으로 구성된 항을 maximization 하는 것과 같고, 따라서 max를 제외하든 mean을 제외하든 동일한 값이 빠진다고 볼 수 있으므로 policy를 찾는데는 영향을 미치지 않는다.