💪🏻

Dueling DQN

생성일

2024/07/22 03:00

태그

강화학습

작성자

•

Advantage fuction과 state-value function을 각각 계산하고 이를 결합하여 action value function 계산

•

CNN encoder는 공유하면서 각 함수를 계산하기 위해서 FC layer의 parameter만 다르게 적용

•

Action이 환경 내에서 중요하지 않은 경우에도 state의 value를 평가하는데 유용

•

일반적으로 특정 state에서 어떤 action을 수행할 것인지에 집중(Policy) 

◦

Q(s,a)Q(s,a)Q(s,a)를 학습

•

State에서 action이 환경에 미치는 영향이 거의 없는 경우 V(s)V(s)V(s)를 학습하는 것이 State value 판단에 있어 더 중요 

•

첫번째 Case (차가 먼 위치에 존재) 

◦

action 선택에 대한 중요도 감소

◦

State-value를 계산할 때만 앞의 차가 고려 대상

•

두번째 Case (차가 가까운 위치에 존재)

◦

어떤 action을 하느냐가 중요도 

◦

Advantage 계산 시에도 각 차들에 집중

•

Action value function, Advantage function, State value function 사이의 관계

•

Q-value를 max로 만드는 action을 적용한 것이 결국 optimal state value 

◦

optimal action인 경우 Advantage function=0

•

Dueling DQN에서 state value function과 Advantage function 계산에 있어 서로 다른 network를 사용

◦

Optimal action에 대해서 이 성질을 보장하기 어려움 

◦

state value는 하나의 값으로 나오는 반면 Advantage function은 모든 action에 대해 고려되므로 shape 문제 발생

◦

하나의 Q-value를 분해하는 경우가 특정되지 않음

▪

 (V(s)+const)+(A(s,a)−const)(V(s)+const) + (A(s,a) -const)(V(s)+const)+(A(s,a)−const)

▪

V(s;θ,β)V(s ; \theta, \beta)V(s;θ,β)와 A(s,a;θ,α)A(s,a ; \theta, \alpha)A(s,a;θ,α)가 좋은 추정량이라고 보기 어려움 

•

방안 1) Optimal action에 대한 advantage function 항을 추가

◦

Max 항에 대한 변동성이 크므로(자주 변화) 안정성이 떨어짐

•

방안2) Mean 값을 제외

◦

 Optimal action에 대해 Max-mean만큼의 오차가 발생

•

목적이 Q를 maximize하는 action을 찾는 것 

◦

Advantage function으로 구성된 항을 maximization 하는 것과 같음 

◦

 max를 제외하든 mean을 제외하든 policy를 찾는데는 영향을 미치지 않음 

▪

State-value function은 action에 따라 변하는 것이 아니기 때문 