정책 경사

정책경사 Policy Gradient

DQN 등 가치 기반 강화학습은 가치를 정확히 추정하는 것이 목표
- 여러 행동 중에 가치가 가장 높은 행동을 하는 것이 사용
강화학습의 목표는 정책의 발견이므로, 굳이 가치를 정확히 추정할 필요는 없음
또한 가치 기반 강화학습은 행동 공간이 연속적인 경우에는 사용이 어려움
확률론적 정책의 학습이 어려움
예) 가위 바위 보:
- 모든 손의 가치는 같음
- 예측 불가능하게 내는 것이 중요
정책 경사는 가치를 추정하지 않고 성능이 극대화되도록 정책을 직접 개선
수익이 높은 행동의 확률을 높이고, 수익이 낮은 행동의 확률을 낮춤

파라미터화된 정책 parameterized policy

정책: 한 상태에서 할 행동을 정해놓은 것
확률적 정책: 행동이 결정되어 있지 않고 각각의 행동이 확률 $π (a ∣ s, θ)$ 을 따름
확률은 파라미터 $θ$ 에 따라 달라짐
인공신경망 모형으로 구현할 경우 출력층에 소프트맥스 함수를 적용, 각 행동의 확률을 출력

파라미터화된 정책의 장점

행동을 결정하기 쉬움
- 가치 기반 강화학습에서는 각각의 행동에 대해 가치를 계산해야 하므로, 비용이 큼
- 정책 기반 강화학습에서 정책은 학습가능한 함수이므로 행동이 바로 도출됨
매끄러운 변화
- 가치를 추정할 경우, 가치가 가장 높은 행동을 선택
- 가치 추정 결과의 작은 변화로도 정책이 급격하게 변할 수 있음
- 파라미터화된 정책은 파라미터의 변화에 따라 매끄럽게 변함
탐색
- 강화학습이 이루어지려면 다양한 행동을 탐색해봐야 함
- 확률론적 정책은 탐색 매커니즘을 내재
- 결정론적 정책은 항상 동일한 행동을 선택. 탐색이 불가능
- $ϵ$ -greedy와 같은 별도의 탐색 방법이 필요 → $ϵ$ -greedy 자체가 가치 추정을 방해

목표 함수 objective function

J (θ) = v_{π_{θ}} (s_{0})

파라미터화된 정책의 학습은 목표 함수 $J (θ)$ 를 최대화하는 방식으로 이루어짐
$v_{π_{θ}} (s_{0})$ : 정책 $π_{θ}$ 를 따를 때의 상태 가치
- 상태 가치 state value: 한 상태에서 얻을 수 있는 수익의 기대값
$s_{0}$ : 시작 상태
시작 상태의 상태 가치에는 이후 모든 행동의 보상이 할인되어 포함되어 있으므로 전체 수익의 기대값과 같음
경사상승법을 이용하여 목표 함수가 증가하는 방향으로 파라미터 업데이트

정책 경사 정리 policy gradient theorem

목표함수의 미분과 정책의 미분의 관계에 대한 정리

\nabla J (θ) \propto s \sum μ (s) a \sum q_{π} (s, a) \nabla_{θ} π (a ∣ s, θ)

$μ (s)$ : 각 상태 $s$ 의 확률
$q_{π} (s, a)$ : 상태 $s$ 에서 행동 $a$ 의 가치
함의:
- 목표 함수를 개선하기 위해서 정책의 경사만 고려하면 됨
- 가치 함수는 미분가능하지 않아도 됨(자유로운 형태를 취할 수 있음)
- 다양한 종류의 보상에 적용할 수 있음

REINFORCE 알고리즘

하나의 에피소드(episode)를 현재 정책에 따라 시행한다
궤적(trajectory)을 기록한다
에피소드가 끝난 후, 각 시점 $t$ 의 수익 $G_{t}$ 를 계산한다
파라미터 업데이트를 한다

에피소드: 강화학습에서 시작에서 끝까지 한 번의 과정
- 예: 바둑 한 판, 문장 하나
궤적: 하나의 에피소드에서 거쳐간 행동과 상태들

REINFORCE 알고리즘에서 파라미터 업데이트

θ \leftarrow θ + G_{t} \nabla_{θ} lo g π_{θ} (a ∣ s)

수익 $G_{t}$ 가 클수록 확률이 높아지는 방향으로 파라미터를 더 많이 업데이트
기존의 확률이 낮으면 파라미터를 더 많이 업데이트

\nabla_{θ} lo g π_{θ} (a ∣ s) = \frac{\nabla _{θ} π _{θ} ( a ∣ s )}{π _{θ} ( a ∣ s )}

퀴즈

문제 1 / 8맞음: 0힌트: 0틀림: 0채점중: 0남음: 8

정책 경사의 핵심 설명으로 가장 알맞은 것은 무엇입니까?

○가치를 정확히 추정하지 않고 성능이 극대화되도록 정책을 직접 개선한다
○항상 모든 행동의 가치를 정확히 계산한 뒤 최댓값만 선택한다
○전이 함수를 알고 있을 때만 사용할 수 있다
○연속적인 행동 공간에서는 사용할 수 없다

퀴즈를 풀려면 대화형 기능을 불러와야 합니다.

정책 경사의 핵심 설명으로 가장 알맞은 것은 무엇입니까?

정책 경사는 가치 기반 방법과 달리 정책 자체를 직접 조정합니다.

가치를 정확히 추정하지 않고 성능이 극대화되도록 정책을 직접 개선한다항상 모든 행동의 가치를 정확히 계산한 뒤 최댓값만 선택한다전이 함수를 알고 있을 때만 사용할 수 있다연속적인 행동 공간에서는 사용할 수 없다

가치를 정확히 추정하지 않고 성능이 극대화되도록 정책을 직접 개선한다

가치 기반 강화학습의 한계로 슬라이드에서 언급된 것을 모두 고르세요.

정책 경사가 등장하는 이유는 가치 추정 중심 접근이 불편한 경우가 있기 때문입니다.

행동 공간이 연속적인 경우에는 사용이 어렵다확률론적 정책의 학습이 어렵다강화학습의 목표가 정책의 발견인데 가치를 정확히 추정할 필요가 항상 있는 것은 아니다상태 가치 함수를 절대 계산할 수 없다

행동 공간이 연속적인 경우에는 사용이 어렵다, 확률론적 정책의 학습이 어렵다, 강화학습의 목표가 정책의 발견인데 가치를 정확히 추정할 필요가 항상 있는 것은 아니다

파라미터화된 확률적 정책에서 각 행동의 확률은 무엇에 따라 달라집니까?

슬라이드에서는 확률 (\pi(a \mid s, \theta))를 사용했습니다.

파라미터 (\theta)에피소드 번호만항상 고정된 전이 함수보상의 단위

파라미터 (\theta)

파라미터화된 정책의 장점으로 제시된 것을 모두 고르세요.

정책 기반 방법은 행동 도출, 변화의 매끄러움, 탐색 측면에서 장점을 가집니다.

행동을 결정하기 쉽다파라미터 변화에 따라 정책이 매끄럽게 변한다확률론적 정책은 탐색 매커니즘을 내재한다결정론적 정책만으로 탐색이 자동 보장된다

행동을 결정하기 쉽다, 파라미터 변화에 따라 정책이 매끄럽게 변한다, 확률론적 정책은 탐색 매커니즘을 내재한다

슬라이드의 목표 함수 (J(\theta))는 무엇으로 정의됩니까?

목표 함수는 시작 상태의 상태 가치로 표현되었습니다.

(v_{\pi_\theta}(s_0))(q_\pi(s,a)-v_\pi(s))(\max_a Q(s,a))(p(s',r \mid s,a))

(v_{\pi_\theta}(s_0))

정책 경사 정리의 함의로 올바른 것을 모두 고르세요.

정책 경사 정리는 목표 함수 미분과 정책 미분의 관계를 제공합니다.

목표 함수를 개선하기 위해 정책의 경사만 고려하면 된다가치 함수는 미분가능하지 않아도 된다다양한 종류의 보상에 적용할 수 있다가치 함수는 반드시 선형 함수여야 한다

목표 함수를 개선하기 위해 정책의 경사만 고려하면 된다, 가치 함수는 미분가능하지 않아도 된다, 다양한 종류의 보상에 적용할 수 있다

REINFORCE 알고리즘에서 에피소드가 끝난 후 계산하는 것은 무엇입니까?

REINFORCE는 에피소드 궤적을 기록한 뒤 수익을 사용해 업데이트합니다.

각 시점 (t)의 수익 (G_t)환경의 전체 전이 함수모든 상태의 정확한 방문 확률다음 정책의 이름

각 시점 (t)의 수익 (G_t)

REINFORCE 업데이트에서 (G_t)가 클수록 어떤 일이 일어납니까?

수익이 높은 행동은 앞으로 더 자주 나오도록 확률을 높이는 방향으로 업데이트됩니다.

확률이 높아지는 방향으로 파라미터를 더 많이 업데이트한다해당 행동의 확률을 반드시 0으로 만든다학습률을 자동으로 음수로 바꾼다정책의 모든 행동 확률을 동일하게 만든다

확률이 높아지는 방향으로 파라미터를 더 많이 업데이트한다