가치

가치 함수와 정책

가치(value): 수익(return)의 기댓값
- 정책에 따라, 다음 상태의 행동이 달라지므로 얻을 수 있는 보상도 달라짐
- 상태나 행동의 가치도 달라짐
정책(policy): 상태에서 행동을 선택하는 규칙 또는 행동별 선택 확률
- 보통 $π$ 로 표시
- 결정론적 정책: 같은 상태에는 항상 같은 행동
- 확률론적 정책: 같은 상태에서도 확률분포에 따라 다른 행동 선택

상태 가치 함수

정책 $π$ 를 따르는 동안 상태 $s$ 에서 얻을 수 있는 수익의 기댓값

v_{π} (s) = E_{π} [G_{t} ∣ S_{t} = s]

간단히 V-함수
벨만 방정식:

v_{π} (s) = a \sum π (a ∣ s) s^{'}, r \sum p (s^{'}, r ∣ s, a) [r + γ v_{π} (s^{'})], \forall s \in S

$π (a ∣ s)$ : 현재 상태 $s$ 에서 각 행동 $a$ 의 확률
$p (s^{'}, r ∣ s, a)$ : 현재 상태 $s$ 에서 행동 $a$ 를 했을 때, 다음 상태 $s^{'}$ 과 보상 $r$ 의 확률
$r + γ v_{π} (s^{'})$ : 다음 상태 보상 $r$ 과 다음 상태의 가치의 합

행동 가치 함수

상태 $s$ 에서 행동 $a$ 를 취한 뒤 정책 $π$ 를 따를 때 얻는 수익의 기댓값

q_{π} (s, a) = E_{π} [G_{t} ∣ S_{t} = s, A_{t} = a]

간단히 Q-함수
행동 가치 함수의 벨만 방정식

q_{π} (s, a) = s^{'}, r \sum p (s^{'}, r ∣ s, a) [r + γ v_{π} (s^{'})], \forall s \in S

상태 가치 함수와 행동 가치 함수의 관계

v_{π} (s) = a \sum π (a ∣ s) q_{π} (s, a)

이득 advantage

이득: 현재 상태에 얻을 수 있는 평균적 수익(상태 가치)에 비해 특정 행동을 했을 때 더 얻을 수 있는 평균 수익(행동 가치)

A_{π} (s, a) = q_{π} (s, a) - v_{π} (s)

위의 식을 행동 가치에 대해 다시 쓰면, 행동 가치는 상태 가치 + 이득으로 구성됨

q_{π} (s, a) = v_{π} (s) + A_{π} (s, a)

같은 상태의 서로 다른 행동도 상태 가치를 공유
- 예: 카트폴에서 기둥이 똑바로 서있으면 왼쪽으로 가든 오른쪽으로 가든 행동 가치는 같음

최적성 optimality

될 수 있는 최상의 상태에 있음
최적 정책: 모든 상태에서 다른 정책보다 기대 수익이 크거나 같은 정책
경우의 수가 많기 때문에 실제로는 최적 정책을 구할 수 있는 경우는 별로 없음
강화학습은 최적정책의 근사를 구하는 것으로 볼 수 있음
모든 상태에 가장 좋은 행동을 할 필요는 없고, 자주 마주치는 상태에만 좋은 행동을 해도 현실적으로는 충분
단, 적대적 공격(adversarial attack)에 취약할 수 있음

바둑 AI에 대한 적대적 공격

바둑 AI의 특정한 취약점을 공격하여 실수를 하도록 유도
인간 초보자도 AI에 97%의 승률을 달성
Adversarial Policies Beat Superhuman Go AIs (https://arxiv.org/pdf/2211.00241)

바둑 AI의 특정 취약점을 공격하는 적대적 정책 예시

최적 가치 함수

최적 상태 가치 함수: 모든 상태에서 모든 정책에 걸쳐 최대 가치를 갖는 상태 가치 함수

v_{*} (s) = π max v_{π} (s)

최적 행동 가치 함수: 모든 상태-행동에서 모든 정책에 걸쳐 최대 가치를 갖는 행동 가치 함수

q_{*} (s, a) = π max q_{π} (s, a)

최적 행동 이득 함수: 모든 상태-행동에서 모든 정책에 걸쳐 최대 가치를 갖는 행동 이득 함수
최적 정책은 여러 개여도 최적 가치 함수, 이득 함수는 하나만 존재

벨만 최적성 방정식

최적 상태 가치 함수

v_{*} (s) = a max s^{'}, r \sum p (s^{'}, r ∣ s, a) [r + γ v_{*} (s^{'})]

최적 행동 가치 함수

q_{*} (s, a) = s^{'}, r \sum p (s^{'}, r ∣ s, a) [r + γ a^{'} max q_{*} (s^{'}, a^{'})]

퀴즈

문제 1 / 11맞음: 0힌트: 0틀림: 0채점중: 0남음: 11

가치(value)의 의미로 가장 알맞은 것은 무엇입니까?

○정책을 따를 때 얻을 수익(return)의 기댓값
○현재 시점에 받은 보상(reward) 그 자체
○정책을 따를 때 얻을 수익의 분산
○정책을 따를 때 얻을 수 있는 수익 중 최댓값

퀴즈를 풀려면 대화형 기능을 불러와야 합니다.

가치(value)의 의미로 가장 알맞은 것은 무엇입니까?

한 시점에 받은 보상과 여러 시점에 걸쳐 누적되는 수익을 구분해 보세요.

정책을 따를 때 얻을 수익(return)의 기댓값현재 시점에 받은 보상(reward) 그 자체정책을 따를 때 얻을 수익의 분산정책을 따를 때 얻을 수 있는 수익 중 최댓값

정책을 따를 때 얻을 수익(return)의 기댓값

정책(policy)에 대한 설명으로 올바른 것을 모두 고르세요.

확률론적이라는 말은 선택 확률이 있다는 뜻이지, 반드시 균등하다는 뜻은 아닙니다.

상태에서 행동을 선택하는 규칙 또는 행동별 확률분포이다보통

π

로 표시한다결정론적 정책은 같은 상태에서 항상 같은 행동을 선택한다확률론적 정책은 가능한 모든 행동을 같은 확률로 선택한다

상태에서 행동을 선택하는 규칙 또는 행동별 확률분포이다, 보통

π

로 표시한다, 결정론적 정책은 같은 상태에서 항상 같은 행동을 선택한다

상태 가치 함수 $v_{π} (s)$ 는 무엇을 나타냅니까?

V-함수는 상태만 조건으로 둡니다. 첫 행동을 고정하거나 정책 전체에서 최댓값을 취하면 다른 가치 함수가 됩니다.

정책

π

를 따르며 상태

s

에서 시작할 때 얻는 수익의 기댓값상태

s

에서 특정 행동

a

를 먼저 취한 뒤 정책

π

를 따를 때 얻는 수익의 기댓값상태

s

에서 즉시 받는 보상의 기댓값상태

s

에서 모든 정책 중 얻을 수 있는 최대 수익의 기댓값

정책

π

를 따르며 상태

s

에서 시작할 때 얻는 수익의 기댓값

행동 가치 함수 $q_{π} (s, a)$ 에 대한 설명으로 알맞은 것은 무엇입니까?

첫 행동은 $a$ 로 고정되고, 그 뒤의 행동은 아래 첨자에 표시된 정책이 결정합니다.

상태

s

에서 행동

a

를 취한 뒤 정책

π

를 따를 때 얻는 수익의 기댓값상태

s

에서 첫 행동을 정하지 않고 정책

π

를 따를 때 얻는 수익의 기댓값상태

s

에서 행동

a

를 취할 때 즉시 받는 보상의 기댓값상태

s

에서 행동

a

를 취한 뒤 최적 정책을 따를 때 얻는 최대 수익의 기댓값

상태

s

에서 행동

a

를 취한 뒤 정책

π

를 따를 때 얻는 수익의 기댓값

이득 함수 $A_{π} (s, a)$ 의 관계식으로 올바른 것은 무엇입니까?

이득이 양수라면 해당 행동의 가치가 그 상태의 평균적 가치보다 높다는 뜻입니다.

A_{π} (s, a) = q_{π} (s, a) - v_{π} (s)

A_{π} (s, a) = v_{π} (s) - q_{π} (s, a)

A_{π} (s, a) = q_{π} (s, a) + v_{π} (s)

A_{π} (s, a) = q_{π} (s, a) / v_{π} (s)

A_{π} (s, a) = q_{π} (s, a) - v_{π} (s)

어떤 상태에서 $v_{π} (s) = 5$ 이고 특정 행동의 가치가 $q_{π} (s, a) = 8$ 일 때, 이득 $A_{π} (s, a)$ 은 얼마입니까?

특정 행동의 가치가 상태의 평균적 가치보다 얼마나 높은지 계산하세요.

상태 가치, 행동 가치, 이득의 관계에 대한 설명으로 올바른 것을 모두 고르세요.

상태 가치는 정책에 따른 행동 가치의 가중평균이며, 이득은 개별 행동 가치와 그 평균의 차이입니다.

v_{π} (s) = \sum_{a} π (a ∣ s) q_{π} (s, a)

q_{π} (s, a) = v_{π} (s) + A_{π} (s, a)

A_{π} (s, a) = v_{π} (s) - q_{π} (s, a)

v_{π} (s) = max_{a} q_{π} (s, a)

v_{π} (s) = \sum_{a} π (a ∣ s) q_{π} (s, a)

q_{π} (s, a) = v_{π} (s) + A_{π} (s, a)

최적성과 근사 정책에 대한 설명으로 올바른 것을 모두 고르세요.

이론적으로 정의한 최적 정책과 실제 학습으로 얻은 근사 정책의 보장을 구분하세요.

최적 정책은 모든 상태에서 다른 정책보다 기대 수익이 크거나 같다상태와 행동의 경우의 수가 많으면 최적 정책을 정확히 구하기 어려울 수 있다최적 정책은 항상 하나만 존재한다학습으로 얻은 근사 정책은 드물게 경험한 상태에서도 최적 행동을 보장한다

최적 정책은 모든 상태에서 다른 정책보다 기대 수익이 크거나 같다, 상태와 행동의 경우의 수가 많으면 최적 정책을 정확히 구하기 어려울 수 있다

초인적 수준의 바둑 AI가 적대적 정책(adversarial policy)에 취약할 수 있는 이유로 가장 알맞은 것은 무엇입니까?

근사 정책의 품질은 모든 상태에서 고르지 않습니다. 공격자가 노릴 만한 국면이 어떤 종류일지 생각해 보세요.

자주 마주치는 상태에서만 좋은 행동을 학습해, 드물게 나타나는 상태에서는 근사가 어긋나기 때문적대적 정책이 실제로 최적 정책보다 더 강한 정책이기 때문최적 가치 함수가 여러 개 존재해 그중 잘못된 것을 학습했기 때문바둑은 상태의 경우의 수가 적어 최적 정책을 이미 정확히 구할 수 있기 때문

자주 마주치는 상태에서만 좋은 행동을 학습해, 드물게 나타나는 상태에서는 근사가 어긋나기 때문

최적 상태 가치 함수 $v_{*} (s)$ 의 정의로 알맞은 것은 무엇입니까?

상태 $s$ 는 고정하고, 그 상태에서 각 정책이 만드는 가치를 서로 비교합니다.

v_{*} (s) = max_{π} v_{π} (s)

v_{*} (s) = min_{π} v_{π} (s)

v_{*} (s) = \sum_{a} π (a ∣ s) q_{π} (s, a)

v_{*} (s) = max_{a} q_{π} (s, a)

v_{*} (s) = max_{π} v_{π} (s)

최적 행동 가치 함수의 벨만 최적성 방정식에서 다음 상태 $s^{'}$ 이후의 가치를 나타내는 항은 무엇입니까?

정책 평가에서 사용하는 행동 가치의 가중평균과 최적성 방정식의 선택 기준을 비교하세요.

γ max_{a^{'}} q_{*} (s^{'}, a^{'})

γ \sum_{a^{'}} π (a^{'} ∣ s^{'}) q_{π} (s^{'}, a^{'})

γ min_{a^{'}} q_{*} (s^{'}, a^{'})

γ q_{*} (s, a)

γ max_{a^{'}} q_{*} (s^{'}, a^{'})