할인

미끄러운 보행 Slippery Walk

격자 세계(grid world)
상태:
- 구멍: 종료
- 골: +1점을 보상으로 받고 종료
- 중간: 비종료 상태
가운데서 시작
행동: 좌우로만 이동
전이 함수: 행동한대로 이동(1/2). 제자리(1/3). 반대방향(1/6)

구멍	1	2	3	4	5	골

SlipperyWalk 사용

import gymnasium as gym
import numpy as np

class SlipperyWalk(gym.Env):
    def __init__(self, length):
        super().__init__()

        self.action_space = gym.spaces.Discrete(2)
        self.observation_space = gym.spaces.Discrete(length)

        self.start_state = length // 2  # 2로 나눈 몫
        self.state = self.start_state
        self.done = False
        self.truncated = False
        self.length = length
        self.P = self.set_transition()

    def set_transition(self):
        P = {}
        transition_probs = {'MOVE': 1/2, 'STAY': 1/3, 'OPPOSITE': 1/6}
        goal = self.length - 1

        for s in range(self.length):
            P[s] = {}
            for a in range(2):
                if s == 0:
                    P[s][a] = [(1.0, s, 0, True)]  # 확률, 상태, 보상, 종료 여부
                elif s == goal:
                    P[s][a] = [(1.0, s, 1, True)]
                else:
                    transitions = []
                    for transition, prob in transition_probs.items():
                        if transition == 'MOVE':
                            next_state = s + 1 if a == 1 else s - 1
                        elif transition == 'STAY':
                            next_state = s
                        elif transition == 'OPPOSITE':
                            next_state = s - 1 if a == 1 else s + 1
                        next_state = max(0, min(goal, next_state))   # 범위 제한 표현
                        reward = 1 if next_state == goal else 0      # 삼항 연산자
                        done = next_state == 0 or next_state == goal
                        transitions.append((prob, next_state, reward, done))
                    P[s][a] = transitions

        return P

    def reset(self):
        self.state = self.start_state
        self.done = False
        self.truncated = False
        self.steps = 0
        return self.state, {}

    def step(self, action):
        transitions = self.P[self.state][action]
        probs = np.array([t[0] for t in transitions])
        i = np.random.choice(np.arange(len(transitions)), p=probs)
        _, self.state, reward, self.done = transitions[i]
        self.steps += 1
        self.truncated = self.steps >= 100
        return self.state, reward, self.done, self.truncated, {}

    def render(self, mode='human'):
        grid = ['X'] + ([' '] * (self.length - 2)) + ['O']  # 리스트 연산
        grid[self.state] = 'A'
        print('|' + '|'.join(grid) + '|') # 문자열 연산

    @property
    def unwrapped(self):
        return self

환경 생성(총 9칸):

env = SlipperyWalk(9)

리셋:

env.reset()

왼쪽으로 한 걸음:

env.step(0)

그리기:

env.render()

할인 discounting

동일한 보상이라도 나중에 받는 것보다 먼저 받는 것이 나음
- 예) 오늘 100만원 vs. 1년 후 100만원
시간에 따른 차이를 보정하기 위해 미래의 보상은 할인하여 계산
할인율(discount factor): 한 스텝마다 할인하는 비율
- 그리스 문자 감마( $γ$ )로 표시
- 이자율과 반대 관계로 이해할 수있음
할인율이 0.9일 경우: $8 1_{t = 0} = 9 0_{t = 1} = 10 0_{t = 2}$
- 현재 스텝의 90만원 = 다음 스텝의 100만원
수익을 계산할 때도 할인을 적용

수익 return

시점 $t$ 이후에 얻는 보상의 누적합

G_{t} = R_{t + 1} + R_{t + 2} + R_{t + 3} + \dots + R_{T}

할인된 수익

G_{t} = R_{t + 1} + γ R_{t + 2} + γ^{2} R_{t + 3} + \dots + γ^{T - t - 1} R_{T}

재귀적 표현

G_{t} = R_{t + 1} + γ G_{t + 1}

미끄러운 보행에서 할인이 없다면?

할인율 $γ = 1.0$ 이면
골로 바로 가는 경우:
- 3 → 4 → 5 → 골
빙 돌아가는 경우:
- 예: 3 → 2 → 3 → 4 → 5 → 골
수익이 같음
- 보상은 골에 도착할 때 한 번만 받으므로

긴급성 urgency

할인은 긴급성에 대한 정보를 제공
할인을 적게 할 경우( $γ$ 가 클 경우):
- 현재와 미래의 보상에 큰 차이가 없음 → 언제 해도 상관 X
할인을 많이 할 경우( $γ$ 가 작을 경우):
- 현재와 미래의 보상의 차이가 큼 → 보상을 빨리 얻는 것이 유리

쌍곡선 할인 hyperbolic discounting

사람들의 심리적인 할인
강화학습이나 경제학 등에서는 할인율이 일정하다고 가정
사람들은 가까운 미래는 할인을 많이 하고, 먼 미래는 할인을 조금 함
할 일을 미루거나, 노후 대비를 하지 않는 등의 행동에 대한 행동경제학적 원인

쌍곡형 할인과 지수형 할인의 시간에 따른 할인 정도 비교

시간 불일치 Time Inconsistency

쌍곡선 할인 모델에서는 시간이 지남에 따라 사람들의 선호가 변할 수 있음
현재 시점에서 미래의 결정을 내리는 것과 실제 미래 시점에서의 결정이 일치하지 않을 수 있음
예:
- 현재는 1년 후의 100달러보다 1년 1주일 후의 110달러를 선호
- 1년이 지나고 1주일이 남았을 때는 1주일 후의 110달러보다 당장의 100달러를 더 선호할 수 있음

지수형 할인 vs. 쌍곡형 할인

지수형 할인
- 항상 같은 비율로 할인
- 둘 다 멀리 떨어져 있을 때는 큰 이익의 가치가 큼
쌍곡형 할인
- 시점에 따라 다른 비율로 할인
- 작은 이익에 가까워지면 큰 이익의 가치는 급격히 떨어져 있고 작은 이익의 가치는 아직 떨어지지 않아서 작은 이익의 가치가 더 큼

지수형 할인과 쌍곡형 할인에서 가까운 작은 이익과 먼 큰 이익의 가치 변화 비교

퀴즈

문제 1 / 10맞음: 0힌트: 0틀림: 0채점중: 0남음: 10

Slippery Walk 환경에 대한 설명으로 올바른 것을 모두 고르세요.

☐구멍과 골은 종료 상태이다
☐중간 상태는 비종료 상태이다
☐행동 공간은 상하좌우 네 방향이다
☐선택한 행동은 항상 확률 1로 실행된다

퀴즈를 풀려면 대화형 기능을 불러와야 합니다.

Slippery Walk 환경에 대한 설명으로 올바른 것을 모두 고르세요.

에피소드가 끝나는 상태와 계속되는 상태를 구분하고, 가능한 행동의 방향을 확인하세요.

구멍과 골은 종료 상태이다중간 상태는 비종료 상태이다행동 공간은 상하좌우 네 방향이다선택한 행동은 항상 확률 1로 실행된다

구멍과 골은 종료 상태이다, 중간 상태는 비종료 상태이다

Slippery Walk의 전이 함수 설명으로 가장 알맞은 것은 무엇입니까?

미끄러지더라도 의도한 방향으로 움직이는 경우가 가장 흔합니다. 나머지 확률이 제자리와 반대 방향에 어떻게 나뉘는지 떠올려 보세요.

행동한 방향으로 1/2, 제자리로 1/3, 반대 방향으로 1/6의 확률로 전이한다행동한 방향으로 1/2, 제자리로 1/6, 반대 방향으로 1/3의 확률로 전이한다행동한 방향으로 1/3, 제자리로 1/2, 반대 방향으로 1/6의 확률로 전이한다행동한 방향, 제자리, 반대 방향으로 각각 1/3의 확률로 전이한다

행동한 방향으로 1/2, 제자리로 1/3, 반대 방향으로 1/6의 확률로 전이한다

할인(discounting)을 사용하는 이유로 가장 알맞은 것은 무엇입니까?

같은 보상이라도 지금 받는 것과 나중에 받는 것은 가치가 다르게 평가됩니다.

미래 보상을 시간 차이에 맞춰 현재 가치로 보정하기 위해서보상을 받는 시점과 관계없이 모든 미래 보상을 같은 가치로 만들기 위해서현재 보상보다 미래 보상에 더 큰 가중치를 주기 위해서보상들의 시간 순서를 없애고 단순 평균을 계산하기 위해서

미래 보상을 시간 차이에 맞춰 현재 가치로 보정하기 위해서

할인율이 0.9일 때 보상의 현재 가치에 대한 설명으로 알맞은 것은 무엇입니까?

한 스텝 뒤의 보상에는 할인율을 한 번 곱합니다.

한 스텝 뒤 100만원의 현재 가치는 90만원이다한 스텝 뒤 90만원의 현재 가치는 100만원이다두 스텝 뒤 100만원의 현재 가치는 90만원이다두 스텝 뒤 100만원의 현재 가치는 100만원이다

한 스텝 뒤 100만원의 현재 가치는 90만원이다

수익(return)의 설명으로 가장 알맞은 것은 무엇입니까?

$G_{t}$ 는 다음 보상과 다음 시점 수익의 할인된 값을 결합해 재귀적으로 계산할 수 있습니다.

시점

t

이후에 받을 보상에 시간에 따른 할인율을 적용한 누적합시점

t

이전까지 이미 받은 보상에 할인율을 적용한 누적합시점

t

에서 선택한 행동 직후의 보상 하나에피소드 전체에서 받은 보상의 단순 평균

시점

t

이후에 받을 보상에 시간에 따른 할인율을 적용한 누적합

보상이 $R_{t + 1} = 2$ , $R_{t + 2} = 3$ 이고 $t + 2$ 에서 에피소드가 끝납니다. 할인율 $γ = 0.5$ 일 때 $G_{t}$ 는 얼마입니까?

$R_{t + 1}$ 에는 할인을 적용하지 않고, 한 스텝 더 먼 $R_{t + 2}$ 에는 $γ$ 를 한 번 곱합니다.

3.5

할인율과 긴급성의 관계에 대한 설명으로 올바른 것을 모두 고르세요.

할인을 많이 한다는 것은 미래 보상을 더 작게 평가한다는 뜻입니다.

γ

가 클수록 현재와 미래 보상의 차이가 작다

γ

가 작을수록 보상을 빨리 얻는 것이 유리해진다

γ = 1

이고 종료 시 보상만 있다면 도착 시점은 수익에 영향을 주지 않는다

γ

가 작을수록 미래 보상의 가치가 더 커진다

γ

가 클수록 현재와 미래 보상의 차이가 작다,

γ

가 작을수록 보상을 빨리 얻는 것이 유리해진다,

γ = 1

이고 종료 시 보상만 있다면 도착 시점은 수익에 영향을 주지 않는다

쌍곡선 할인에 대한 설명으로 올바른 것을 모두 고르세요.

쌍곡선 할인은 심리적인 할인 양상을 설명하며, 일정한 비율로 할인하는 지수형 할인과 다릅니다.

사람들은 가까운 미래는 할인을 많이 하고 먼 미래는 할인을 조금 할 수 있다시간이 지나며 선호가 변해 시간 불일치가 생길 수 있다할 일을 미루거나 노후 대비를 하지 않는 행동을 설명하는 데 활용할 수 있다시간 거리에 관계없이 매 스텝 같은 비율로 미래 가치를 줄인다

사람들은 가까운 미래는 할인을 많이 하고 먼 미래는 할인을 조금 할 수 있다, 시간이 지나며 선호가 변해 시간 불일치가 생길 수 있다, 할 일을 미루거나 노후 대비를 하지 않는 행동을 설명하는 데 활용할 수 있다

시간 불일치(Time Inconsistency)의 예로 알맞은 것은 무엇입니까?

쌍곡선 할인에서는 선택 시점이 가까워질수록 가까운 작은 보상의 매력이 커질 수 있습니다.

현재는 1년 후 100달러보다 1년 1주일 후 110달러를 선호하지만, 1년 뒤에는 1주일 후 110달러보다 당장 100달러를 선호한다현재는 1년 후 100달러를 선호하고, 1년 뒤에도 1주일 후 110달러보다 당장 100달러를 선호한다현재는 1년 1주일 후 110달러를 선호하고, 1년 뒤에도 당장 100달러보다 1주일 후 110달러를 선호한다현재는 두 보상의 가치를 같게 평가하고, 1년 뒤에도 두 보상의 가치를 같게 평가한다

현재는 1년 후 100달러보다 1년 1주일 후 110달러를 선호하지만, 1년 뒤에는 1주일 후 110달러보다 당장 100달러를 선호한다

쌍곡형 할인에서 가까운 작은 이익과 먼 큰 이익 사이의 선호가 뒤집히는 과정으로 알맞은 것은 무엇입니까?

지수형 할인이라면 두 가치가 같은 비율로 줄어 순위가 유지됩니다. 쌍곡형에서는 어느 쪽 가치가 더 가파르게 꺾이는지가 관건입니다.

둘 다 멀리 있을 때는 큰 이익의 가치가 크지만, 작은 이익에 가까워지면 큰 이익의 가치만 급격히 떨어져 작은 이익의 가치가 더 커진다둘 다 멀리 있을 때는 작은 이익의 가치가 크지만, 시간이 지나면 큰 이익의 가치가 올라가 큰 이익의 가치가 더 커진다두 이익의 가치가 항상 같은 비율로 줄어들기 때문에 선호 순위는 끝까지 바뀌지 않는다작은 이익의 가치가 큰 이익보다 항상 빠르게 떨어지기 때문에 큰 이익이 언제나 선택된다

둘 다 멀리 있을 때는 큰 이익의 가치가 크지만, 작은 이익에 가까워지면 큰 이익의 가치만 급격히 떨어져 작은 이익의 가치가 더 커진다