에듀테크 프로젝트 대시보드
마르코프 결정 과정 (MDP)
"시행착오로 배운다"는 강화학습의 아이디어를 컴퓨터가 계산할 수 있게 만들려면,
지금 상황과 선택지, 결과로 받는 점수를 엄밀하게 정의해야 합니다.
마르코프 결정 과정(MDP)은 이걸 다섯 가지 요소 (S, A, P, R, γ)로 정리한 수학적 틀입니다.
Q-러닝을 비롯한 거의 모든 강화학습 알고리즘은 이 MDP라는 뼈대 위에서 동작합니다.
| 기호 | 이름 | 의미 |
|---|---|---|
| S | 상태 (State) | 에이전트가 처할 수 있는 모든 상황의 집합. 예: 그리드 월드에서의 현재 칸 |
| A | 행동 (Action) | 각 상태에서 고를 수 있는 선택지. 예: 상/하/좌/우로 이동 |
| P | 전이확률 (Transition Probability) | P(s'|s,a) — 상태 s에서 행동 a를 했을 때 상태 s'로 갈 확률. 바닥이 미끄러우면 의도한 곳이 아닌 다른 칸으로 갈 수도 있음 |
| R | 보상 (Reward) | R(s,a,s') — 그 전이로 즉시 받는 점수. 목표 도착 +1, 한 걸음마다 −0.02 등 |
| γ | 할인율 (Discount Factor) | 0~1 사이 값. 미래에 받을 보상을 현재 가치로 얼마나 깎아서 볼지 |
정책(policy) π는 "각 상태에서 어떤 행동을 할지"에 대한 규칙입니다 (π(s) = a, 또는 확률적으로
π(a|s)). MDP를 푼다는 것은 총 보상을 가장 크게 만드는 정책 π*를 찾는 일입니다.
현재 상태 하나만 알아도
미래를 예측하는 데 충분하다는 뜻입니다. 이 가정 덕분에 "지금까지 지나온 모든 경로"를 기억할 필요 없이,
현재 상태 하나만 가지고 최적 행동을 계산할 수 있습니다.
상태 s의 가치(value) V(s)는 "그 상태에서 정책 π를 따라 행동했을 때 앞으로 받을
보상의 합(할인 적용)"의 기댓값입니다. 미래에 받을 보상일수록 γ를 거듭 곱해 깎아서 더합니다.
# t시점 이후 받을 보상을 현재가치로 환산해 모두 더한 것 V(s) = E[ R_t + γ·R_(t+1) + γ²·R_(t+2) + γ³·R_(t+3) + ... ] # 벨만 기대방정식: "지금 받는 보상 + 할인된 다음 상태의 가치"로 재귀적으로 표현 V(s) = Σ_a π(a|s) Σ_s' P(s'|s,a) [ R(s,a,s') + γ·V(s') ]
γ가 0에 가까우면 당장의 보상만 중요하게 여기는 근시안적 에이전트가 되고,
γ가 1에 가까우면 아주 먼 미래의 보상까지 진지하게 고려합니다.
아래 데모에서 목표 칸의 가치가 거리에 따라 얼마나 빨리 줄어드는지가 바로 이 γ가 결정합니다.
오른쪽 아래 목표(★, 보상 +1)에서 시작해 가치 반복(value iteration)으로 모든 칸의 V(s)를
계산합니다. 한 걸음마다 −0.02의 작은 벌점이 있고, 회색 칸은 벽입니다.
전이확률 P 슬라이더는 "의도한 방향으로 정확히 갈 확률"을 나타냅니다 — 낮추면 바닥이 미끄러워
엉뚱한 칸으로 갈 수도 있는 상황을 뜻합니다.
γ를 낮춰보면 목표에서 몇 칸만 멀어져도 가치가 급격히 0에 가까워집니다. P를 낮춰보면(바닥이 미끄러움) 전체적으로 가치가 낮아지고, 벽 근처의 가치가 더 들쭉날쭉해집니다.
지금까지는 P와 R을 이미 안다고 가정하고(모델 기반) 가치를 계산했습니다.
하지만 현실에서는 환경의 전이확률과 보상 구조를 미리 알 수 없는 경우가 대부분입니다.
Q-러닝은 P, R을 몰라도, 에이전트가 직접
행동해보고 받은 보상만으로 벨만 방정식과 같은 형태의 업데이트 규칙을 이용해 가치를 추정합니다 —
같은 수학적 뼈대(MDP) 위에서, 모델을 몰라도 배우는 방법인 셈입니다.
(S, A, P, R, γ) — 상태·행동·전이확률·보상·할인율로 이루어진 강화학습의 수학적 틀