공을 어디에 돌릴 것인가 — credit assignment 47개 방법의 지도

Created on August 25, 2026

2026   ·   rlhf   agentic-rl   credit-assignment   reinforcement-learning   survey   paper   ·   paper

From Reasoning to Agentic: Credit Assignment in Reinforcement Learning for Large Language Models (Zhang, Independent Researcher, arXiv 2026)

Introduction

1편에서 에이전트 RL이 왜 다른지 개괄했다. 궤적이 10턴에서 100턴으로 늘어나고, 행동이 토큰만이 아니라 도구 호출이 되고, 보상이 에피소드 끝에 한 번만 떨어진다는 것. 이번 글은 그 문제 하나를 정면으로 파고든다. 긴 궤적에서 하나의 스칼라 보상을 받았을 때, 그 공을 궤적 안의 어느 지점에 돌려줄 것인가. 이 질문의 이름이 credit assignment(신용 할당)다.

이 질문에 대한 답은 하나가 아니다. 2024년부터 2026년 초까지 이 문제를 푸는 논문이 쏟아졌고, 서로 다른 이름의 방법이 서로 다른 단위(토큰? 턴? 에이전트?)에서 서로 다른 도구(몬테카를로 샘플링? 학습된 가치함수? 게임이론?)를 쓴다. 이 난립을 정리한 것이 이번 글이 다루는 서베이, Chenchen Zhang의 “From Reasoning to Agentic: Credit Assignment in Reinforcement Learning for Large Language Models”(arXiv 2604.09459)다. 이 논문은 47개의 credit assignment 방법(핵심 41개 + 인접 인프라 6개)을 2024년부터 2026년 초 사이에 나온 문헌에서 추려, 입도(granularity) × 방법론(methodology)이라는 2차원 좌표 위에 전부 올려놓는다.

이 글이 이 시리즈에서 갖는 위치는 특별하다. 2부(#4~#8) 전체가 이 글이 그리는 지도를 따라 전개된다. #5는 이 지도의 “턴” 행을, #6은 “스텝” 행을, #7은 “토큰”과 “세그먼트” 행을 각각 확대해서 다룬다. 그러니 이 글의 임무는 각 방법을 깊이 파는 게 아니라 — 그건 뒤에 오는 글들의 몫이다 — 전체 지형을 정확한 좌표계 위에 그려서, 뒤에 오는 글들이 어디를 파고드는지 미리 보여주는 것이다.

왜 47개나 되는 방법이 2년 남짓한 기간에 몰려나왔을까. 답은 단순하다 — RLHF 시리즈 #33 DeepSeek-R1이 보여준 RLVR(rule-based reward만으로 하는 RL)의 성공이 “규칙으로 검증 가능한 최종 결과 하나만 있으면 충분하다”는 낙관을 만들었는데, 그 낙관이 궤적이 길어지는 순간 깨진다는 게 곧바로 드러났기 때문이다. 수학 문제 하나(1K~5K 토큰)에서는 episode 단위 credit도 그럭저럭 버텼다. 그런데 같은 아이디어를 SWE-bench 같은 코드 에이전트(100K~500K+ 토큰)나 100턴짜리 웹 에이전트에 그대로 옮기자 학습이 눈에 띄게 느려지거나 아예 수렴하지 않는 사례가 속출했다. 즉 이 47개 방법은 하나의 유행이 아니라, 같은 병목(긴 궤적 + 희소 보상)을 서로 다른 배경(수학 추론 팀, 웹 에이전트 팀, 멀티에이전트 팀)에서 독립적으로 맞닥뜨리고 각자 푼 흔적이다. 서베이의 가치는 이 흔적들이 사실 하나의 좌표계 위에서 정리된다는 것을 보여준 데 있다.

이 서베이의 규모를 숫자로 먼저 박아두자.

항목 수치
조사한 방법 수 47개
핵심 credit assignment 방법 41개
인접(adjacent) 인프라 논문 6개
조사 대상 발표 시기 2024년~2026년 초
분류축 수 2개(입도, 방법론)
입도 축 범주 수 5개(토큰/세그먼트/스텝/턴/멀티에이전트)
방법론 축 범주 수 5개(MC/TD/model-based/game-theoretic/info-theoretic)
추론 RL 궤적 길이 약 0.5K~30K+ 토큰(단일 생성)
에이전트 RL 궤적 길이 약 100K~1M 토큰, 10~100+ 턴

이 글에서 답할 질문은 네 가지다.

  1. episode 단위로 credit을 몰아주면 정확히 무엇이 잘못되는가 — 수식과 숫자로.
  2. 이 문제는 고전 RL의 credit assignment 문제(Minsky, 1961)와 무엇이 같고 무엇이 다른가.
  3. 서베이가 제시하는 2차원 분류— 입도 5단계 × 방법론 5갈래—의 정확한 정의는 무엇이고, 어느 칸에 어떤 방법이 들어가는가.
  4. 입도를 세밀하게 쪼갤수록 무엇을 얻고 무엇을 잃는가, 그리고 서베이가 명시한 미해결 문제는 무엇인가.

Background

정책 그래디언트와 advantage가 하는 일

RL로 LLM을 학습시킬 때 정책 그래디언트의 핵심 항은 advantage \(A_t\)다.

\[\nabla_\theta J(\theta) = \mathbb{E}_\tau\left[\sum_{t=1}^{T} A_t \cdot \nabla_\theta \log \pi_\theta(a_t \mid s_t)\right]\]

기호를 풀면: \(\tau\)는 궤적(트래젝토리) 하나, \(a_t\)는 \(t\)번째 행동(토큰일 수도, 도구 호출일 수도 있다), \(\pi_\theta(a_t \mid s_t)\)는 그 시점 정책이 그 행동을 택할 확률이다. \(A_t\)는 “그 행동이 평균보다 얼마나 좋았는가”를 뜻하는 스칼라다.

이 식이 학습에 미치는 방향은 부호로 정확히 결정된다. \(\theta\)를 그래디언트 방향으로 한 걸음 옮기면 \(\log \pi_\theta(a_t \mid s_t)\)가 \(A_t\)의 부호를 따라 움직인다 — \(A_t > 0\)이면 그 행동의 확률이 올라가고, \(A_t < 0\)이면 내려간다. 즉 \(A_t\)는 “이 행동을 더 자주 하라”는 신호의 세기와 방향을 결정하는 유일한 값이다. 이 값이 그 행동 자체의 품질과 무관한 값이 되면, 정책은 엉뚱한 것을 더 자주 하도록 학습된다.

부호가 실제로 어떻게 작동하는지 아주 작은 예로 확인해두자. 상태 \(s\)에서 행동이 둘뿐이고(A, B), 현재 \(\pi_\theta(A\mid s) = 0.5\)라 하자. 이번 스텝에서 행동 A를 선택했고 \(A_t = +2\)였다면, 업데이트는 \(\theta \leftarrow \theta + \alpha \cdot 2 \cdot \nabla_\theta \log \pi_\theta(A \mid s)\) 방향으로 움직이고, \(\nabla_\theta \log \pi_\theta(A\mid s)\)는 정의상 \(\pi_\theta(A\mid s)\)를 증가시키는 방향을 가리키므로 다음 스텝에는 \(\pi_\theta(A\mid s)\)가 (예를 들어) 0.5에서 0.52 정도로 소폭 올라간다. 같은 상황에서 \(A_t = -2\)였다면 부호가 뒤집혀 0.48 쪽으로 내려간다. 학습률 \(\alpha\)와 \(\lvert A_t \rvert\)가 클수록 이동 폭이 커진다는 것도 이 식에서 그대로 읽힌다 — 그래서 \(A_t\)의 부호뿐 아니라 크기도 정확해야 한다.

GRPO(2편 시리즈가 아니라 RLHF 시리즈 #22에서 다룬 그 GRPO) 류의 방법이 이 \(A_t\)를 구하는 표준 방식은 이렇다. 같은 프롬프트에서 \(G\)개의 궤적 \(\tau_1, \ldots, \tau_G\)을 샘플링하고, 궤적 전체의 보상 \(R(\tau_i)\)를 그룹 평균과 비교한다.

\[\hat{A}_i^{\text{GRPO}} = R(\tau_i) - \frac{1}{G}\sum_{j=1}^{G} R(\tau_j)\]

문제는 이 \(\hat A_i^{\text{GRPO}}\)가 궤적 하나에 스칼라 하나라는 것이다. 이 서베이의 표현을 빌리면 “every token in \(\tau_i\) receives the same advantage” — 궤적 \(\tau_i\) 안의 모든 토큰(혹은 모든 턴)이 똑같은 \(A_i\)를 받는다. 위 정책 그래디언트 식에서 \(A_t\) 자리에 \(t\)와 무관한 상수 \(A_i\)가 들어가는 것과 같다.

숫자로 보면 이렇다. \(G=4\)개 궤적을 굴려 보상이 \([1, 0, 0, 0]\)(하나만 성공)이 나왔다면 그룹 평균은 0.25이고, 성공한 궤적의 advantage는 \(1 - 0.25 = 0.75\)다. 이 궤적이 50턴짜리이고 3턴째에 사소한 비효율(불필요하게 파일을 한 번 더 읽는 등)이 있었다 해도, 나머지 49턴이 전부 훌륭했다면 이 \(+0.75\)가 3턴째의 비효율에도 그대로 부여된다 — 그 비효율은 “더 자주 하라”고 강화된다. 반대로 실패한 세 궤적 중 하나가 49턴을 완벽하게 수행하고 마지막 1턴에서만 실수했다 해도, 그 49개의 좋은 행동 전부가 \(0 - 0.25 = -0.25\)라는 페널티를 함께 받는다. episode 단위 credit은 궤적 안의 좋고 나쁨을 구별할 수 있는 정보를 아예 갖고 있지 않다 — 애초에 궤적 하나에 스칼라 하나만 계산하기 때문이다.

50턴 궤적, 3턴째만 틀렸을 때

숫자로 이 문제를 확인해보자. 에이전트가 50턴짜리 궤적을 수행했다고 하자. 3턴째에서 잘못된 도구를 호출했고, 나머지 49턴 중 47턴은 정확한 행동이었다(2턴은 그 오류를 복구하려는 시도로 소모됐다고 하자). 최종 결과는 실패였으므로 \(R(\tau) < 0\)이다.

episode 단위 credit을 쓰면 이 \(R(\tau)\) 하나가 50턴 전체에 똑같이 방송(broadcast)된다. 3턴째의 진짜 실수뿐 아니라, 옳았던 47개 행동 전부가 똑같은 페널티를 받는다. 정책 입장에서 보면 이건 명백한 오답 신호다 — “네가 한 행동의 94%(47/50)는 옳았는데, 전부 하지 말라는 신호를 받았다.” 이 노이즈가 반복되면 정책은 두 가지 중 하나로 망가진다. 정말 나쁜 행동(3턴째의 실수)과 좋은 행동(나머지 47개)을 구별하는 신호가 흐려지거나, 혹은 “일단 짧고 안전하게 행동해서 페널티를 받을 기회 자체를 줄이자”는 방향으로 정책이 수렴한다. 서베이는 후자를 echo trap이라 부른다 — 탐색을 포기하고 반복적으로 안전한 행동만 하는 붕괴 현상이다.

이게 왜 “분산을 키우고 학습을 느리게 하는가”는 Experiments 절에서 직접 유도해서 숫자로 보인다. 여기서는 방향만 짚어둔다 — 궤적이 길어질수록, episode 단위 credit이 실어나르는 노이즈의 총량도 함께 커진다.

고전 RL의 credit assignment — Minsky부터 지금까지

“어느 행동이 결과를 만들었는가를 모른다”는 문제 자체는 새롭지 않다. 이 이름을 처음 붙인 사람은 Marvin Minsky다. 1961년 논문 “Steps Toward Artificial Intelligence”(Proceedings of the IRE, 49권, 8~30쪽)에 “The Credit-Assignment Problem for Learning Systems”라는 절이 있다 — 체스나 체커 같은 게임에서 승패라는 하나의 결과를 놓고, 그 게임 안에서 내려진 수많은 결정 중 무엇이 그 결과에 기여했는지를 나누는 문제로 처음 정식화됐다. 이후 고전 RL에서는 이 문제가 시간적(temporal) credit assignment로 발전했다 — 지연되고 잡음이 낀 보상을, 그 보상을 만든 과거의 행동들에 어떻게 역산해서 나눠줄 것인가. Pignatelli et al.(2023, arXiv 2312.01072, TMLR 2024)의 56쪽짜리 리뷰가 이 고전적 문제 전체를 정리한 표준 참고문헌이고, 이번 서베이도 이를 인용해 배경으로 삼는다.

그렇다면 LLM RL의 credit assignment는 고전 RL과 무엇이 같고 무엇이 다른가.

같은 것: 본질은 똑같다. 지연되고 희소한 보상 하나를, 그 보상을 만든 과거 결정들에 나눠 돌려주는 문제다. Bellman 방정식, TD 오차, Monte Carlo 추정 같은 고전 RL의 도구 상자가 그대로 재사용된다.

다른 것: LLM 에이전트의 행동은 이중 입도(dual granularity)를 갖는다. 하나의 궤적은 동시에 두 가지 방식으로 쪼갤 수 있다.

\[\tau \;\underbrace{=\; [\text{Turn}_1, \ldots, \text{Turn}_T]}_{\text{턴 단위}} \;\underbrace{=\; [\text{Seg}_{1,1}, \ldots]}_{\text{세그먼트 단위}} \;\underbrace{=\; [a_{1,1,1}, \ldots]}_{\text{토큰 단위}}\]

체스에서 “한 수”는 하나의 단위지만, LLM 에이전트가 도구를 하나 호출하는 “한 턴”은 그 자체로 수백~수천 개 토큰의 생성 과정이다. 즉 credit을 “턴” 수준에서 나눌 수도 있고, 그 턴을 구성하는 “토큰” 수준까지 파고들 수도 있다 — 같은 궤적이 서로 다른 배율의 현미경으로 동시에 보인다. 고전 RL의 체커 게임에는 이런 계층이 없었다. 이 이중 계층 구조 때문에, LLM의 credit assignment 방법은 “어느 배율에서 credit을 나눌 것인가”라는, 고전 RL에는 없던 설계 질문을 하나 더 짊어진다. 이 서베이가 첫 번째 분류축(“입도”)으로 세운 것이 정확히 이 질문이다.

아래 표로 고전 RL과 비교하면 차이가 더 선명해진다.

  고전 RL(Minsky 1961~) 추론 RL 에이전트 RL
행동 단위 게임의 한 수 토큰 토큰이면서 동시에 도구 호출
궤적 길이 게임 종류에 따라 다양 약 0.5K~30K+ 토큰 약 100K~1M 토큰(10~100+ 턴)
환경 결정론적이거나 단순 확률적 없음(순수 생성) 확률적, 부분관측(POMDP)
재현 비용 시뮬레이터로 저렴 저렴(다시 생성하면 됨) 비쌈(API 호출은 되돌릴 수 없다)

에이전트 RL이 credit assignment를 다시 어렵게 만드는 6가지 이유

서베이 4장은 “왜 추론 RL에서 통하던 방법이 에이전트 RL로 그대로 옮겨가지 않는가”를 여섯 가지로 정리한다. 이 여섯 가지가 뒤에 나올 지도에서 “턴~멀티에이전트 행이 왜 game-theoretic·info-theoretic 칸으로 몰리는지”를 설명하는 근거이기도 하다.

  1. 환경 전이가 확률적이다. API 호출은 실패하거나 타임아웃되거나 rate limit에 걸릴 수 있고, 코드 실행은 비결정적 출력을 낼 수 있다. 같은 상태에서 다시 굴려도 같은 결과가 안 나올 수 있다는 뜻이다 — 토큰 단위에서 흔히 쓰는 “중간 상태에서 재현해서 비교”라는 Monte Carlo 전략의 전제가 깨진다.
  2. 부분관측이다. 에이전트는 데이터베이스 전체 상태를 보지 못하고 쿼리 결과만 본다. 그래서 “이 행동이 나빴다”와 “이 행동은 괜찮았는데 정보가 부족했다”를 구별하기 어렵다.
  3. 지평이 훨씬 길다. 추론 수학 문제는 1K~5K 토큰인데, SWE-bench 같은 코드 에이전트 과제는 100K~500K+ 토큰까지 늘어난다. Experiments 절에서 직접 보이겠지만, 그래디언트 분산은 이 길이에 비례해 커진다.
  4. 행동의 종류가 이질적이다. 추론 RL의 행동(토큰)은 전부 같은 종류지만, 에이전트 RL의 행동은 계획(planning), 도구 선택, 도구 파라미터화, 커뮤니케이션, 오류 복구, 부기(bookkeeping) 등 서로 성격이 전혀 다른 행동이 섞여 있다. 이들을 하나의 credit 척도로 묶는 것 자체가 도전이다.
  5. 중간 상태를 검증할 수 없는 경우가 많다. “이 도구 호출이 생산적이었는가”는 대개 실행하고 나서야 알 수 있다. 수학 풀이 한 줄이 맞았는지 즉시 검증 가능한 것과 대조적이다. 이 때문에 추론 RL의 PRM식 접근(3.3절)이 에이전트 RL로 그대로 옮겨가지 않는다.
  6. 분기점 문제(bifurcation point). 결정적인 선택은 드물지만 결과를 좌우한다. 에이전트가 100번의 행동 중 딱 한 번 잘못된 파일을 삭제하면 그 한 번이 전체를 망친다. episode 단위 credit은 이 결정적인 한 번과 사소한 포맷팅 선택에 똑같은 무게를 준다 — 사후적으로 되짚어야만(hindsight) 어느 지점이 분기점이었는지 알 수 있는 경우가 많다는 게 hindsight/counterfactual 계열 방법(HCAPO, C3, CCPO)이 등장한 이유다.

Method

분류 체계: 두 개의 축

서베이는 47개 방법(핵심 41 + 인접 6, 2024~2026년 초 발표) 전부를 두 축 위에 배치한다.

축 1 — 입도(granularity): credit을 어느 단위에 매기는가. 포함 관계로 보면 episode ⊇ turn ⊇ segment ⊇ token이다.

입도 정의
토큰(token) 생성되는 개별 토큰 하나하나
세그먼트(segment) 의미적으로 묶이는 구간 — 예를 들어 추론 한 단계에 해당하는 텍스트 덩어리
스텝(step) 검증 가능한 하나의 계산 단위. 추론 RL에서는 수식 유도 한 줄, 에이전트 RL에서는 한 턴 안의 개별 행동(하나의 도구 호출)
턴(turn) 모델의 응답 하나 전체 + 그에 대한 환경의 관측까지 포함한 하나의 왕복
멀티에이전트(multi-agent) 여러 에이전트가 협력·경쟁할 때, 결과를 에이전트 사이에 나누는 문제

스텝과 턴의 경계는 서베이 안에서도 완전히 깔끔하지는 않다 — 추론 RL 절(3장)에서 “스텝”은 세그먼트에 가깝게(수식 한 줄) 쓰이고, 에이전트 RL 절(5장)에서는 턴보다 한 단계 더 미세한 개별 행동으로 쓰인다. 이 시리즈는 이 애매함을 그대로 물려받지 않고 #6(스텝)과 #5(턴)을 명확히 나눠 각각 “턴 안의 개별 행동”과 “턴 자체”로 다룬다.

축 2 — 방법론(methodology): credit을 어떻게 계산하는가.

방법론 정의
Monte Carlo (MC) 중간 상태에서부터 여러 번 롤아웃해서 기댓값을 직접 추정
Temporal Difference (TD) / 가치 기반 부트스트래핑으로 학습되는 가치함수를 사용
Model-based / LLM-as-critic 별도로 학습된(혹은 LLM 자체를 활용한) 모델이 중간 상태를 평가
Game-theoretic Shapley value, counterfactual(반사실) 비교 등 게임이론 도구
Information-theoretic 정보이득, 엔트로피 기반 척도

두 축을 곱하면 5×5, 즉 25개의 칸이 나온다(서베이의 Figure 2가 이 그리드를 시각화한다). 47개 방법이 이 25칸에 흩어져 있는데, 실제로는 고르게 퍼져 있지 않다 — 특정 칸에 몰려 있고 비어 있는 칸도 많다. 이 쏠림 자체가 뒤에서 다룰 미해결 문제와 직결된다.

지도 — 어느 칸에 무엇이 있는가

아래 표가 이 글의 중심이다. 확인 가능한 범위에서 각 칸의 대표 방법을 채웠다. 일부 칸은 서베이 본문에서 방법론 라벨이 뚜렷하지 않아 비워두거나 “불확실”로 남겼다.

입도 \ 방법론 Monte Carlo TD / 가치기반 Model-based(critic/PRM) Game-theoretic Info-theoretic
토큰 VinePPO From r to Q* RED, T-REG    
세그먼트 SPO TEMPO   SCAR  
스텝 GiGPO, POAD   PURE, SPRO, FinePO, PRL, InT, CAPO   HICRA
턴   AgentPRM, ArCHer, Turn-PPO, SORL, TARL SWEET-RL HCAPO, C3, CCPO IGPO
멀티에이전트       M-GRPO, LLM-MCA, QLLM, SHARP, MAPPA, Dr.MAS, C3  

표를 읽는 법: 세로축(입도)이 아래로 갈수록 궤적을 더 크게 묶은 단위이고, 가로축(방법론)이 오른쪽으로 갈수록 “직접 여러 번 굴려본다(MC)”에서 “이론적 도구로 기여도를 분해한다(game/info-theoretic)”로 이동한다. 흥미로운 관찰 두 가지.

  • 토큰~세그먼트 행은 Monte Carlo와 TD가 채운다. 추론 RL이 이미 성숙한 문제이기 때문이다 — 중간 상태에서 다시 굴려보는 비용이 비교적 싸고(텍스트 생성이라 재현이 쉽다), 그래서 VinePPO 같은 MC 방법이 잘 통한다.
  • 턴~멀티에이전트 행은 game-theoretic·info-theoretic 칸이 채워지기 시작한다. 환경과 상호작용하는 순간 재현(replay)이 비싸지거나 아예 불가능해지므로(API 호출은 되돌릴 수 없다), MC 대신 반사실 비교(counterfactual)나 정보이득 같은, 롤아웃을 다시 하지 않고도 기여도를 추정하는 도구가 필요해진다.
  • 빈 칸도 이유가 있다. 예를 들어 토큰 행의 game-theoretic 칸은 비어 있다 — Shapley value는 원래 참여자(coalition) 수가 늘어날수록 계산량이 조합적으로 폭발하는 도구인데, 궤적 하나에 토큰이 수천 개면 그 조합을 다루는 것 자체가 비현실적이다. 반대로 멀티에이전트 행에는 Monte Carlo 칸이 비어 있다 — 에이전트가 여럿이면 “다른 에이전트는 그대로 두고 이 에이전트만 다시 굴려본다”는 조작 자체가 실제 협업 환경에서는 거의 불가능하기 때문이다. 즉 그리드의 빈칸은 게으름의 흔적이 아니라 그 조합이 계산적으로 막혀 있다는 신호이고, 이 막힌 칸들이 뒤에 나올 “미해결 문제” 목록과 상당 부분 겹친다.

여기에 더해, 서베이는 이 5×5 그리드에 딱 들어맞지 않는 암묵적/DPO 기반 방법(iStar, StepAgent, ITPO)을 따로 다룬다. 이들은 명시적인 RL 루프 없이, DPO로 선호 쌍을 학습시키는 과정 자체에서 암묵적으로 토큰~턴 단위의 credit이 새어 나온다고 본다 — RLHF 시리즈 #24 DPO가 “정책 자체가 암묵적 reward”라고 본 것의 credit assignment 버전이다.

41개 핵심 방법 + 6개 인접(adjacent) 인프라라는 구분도 짚어둘 만하다. 인접 6개는 새로운 credit assignment 알고리즘을 제안하지 않지만, 그런 알고리즘을 실제로 돌릴 수 있게 해주는 학습 인프라·프레임워크 논문이다. 확인된 예로 Agent Lightning, RAGEN/StarPO가 있다 — 멀티턴 RL 학습 루프 자체를 표준화하는 시스템 논문으로, 이 시리즈 #3 멀티턴 RL 실무 가이드와 더 맞닿아 있다.

토큰 단위

정의: 정책 그래디언트의 \(A_t\)가 개별 토큰 하나하나에 매겨진다. 가장 미세한 입도다.

대표 방법: VinePPO(Kazemnejad et al., arXiv 2410.01679)는 PPO의 학습된 가치망을 아예 버리고, 중간 추론 상태에서 Monte Carlo 롤아웃을 여러 번 수행해 그 상태의 가치를 직접(편향 없이) 추정한다. MATH·GSM8K에서 PPO 대비 그래디언트 업데이트 9배 감소, wall-clock 시간 최대 3배 단축을 보고했다 — 가치망이 복잡한 추론 문제에서 정확한 가치 추정에 실패한다는 문제를, 가치망 자체를 없애고 직접 샘플링으로 우회한 것이다. 한편 Rafailov et al.의 “From r to Q*“(Stanford, arXiv 2404.12358)는 전혀 다른 각도에서 접근한다 — DPO가 학습하는 것은 사실 응답 전체에 대한 하나의 선호 점수가 아니라, 토큰 단위 MDP 위에서 정의된 암묵적 Q함수라는 것을 이론적으로 보인다. 즉 DPO를 학습시키는 행위 자체가, 명시적으로 의도하지 않아도 토큰 수준의 credit을 부여하고 있다는 주장이다.

장점: 가장 촘촘한 신호. 어느 토큰이 문제였는지 정확히 짚을 수 있다.

비용: 토큰 수만큼 credit을 매겨야 하므로, 신뢰할 만한 값을 얻으려면 롤아웃이든 학습이든 그만큼 자원이 든다. 토큰 하나의 “옳고 그름”이 언어적으로 잘 정의되지 않는 경우도 많다(접속사 하나가 정답/오답을 가르지 않는다).

언제 쓰나: 재현 비용이 싼 환경(순수 텍스트 생성, 도구 호출 없음)에서, 추론 경로 자체의 미세한 실수를 잡아야 할 때.

토큰·세그먼트 단위의 구체적 방법과 실험은 #7 토큰과 세그먼트로 더 잘게에서 깊게 다룬다.

세그먼트 단위

정의: 토큰을 개별적으로 보지 않고, 의미 있는 덩어리(하나의 절, 하나의 사고 전환점)로 묶어 그 덩어리에 credit을 매긴다.

대표 방법: SPO는 세그먼트 경계를 자르고 그 경계 사이 구간에 Monte Carlo로 credit을 매긴다. TEMPO는 트리 구조로 세그먼트를 조직하고 TD 스타일의 부트스트래핑을 쓴다. SCAR는 Shapley value를 이용해 — 즉 게임이론에서 여러 참여자의 기여도를 공정하게 나누는 도구를 가져와 — 세그먼트별 기여도를 계산한다.

장점: 토큰 단위보다 계산이 싸면서도, “이 한 단락이 잘못된 방향으로 틀었다” 같은 의미 단위의 피드백을 준다.

비용: 세그먼트 경계를 어떻게 자를지가 그 자체로 설계 문제다. 잘못 자르면 credit이 여전히 뭉뚱그려진다.

언제 쓰나: 추론 과정이 뚜렷한 단계로 나뉘는 과제(수학 풀이, 코드 설계)에서, 토큰 단위보다는 싸고 턴 단위보다는 촘촘한 신호가 필요할 때.

스텝 단위

정의: 검증 가능한 하나의 계산 단위. 추론 RL에서는 “수식 유도 한 줄”, 에이전트 RL에서는 “턴 안에서 이뤄지는 개별 행동”(하나의 함수 호출, 하나의 상태 조회)이 여기 해당한다.

대표 방법: PURE·SPRO·FinePO·PRL·InT는 모두 process reward model(PRM) 계열이다 — 각 스텝이 옳은지 그른지를 별도 모델이 채점한다. 이 계보는 RLHF 시리즈 #31 Let’s Verify Step by Step이 다룬 PRM800K와 정확히 같은 아이디어의 후속작들이다. CAPO는 LLM 자체를 critic으로 써서 스텝을 평가한다. HICRA(arXiv 2509.03646)는 다른 도구를 쓴다 — semantic entropy(의미 엔트로피)로 “지금이 전략적으로 중요한 계획 토큰인가”를 판별해, 그런 고영향 스텝에 최적화 압력을 몰아준다. Qwen3-4B-Instruct 기준 AIME24에서 GRPO 대비 +5.4점, AIME25에서 +5.1점을 보고했다. 에이전트 RL 쪽에서는 GiGPO(Feng et al., arXiv 2505.10978)가 critic 없이 스텝 단위 credit을 만든다 — 같은 상태에서 갈라져 나온 행동들을 사후적으로 다시 그룹 지어(anchor state grouping) 그 그룹 안에서 상대적 advantage를 계산하는 방식이다. 추가 롤아웃이나 critic 없이 ALFWorld +12%, WebShop +9%(GRPO 대비)를 보고했다.

장점: PRM처럼 “정답에 도달하는 과정의 질”을 직접 채점할 수 있어 해석 가능성이 높다.

비용: RLHF 시리즈 #33 DeepSeek-R1이 지적했듯, “스텝을 어떻게 정의할지”부터 애매하고, 중간 스텝의 정오 판정 자체가 어려운 작업이며, 학습된 PRM은 다시 그 자체가 hacking의 대상이 된다.

언제 쓰나: 중간 단계의 정오를 사람이든 규칙이든 검증할 수 있는 과제에서. 검증이 불가능하면(에이전트의 도구 호출은 실행 전에는 “좋은 선택인지” 판별 불가능한 경우가 많다) 이 입도는 무너진다.

스텝 단위의 구체적 방법은 #6 스텝을 단위로 삼는다에서 다룬다.

턴 단위

정의: 모델의 응답 하나 전체와, 그에 대한 환경의 관측(도구 실행 결과, 사용자 답변)까지 묶은 하나의 왕복이 credit의 단위다. 에이전트 RL을 POMDP(부분관측 마르코프 결정 과정)로 볼 때 가장 자연스러운 행동 단위가 이것이다.

대표 방법: AgentPRM(arXiv 2511.08325)은 TD 학습과 GAE(Generalized Advantage Estimation)를 결합해 턴 단위 가치함수를 학습한다. 기존 방법 대비 8배 이상 연산 효율적이라고 보고한다. 추론 RL의 PRM과 다른 점은 명확하다 — 수학 풀이의 한 스텝은 “맞았는가/틀렸는가”로 채점되지만, 에이전트의 한 턴은 정답이 없다. 목표에 얼마나 가까워졌는가(progress)로 채점해야 한다. ArCHer(Zhou et al., ICML 2024, arXiv 2402.19446)는 계층적 구조를 쓴다 — 턴 단위 가치를 학습하는 off-policy critic(상위 레벨)과, 그 가치를 활용해 토큰을 생성하는 정책(하위 레벨)을 함께 돌려, 기존 방법 대비 약 100배의 표본 효율을 보고했다. SWEET-RL(Zhou et al., FAIR, arXiv 2503.15478)은 비대칭 critic을 쓴다 — 학습 시점에만 주어지는 특권 정보(privileged information, 예를 들어 정답 코드)를 critic에게만 보여주고 정책에게는 숨긴 채 턴 단위로 credit을 매겨, ColBench에서 6%p 절대 향상을 보고했다. HCAPO·C3·CCPO는 게임이론 계열이다 — 궤적이 끝난 뒤 특정 턴을 “있었다면/없었다면”으로 비교하는 반사실(counterfactual) leave-one-out 분석으로 그 턴의 기여도를 역산한다. IGPO는 정보이득을 credit으로 쓴다.

Background에서 쓴 50턴 예제를 다시 가져와보자. episode 단위(GRPO)는 이 궤적 전체에 \(+0.75\) 하나만 매겼다. 턴 단위 credit이라면 다르게 움직인다 — AgentPRM류 TD 방법은 각 턴이 끝날 때마다 “목표에 얼마나 가까워졌는가”를 가치함수로 추정하므로, 3턴째에서 값어치가 실제로 떨어지는 게 관측되고 그 턴에만 낮은(혹은 음의) advantage가 매겨진다. 나머지 47턴은 각자 자신의 진행도만큼 credit을 받는다. 즉 같은 궤적, 같은 최종 결과에서 출발했지만, 정책이 받는 학습 신호의 해상도가 “궤적 하나에 숫자 하나”에서 “턴마다 숫자 하나”로 바뀐다. 이게 앞서 유도한 분산 감소(\(O(T^2) \to O(T)\))가 실제로 어디서 오는지의 직관이다 — 노이즈가 50턴에 걸쳐 뭉쳐 다니지 않고, 각 턴의 신호가 그 턴 안에서 끝난다.

턴 단위 credit이 성립하려면 앞서 정리한 여섯 가지 이유 중 특히 세 가지(확률적 전이, 부분관측, 비검증 중간 상태)를 감당해야 한다. AgentPRM·ArCHer가 TD/가치 기반 방법론을 택한 것도 이 때문이다 — 재현이 비싼 환경에서는 “다시 굴려서 비교”하는 MC 대신, 한 번 지나간 경험에서 가치를 부트스트래핑으로 학습해두고 그 학습된 가치로 다음 턴들을 채점하는 쪽이 유일하게 실용적이다.

장점: 에이전트 RL의 자연스러운 행동 단위와 정확히 일치한다. 도구 호출·환경 관측이라는 에이전트 특유의 구조를 그대로 반영한다.

비용: 환경과의 상호작용은 확률적이고(API 실패·타임아웃), 부분관측이며(에이전트는 DB 전체 상태가 아니라 쿼리 결과만 본다), 재현이 비싸거나 불가능하다. 그래서 토큰 단위에서 통하던 MC 롤아웃 재현 전략이 턴 단위에서는 잘 통하지 않는다 — 표의 턴 행에 MC 칸이 비어 있는 이유다.

언제 쓰나: 도구 호출이 명확한 턴 경계를 이루는 에이전트 과제 전반. 이 시리즈 3부(#9~#11)가 다루는 “turn-level reward를 어디서 얻는가”의 전제가 되는 입도다.

턴 단위의 구체적 방법과 설계는 #5 턴 단위로 공을 나눈다에서 다룬다.

멀티에이전트

정의: 여러 에이전트가 협력하거나 경쟁하며 하나의 결과를 만들 때, 그 결과를 에이전트들 사이에 나누는 문제. 단일 에이전트의 입도 축(토큰~턴)과는 직교하는 별도의 축이다.

대표 방법: M-GRPO, LLM-MCA, QLLM, SHARP, MAPPA, Dr. MAS가 이 범주에 속하고, 앞서 턴 단위에 등장했던 C3(반사실 비교)가 멀티에이전트 맥락에서도 재등장한다. 이 범주는 game-theoretic 방법론이 두드러진다 — Shapley value가 애초에 “여러 참여자의 협력 결과를 공정하게 나누는” 문제를 풀기 위해 고안된 도구이기 때문에, N인 협력 게임의 credit assignment에 자연스럽게 들어맞는다.

이 시리즈는 단일 에이전트의 credit assignment에 집중하므로, 멀티에이전트 항은 지도 위에 좌표만 찍어두고 깊이 들어가지 않는다.

트레이드오프: 세밀할수록 좋은가

지도를 다 그리고 나면 자연스러운 질문이 남는다 — 그러면 항상 가장 미세한 입도(토큰)를 쓰면 되는 것 아닌가? 답은 아니다. 서베이가 짚는 트레이드오프는 이렇다.

  1. 신호 대 계산 비용: 입도가 세밀할수록(토큰 쪽) credit 신호는 촘촘해져 학습이 빨라지지만, 그 신호를 만드는 비용은 기하급수적으로 늘어난다. 토큰 하나하나에 믿을 만한 값을 매기려면 그만큼 많은 롤아웃이나 그만큼 정교한 모델이 필요하다. 앞서 확인한 궤적 길이 숫자로 크기를 가늠해볼 수 있다 — 에이전트 RL 궤적이 100K~1M 토큰, 10~100+ 턴이라면 턴 하나당 평균 1K~10K 토큰인 셈이다. 턴 단위로 credit을 매기면 채점 대상이 10~100개(턴 수)지만, 토큰 단위로 내려가면 채점 대상이 100K~1M개로 대략 1,000배 늘어난다. credit을 매기는 비용이 채점 대상 수에 비례한다고만 가정해도, 토큰 단위는 턴 단위보다 세 자릿수 더 비싼 문제가 된다.
  2. 순방향 추정 대 사후 분석: PRM 같은 순방향(forward) 방법은 생성 중에 credit을 매기지만, hindsight/counterfactual 같은 사후(backward) 방법은 궤적이 끝난 뒤 되짚어 credit을 매긴다. 전자는 빠르지만 미래를 못 보고, 후자는 정확하지만 계산이 끝난 뒤에야 신호를 준다.
  3. 중간 보상을 어디서 얻는가: 여기서 세 번째, 이 시리즈 전체를 관통하는 진짜 함정이 나온다. 입도가 세밀해질수록 “이 중간 단위(토큰·스텝·턴)의 보상을 누가/무엇이 매길 것인가”라는 새로운 문제가 생긴다. 최종 결과는 규칙으로 검증 가능해도(정답과 문자열 비교), 중간 스텝의 좋고 나쁨은 대개 검증 불가능하다. 그래서 학습된 모델(PRM, critic)이 이 중간 보상을 대신 매기게 되는데, 그 대리 보상이 틀리면 hacking 표면이 그만큼 넓어진다. 토큰 47개에 정확한 credit을 주려다가, 그 47개의 판정 기준 자체가 뚫리는 새 구멍 47개를 여는 셈이다. 이 문제는 #8 shaping은 약인가 독인가와 #15 에이전트의 reward hacking에서 정면으로 다룬다.

이 세 번째 함정이 추상적으로 들리지 않도록, 이미 이 블로그가 다룬 실제 사례를 하나 붙여둔다. RLHF 시리즈 #33 DeepSeek-R1은 PRM을 시도했다가 접은 이유를 논문에서 그대로 인용해 정리했다 — “스텝을 세밀하게 정의하기 어렵고, 중간 스텝이 옳은지 판정하기 어려우며, 무엇보다 모델 기반 PRM을 도입하는 순간 reward hacking으로 이어진다”는 세 가지였다. 이건 정확히 이 글의 “스텝 단위” 칸에 있는 방법들이 감수하는 비용이다. episode 단위(RLVR)로 물러선 DeepSeek-R1의 선택은, 이 트레이드오프 표에서 분산을 조금 더 감수하고 편향(hacking) 위험을 낮추는 쪽을 택한 것으로 읽을 수 있다 — 모든 팀이 같은 지점을 고르지는 않는다는 걸 보여주는 실제 사례다.

즉 입도를 세분화하는 것은 공짜 점심이 아니다. 분산을 줄이는 대가로 편향(중간 보상 판정 오류)이 늘어날 위험을 사는 거래다.

다섯 입도 한눈에 비교

지금까지 다룬 다섯 입도의 정의·장점·비용·적합한 상황을 한 표로 모아둔다. 뒤에 나올 의사결정 트리를 읽기 전에 훑어보면 좋다.

입도 채점 대상 수(궤적당, 대략) 장점 비용 담당 편
토큰 수백~수만 가장 촘촘한 신호, 미세한 실수까지 특정 채점 대상이 가장 많음, 토큰 하나의 옳고 그름이 정의되지 않는 경우多 #7
세그먼트 수십~수백 의미 단위로 묶여 해석 가능, 토큰보다 저렴 경계 자르는 기준 자체가 설계 문제 #7
스텝 수십~수백(추론), 턴당 여러 개(에이전트) PRM처럼 과정의 질을 직접 채점 가능 스텝 정의가 애매, 중간 정오 판정이 어려움, PRM 자체가 hacking 대상이 됨 #6
턴 10~100+ 도구 호출·환경 관측이라는 에이전트 구조와 정확히 일치 확률적·부분관측 환경이라 재현 기반 방법이 잘 안 통함 #5
멀티에이전트 에이전트 수만큼 협력/경쟁 상황의 공정한 기여도 분해(Shapley) 에이전트가 서로를 부분관측하는 경우 분해 자체가 어려움 시리즈 범위 밖

Experiments

토이 예제 — 분산은 왜 궤적 길이와 함께 자라는가

앞서 “50턴 중 3턴째만 틀렸을 때”를 정성적으로 설명했다. 이제 이 직관을 수식으로 확인한다. 목표는 하나 — episode 단위로 credit을 방송(broadcast)하는 것이, 국소적으로(스텝·턴 단위로) credit을 나누는 것보다 그래디언트 추정의 분산을 얼마나 더 키우는가를 최소 가정으로 보이는 것이다.

설정. 궤적 길이 \(T\), 각 스텝의 그래디언트 항 \(u_t = \nabla_\theta \log \pi_\theta(a_t \mid s_t)\)(스칼라로 단순화), 각 스텝의 보상 \(r_t\). 다음을 가정한다(전부 단순화를 위한 토이 가정이다).

  • \(u_t\)는 평균 0이다. 이건 가정이 아니라 항등식이다 — \(\mathbb{E}_{a \sim \pi_\theta}[\nabla_\theta \log \pi_\theta(a \mid s)] = \nabla_\theta \sum_a \pi_\theta(a\mid s) = \nabla_\theta 1 = 0\)이기 때문이다.
  • \(u_t\)끼리, \(r_t\)끼리는 서로 독립이고 분산은 각각 \(\sigma_u^2\), \(\sigma_r^2\)로 동일하다.
  • \(r_t\)의 평균도 0이다(베이스라인이 이미 빠진 상태로 본다).
  • \(u_t\)와 \(r_t\)는 서로 독립이다(실제로는 행동이 보상에 영향을 주므로 완전히 성립하진 않지만, 스케일링 방향을 보는 데는 충분한 단순화다).

episode 단위 추정량. 궤적 전체 보상 \(R(\tau) = \sum_{t=1}^{T} r_t\)를 모든 스텝에 그대로 방송한다.

\[\hat g_{\text{ep}} = R(\tau) \sum_{t=1}^{T} u_t\]

\(S = \sum_t u_t\)라 하면 \(\mathbb{E}[S] = 0\), \(\text{Var}[S] = T\sigma_u^2\)(독립합). \(R(\tau)\)도 \(\mathbb{E}[R]=0\), \(\text{Var}[R] = T\sigma_r^2\). \(R\)과 \(S\)가 독립이므로

\[\text{Var}[\hat g_{\text{ep}}] = \mathbb{E}[R^2]\,\mathbb{E}[S^2] = \text{Var}[R]\cdot\text{Var}[S] = T^2\,\sigma_r^2\sigma_u^2\]

스텝 단위 추정량. 각 스텝에 그 스텝 고유의 국소 advantage \(A_t = r_t\)만 곱한다.

\[\hat g_{\text{step}} = \sum_{t=1}^{T} r_t\, u_t\]

서로 다른 \(t\)는 독립이고 평균 0이므로 교차항이 사라지고

\[\text{Var}[\hat g_{\text{step}}] = \sum_{t=1}^{T} \text{Var}[r_t u_t] = \sum_{t=1}^{T} \mathbb{E}[r_t^2]\mathbb{E}[u_t^2] = T\,\sigma_r^2\sigma_u^2\]

결과. 두 분산의 비는 정확히 \(T\)다.

\[\frac{\text{Var}[\hat g_{\text{ep}}]}{\text{Var}[\hat g_{\text{step}}]} = T\]

즉 episode 단위 credit의 그래디언트 분산은 \(O(T^2)\)로 자라고, 국소적으로 나눠준 credit의 분산은 \(O(T)\)로 자란다 — 격차 자체가 \(T\)에 비례해 계속 벌어진다. \(\sigma_r^2 = \sigma_u^2 = 1\)(임의 단위)로 두고 숫자를 넣어보면:

궤적 길이 \(T\) episode 단위 분산 (\(T^2\)) 스텝 단위 분산 (\(T\)) 배율
10 100 10 10배
50 2,500 50 50배
100 10,000 100 100배

이 토이 모형은 신호를 완전히 국소화한 이상적인 경우(\(A_t = r_t\), 미래 보상을 전혀 섞지 않음)를 보여준다. 실전에서 많이 쓰는 “reward-to-go”(현재 시점 이후 남은 보상의 합, \(A_t = \sum_{t' \ge t} r_{t'}\))는 이 둘의 중간이다 — episode 전체를 방송하지는 않지만, 여전히 미래의 노이즈를 끌고 온다. 실제로 서베이는 이 중간 케이스에 대해 REINFORCE 분산이 \(O(T \cdot \text{Var}[R])\)에 비례한다고 밝히고, \(T{=}10\)에서 \(T{=}100\)으로 궤적이 늘면 분산이 10배 증가해 echo trap을 유발한다고 지적한다 — 위 표의 “스텝 단위” 행과 정확히 같은 스케일링이다. TD/가치 기반 방법(AgentPRM, ArCHer류)이 노리는 지점이 바로 여기다. 미래 보상의 합을 그대로 끌고 오는 대신, 학습된 가치함수로 그 기댓값을 미리 빼줌으로써 국소 신호(TD 오차)만 남기고, 남은 분산을 표의 “스텝 단위” 수준에 최대한 가깝게 눌러놓으려 한다.

의사결정 트리 — 내 태스크에는 어떤 입도가 맞는가

지도와 트레이드오프를 종합하면, 실무에서 입도를 고르는 순서를 정리할 수 있다. 서베이 7장이 제시하는 네 가지 트레이드오프 축(입도-비용, 순방향-사후, critic 필요 여부, 추론 특화-에이전트 범용)을 질문 형태로 풀어 순서도로 만들면 다음과 같다.

순서 질문 Yes No
1 최종 결과를 규칙으로 검증할 수 있는가(정답 문자열 대조 등)? 검증 가능해도 궤적이 길면(20턴+) 여전히 아래로 진행 학습된 judge/RM 필요 — #11 참고
2 환경이 매 행동마다 중간 신호를 주는가(테스트 결과, 검색 결과, 코드 실행 로그)? 턴 단위 TD 계열(AgentPRM류) 또는 스텝 단위 PRM 계열 고려 — #9 환경이 곧 reward다 3으로
3 응답과 환경 관측 사이의 턴 경계가 뚜렷한가(도구 호출이 명확히 구분되는가)? 턴 단위(#5)가 자연스러운 기본 단위 연속 텍스트 생성이면 토큰·세그먼트 단위(#7)로 내려간다
4 중간 상태에서 여러 번 다시 굴려볼 롤아웃 예산이 있는가(환경 재현이 싸고 결정론적인가)? Monte Carlo 계열(VinePPO, GiGPO류) API 호출처럼 비가역적이면 TD/가치 기반(ArCHer, AgentPRM) 또는 사후 반사실 분석(HCAPO, C3류)
5 여러 에이전트가 결과를 함께 만드는가? 멀티에이전트 credit(Shapley 계열) 별도 고려 단일 에이전트 축으로 충분

각 질문이 왜 그 순서로 놓였는지 짧게 풀어둔다.

  • 질문 1이 맨 앞에 오는 이유: 검증 가능성은 이 시리즈 3부(#9~#11) 전체의 전제다. 규칙으로 검증할 수 없으면 애초에 credit을 매길 근거 자체가 학습된 judge에 의존하게 되므로, 뒤의 입도 선택보다 먼저 결정돼야 한다.
  • 질문 2~3이 입도의 기본값을 정한다: 중간 신호와 턴 경계 유무가 “턴 단위냐 토큰/세그먼트 단위냐”를 가르는 가장 큰 분기점이다. 서베이의 트레이드오프 축 중 “추론 특화 대 에이전트 범용”이 사실상 이 두 질문으로 요약된다.
  • 질문 4는 방법론(가로축)을 정한다: 입도를 정한 뒤에도 Monte Carlo냐 TD냐를 가르는 건 결국 롤아웃을 다시 돌릴 수 있느냐다. “순방향 추정 대 사후 분석”이라는 트레이드오프 축이 여기서 갈린다.
  • 질문 5는 별도 축: 멀티에이전트는 입도 사다리 위에 있는 계단이 아니라 옆으로 갈라지는 별도 축이므로 마지막에 독립적으로 확인한다.

이 순서도가 말하는 핵심은 하나다 — 입도 선택은 “더 세밀할수록 좋다”는 단일 축 문제가 아니라, 환경이 제공하는 검증 가능성·재현 가능성·턴 구조라는 세 가지 제약이 먼저 어떤 입도를 “불가능하게” 만드는지부터 소거하는 문제라는 것이다. 롤아웃이 비싸면 MC 계열 전체가 소거되고, 턴 경계가 없으면 턴 단위 전체가 소거된다. 남은 선택지 중에서 계산 예산에 맞는 것을 고르는 게 실제 설계 순서다.

통계 요약

이 글에서 나온 대표 방법 한눈에 보기

지도의 좌표(입도, 방법론)와 핵심 아이디어, 확인된 수치를 한 표로 모았다. 확인되지 않은 수치는 비워뒀다.

방법 입도 방법론 핵심 아이디어 확인된 수치
VinePPO 토큰 Monte Carlo 가치망 대신 중간 상태에서 직접 롤아웃해 편향 없는 가치 추정 MATH·GSM8K, PPO 대비 그래디언트 업데이트 9배 감소
From r to Q* 토큰 TD/가치기반(암묵적) DPO 학습이 토큰 단위 MDP 위의 암묵적 Q함수를 학습한다는 이론적 증명 —
SCAR 세그먼트 Game-theoretic Shapley value로 세그먼트별 기여도 분해 —
PURE·SPRO·FinePO·PRL·InT 스텝(추론) Model-based(PRM) 추론 스텝 단위 process reward model 계열 —
HICRA 스텝 Information-theoretic semantic entropy로 고영향 계획 토큰을 식별해 최적화 압력 집중 Qwen3-4B, AIME24 +5.4점 · AIME25 +5.1점(GRPO 대비)
GiGPO 스텝(에이전트) Monte Carlo(critic-free) 앵커 상태로 사후 그룹화해 추가 롤아웃·critic 없이 스텝 advantage 계산 ALFWorld +12%, WebShop +9%(GRPO 대비), 추가 시간 비용 거의 없음
AgentPRM 턴 TD/가치기반 TD+GAE로 턴 단위 가치함수 학습, 정답이 아닌 진행도(progress) 채점 기존 대비 8배 이상 연산 효율
ArCHer 턴 TD/가치기반 턴 단위 off-policy critic(상위) + 토큰 정책(하위)의 계층 구조 기존 대비 약 100배 표본 효율(7B까지 확인)
SWEET-RL 턴 Model-based(비대칭 critic) 학습 시점 특권 정보를 critic에만 제공 ColBench, 절대 승률 +6%p

서베이가 남긴 미해결 문제

서베이 9장은 미해결 문제를 세 갈래(에이전트 프런티어·이론적 프런티어·실무적 프런티어)와 메타 수준 항목으로 정리한다. 이 시리즈 뒷부분(특히 5부·6부)이 이 목록의 일부를 다시 건드린다.

에이전트 프런티어

문제 내용
초장기 궤적(Ultra-Long Horizon Agents) 수백 턴, 수백만 토큰짜리 과제로 갈수록 credit이 결과와 시간적으로 멀어지고 그래디언트 분산이 계속 자란다. 이 글의 토이 예제가 보인 \(O(T)\)~\(O(T^2)\) 스케일링이 실제로 어디까지 버티는지가 미해결이다.
검증 불가능한 오픈월드 에이전트 정답이 정의되지 않는 환경(창작, 장기 계획 보조)에서 credit assignment를 어떻게 할 것인가. 규칙 기반 검증도, PRM식 단계 검증도 전제가 사라진 상황이다.
대규모 멀티에이전트 시스템 에이전트 수가 늘어날수록 서로의 행동을 부분적으로만 관측하는 상황에서 개별 기여도를 어떻게 나눌 것인가.

이론적 프런티어

문제 내용
Credit assignment와 탐색(exploration)의 상호작용 탐색 행동과 활용(exploitation) 행동에 같은 방식으로 credit을 매기는 게 맞는가 — 아직 정리되지 않았다.
형식적 보장(formal guarantees) LLM RL 맥락에서 credit assignment 방법의 수렴성·표본 복잡도를 증명한 연구가 거의 없다.
계산-신호 트레이드오프의 한계 입도를 세밀화할 때 신호 품질이 계산 비용 대비 어디까지 개선되는지에 대한 이론적 한계가 정리되지 않았다.

실무적 프런티어

문제 내용
통일된 벤치마크의 부재 credit assignment 품질만 따로 떼어 비교할 표준 평가 스위트가 없다. 서베이는 “controlled bifurcation tasks”(의도적으로 분기점을 심어둔 과제)를 제안한다.
Credit assignment와 메모리 작업 메모리·RAG·컨텍스트 윈도우가 credit assignment와 어떻게 상호작용하는지가 별도로 연구되지 않았다.
추론 → 에이전트 전이 추론 RL에서 검증된 기법(PRM 등)이 에이전트 RL로 그대로 옮겨갈 수 있는지, 옮겨간다면 어떤 수정이 필요한지가 열려 있다.

메타 수준에서 서베이는 자신의 한계도 명시한다 — 단일 저자 서베이라는 점, 핵심 방법과 인접 방법의 경계를 나누는 기준 자체에 주관이 개입할 수 있다는 점(“Threats to Validity”)이다. 대신 구조화된 논문 인벤토리와 재현 가능한 보고 체크리스트를 부록으로 공개해, 후속 연구가 이 분류를 검증·수정할 수 있게 남겨뒀다.

Conclusion

이 글의 메시지는 한 줄로 요약된다. episode 단위로 credit을 몰아주면, 궤적이 길어질수록 그 대가(분산)도 함께 커진다 — \(O(T^2)\) 대 \(O(T)\)라는 격차로. 이 문제를 푸는 47개 방법은 무작위로 흩어져 있지 않다. 입도(토큰~멀티에이전트, 5단계)와 방법론(Monte Carlo~information-theoretic, 5갈래)이라는 두 축 위에서 뚜렷한 패턴을 그린다 — 재현이 싼 추론 RL은 MC·TD가 채우고, 재현이 비싼 에이전트 RL은 game-theoretic·info-theoretic이 채운다.

정리하면,

  1. 문제의 본질: 정책 그래디언트의 advantage \(A_t\)가 궤적 전체에 똑같이 방송되면, 50턴 중 47개의 옳은 행동도 3턴째의 실수와 같은 페널티를 받는다. 이는 Minsky(1961)가 정식화한 고전 RL의 credit assignment 문제와 본질은 같지만, LLM 에이전트는 토큰이자 동시에 도구 호출이라는 이중 입도를 가진다는 점에서 새로운 설계 축(어느 배율에서 credit을 나눌 것인가)이 하나 더 생긴다.
  2. 지도: 입도(토큰/세그먼트/스텝/턴/멀티에이전트) × 방법론(MC/TD/model-based/game-theoretic/info-theoretic)의 5×5 그리드가 47개 방법을 담는다. 재현 비용이 싼 칸(토큰~세그먼트)은 MC·TD가, 재현 비용이 비싼 칸(턴~멀티에이전트)은 반사실·정보이론 도구가 채운다.
  3. 트레이드오프: 입도를 세분화하면 분산은 줄지만, 그만큼 “중간 보상을 누가 매기는가”라는 새 문제와 그 대리 보상이 뚫리는 hacking 위험이 함께 커진다.
  4. 미해결 문제: 서베이는 크게 세 갈래로 이를 남긴다 — 100턴을 넘는 초장기 궤적, 검증 가능한 보상이 아예 없는 오픈월드 환경, 그리고 credit assignment 방법을 정당하게 비교할 통일된 벤치마크의 부재. 여기에 이론적 수렴 보장의 부재, credit assignment와 탐색(exploration) 전략의 상호작용, 추론 RL에서 검증된 기법을 에이전트 RL로 옮길 수 있는가 하는 질문도 열려 있다.

이 지도가 2부 나머지 글들의 목차다. 다음 글(#3 멀티턴 RL 실무 가이드)에서 1부를 마무리한 뒤, #4부터 이 지도의 각 행을 하나씩 확대해 들어간다.

지금 당장 자기 문제에 이 지도를 적용해보고 싶다면 순서는 간단하다. 먼저 궤적 길이를 재본다 — 턴이 10개 안팎인지, 100개를 넘는지. 다음으로 “의사결정 트리” 절의 다섯 질문(검증 가능성, 중간 신호, 턴 경계, 롤아웃 예산, 에이전트 수)을 순서대로 답해 후보 입도를 좁힌다. 마지막으로 남은 후보 안에서 “다섯 입도 한눈에 비교” 표의 비용·적합 조건을 확인해 하나를 고른다. 이 세 단계가 이 글 전체를 실무 절차 하나로 압축한 것이다 — 그리고 이 절차가 그대로 #4부터 #8까지 각 글의 도입부가 된다.

마지막으로 이 서베이의 한계를 분명히 해둔다. 단일 저자가 47개 논문을 분류한 결과이므로, 핵심 방법과 인접 방법의 경계나 특정 방법의 셀 배치에는 주관이 섞여 있을 수 있다(서베이 스스로도 이를 “Threats to Validity”로 명시한다). 이 글도 그 분류를 최대한 그대로 옮기되, 원문에서 방법론 라벨이 불분명한 칸은 채우지 않고 비워뒀다. 지도는 완벽한 좌표계가 아니라, 뒤에 이어질 다섯 편의 글을 어디서부터 읽어야 할지 알려주는 이정표로 쓰라는 뜻이다.

참고 문헌

Agentic RL 설계 시리즈

이 글은 Agentic RL 설계 시리즈의 두 번째 글이다.

1부. 왜 에이전트는 다른가

  1. 에이전트 RL은 무엇이 다른가 — 장기 지평·희소 보상·긴 궤적
  2. (현재 글) 공을 어디에 돌릴 것인가 — credit assignment 47개 방법의 지도
  3. 멀티턴 RL 실무 가이드 — 무엇이 실제로 작동하는가

2부. credit assignment — 공을 어디에 돌릴 것인가

  1. 결과만으로는 부족하다 — 장기 지평에서 증폭되는 RLVR의 한계
  2. 턴 단위로 공을 나눈다 — turn-level reward 설계
  3. 스텝을 단위로 삼는다 — 행동 단위 궤적 표현과 credit
  4. 토큰과 세그먼트로 더 잘게 — 세밀한 입도의 득과 실
  5. shaping은 약인가 독인가 — 중간 보상의 효율과 위험

3부. reward를 어디서 얻나

  1. 환경이 곧 reward다 — 샌드박스·테스트·상태 검증
  2. 도구 호출을 어떻게 채점하나 — ToolRL·ToolRM
  3. 궤적을 judge가 채점한다 — rubric 생성형 reward의 확장

4부. 도메인별 설계

  1. 검색 에이전트 — Search-R1에서 DeepDive까지
  2. 코드 에이전트 — SWE-RL과 테스트라는 reward
  3. 웹·GUI 에이전트 — end-to-end 멀티턴 RL

5부. 실패와 방어

  1. 에이전트의 reward hacking — 판정기가 뚫린다, 그리고 조합의 실패

6부. 실전 종합

  1. 프론티어 모델은 실제로 어떻게 하나 — 최신 모델들의 agentic RL 설계

본 시리즈는 16편으로 구성된다.



Enjoy Reading This Article?

Here are some more articles you might like to read next:

  • 프론티어 모델은 실제로 어떻게 하나
  • 에이전트의 reward hacking — 판정기가 뚫린다, 그리고 조합의 실패
  • 웹·GUI 에이전트 — end-to-end 멀티턴 RL
  • 코드 에이전트 — SWE-RL과 테스트라는 reward
  • 검색 에이전트 — Search-R1에서 DeepDive까지