From Reasoning Chains to Verifiable Subproblems: Curriculum Reinforcement Learning Enables Credit Assignment for LLM Reasoning (Jiang et al., arXiv 2026)

Introduction

RLVR(Reinforcement Learning with Verifiable Rewards)는 수학·코드처럼 정답을 자동으로 채점할 수 있는 단일 턴 태스크에서 놀랍도록 잘 작동했다. DeepSeek-R1이 보여준 것처럼, 규칙 기반 outcome reward 하나만으로도 모델은 긴 chain-of-thought를 스스로 만들어내고 반성하고 재시도하는 능력을 학습한다. 이 성공이 워낙 강렬해서, “PRM 같은 중간 채점은 필요 없다. 결과만 검증 가능하면 충분하다”는 결론이 한동안 업계 표준처럼 자리 잡았다.

그런데 이 결론을 그대로 장기 지평(long-horizon) agentic 태스크로 옮기면 문제가 생긴다. 웹 브라우징 30턴, 코드 저장소 수정 50턴, 멀티스텝 도구 호출 100턴짜리 궤적에서도 “끝에 성공했으면 1점, 실패했으면 0점”이라는 동일한 outcome reward를 쓰면 두 가지가 동시에, 그것도 서로를 증폭시키며 나빠진다.

성공 롤아웃이 희귀해진다. 태스크가 길고 복잡할수록 처음부터 끝까지 옳게 해낼 확률은 기하급수적으로 떨어진다. 신호 자체가 나오지 않는다.
성공해도 무엇이 기여했는지 모른다. 설령 성공 롤아웃 몇 개를 건졌다 해도, 100턴 중 어느 턴이 결정적이었는지는 outcome reward가 말해주지 않는다. 신호가 있어도 쓸 수가 없다.

이 두 문제는 독립적이지 않다. 1번 때문에 학습 배치의 상당수가 그래디언트를 만들지 못하고 버려지고, 2번 때문에 겨우 살아남은 배치조차 잘못된 방향으로 신호를 흘린다. 이 글은 이 두 가지를 각각 수식으로 증명하고 숫자로 계산한다.

단일 턴 수학 문제라면 롤아웃 하나를 더 뽑는 비용은 토큰 생성 비용뿐이라 이 낭비를 그냥 “조금 비효율적이다” 정도로 넘길 수 있다. 그런데 agentic 롤아웃은 다르다. 각 턴마다 실제 도구 호출, 브라우저 렌더링, 코드 실행, 환경 리셋이 끼어들고, 이 각각이 API 지연·wall-clock 시간·때로는 실제 비용(외부 API 과금)을 동반한다. 롤아웃 하나의 비용이 토큰 생성 비용을 훌쩍 넘어서는 세계에서, “배치의 66%가 그래디언트 0”이라는 계산은 더 이상 사소한 비효율이 아니라 학습 예산의 대부분을 태워버리는 구조적 문제가 된다.

Background에서는 GRPO의 advantage가 왜 그룹 전체가 같은 결과를 낼 때 정확히 0이 되는지 보이고, 성공률 \(p\)와 그룹 크기 \(G\)가 주어졌을 때 몇 퍼센트의 그룹이 이 붕괴에 걸리는지 계산한다.
Method에서는 이 결핍을 메우려는 네 갈래 접근 — 환경 신호, 학습된 가치 함수, 판정 모델, 궤적 간 비교 — 을 정리하고, 최근 논문들이 실패 롤아웃에서 부분 진전을 뽑아내려는 시도를 검토한다.
Experiments에서는 이 계산을 실제 수치(성공률 5~30%, 그룹 4~16)에 대입해 표로 만들고, 궤적 길이가 늘어날 때 credit assignment 오류가 얼마나 증폭되는지 별도로 계산한다.

결론을 먼저 말하면, outcome-only RLVR은 짧은 지평에서 잘 통했던 바로 그 이유(단순함, 검증 용이성) 때문에 긴 지평에서 실패한다. 이 문제를 어느 입도(granularity)에서 풀 것인가가 2부 나머지 편(#5~#8)의 주제다.

Background

outcome-only RLVR의 목적함수와 advantage

RLVR에서 가장 널리 쓰이는 알고리즘인 GRPO(RLHF 시리즈 글에서 상세히 다뤘다)를 기준으로 시작하자. 같은 질의(또는 같은 초기 상태) \(q\)에 대해 정책 \(\pi_\theta\)로부터 \(G\)개의 궤적 \(\{o_1, o_2, \ldots, o_G\}\)를 샘플링하고, 검증기(verifier)가 각 궤적에 이진 보상 \(\{r_1, r_2, \ldots, r_G\} \in \{0, 1\}^G\)를 매긴다고 하자. GRPO는 별도의 critic 없이 그룹 내부의 상대적 위치로 advantage를 정의한다.

\[\hat A_i = \frac{r_i - \text{mean}(\{r_1, r_2, \ldots, r_G\})}{\text{std}(\{r_1, r_2, \ldots, r_G\}) + \epsilon}\]

\(r_i\): \(i\)번째 궤적의 outcome reward (성공 1, 실패 0)
\(\text{mean}\), \(\text{std}\): 같은 그룹 \(G\)개 보상의 평균과 표준편차
\(\epsilon\): 분모가 0이 되는 걸 막는 아주 작은 상수 (구현상의 안전장치)

이 advantage는 궤적 단위로 계산된 뒤, 궤적을 구성하는 모든 토큰에 동일하게 broadcast된다. 즉 \(i\)번째 궤적의 \(t\)번째 토큰에 대한 advantage는

\[\hat A_{i,t} = \hat A_i, \quad \forall t \in \{1, \ldots, \lvert o_i \rvert\}\]

이고, 정책 그래디언트는 (PPO-clip이나 KL 항 같은 GRPO 본체의 세부 구현은 생략하고 핵심만 남기면) 다음과 같은 형태를 갖는다.

\[\nabla_\theta J(\theta) = \mathbb{E}\left[\frac{1}{G}\sum_{i=1}^G \hat A_i \sum_{t=1}^{\lvert o_i \rvert} \nabla_\theta \log \pi_\theta(o_{i,t} \mid q, o_{i,<t})\right]\]

여기서 이미 이 글의 두 번째 문제(궤적 내부의 균일 broadcast)가 수식에 드러난다. 궤적이 몇 토큰이든 몇 턴이든, 그 안의 모든 토큰은 정확히 같은 스칼라 \(\hat A_i\)로 가중된다. 궤적 안에 잘한 부분과 못한 부분이 섞여 있어도 이 수식은 구분하지 못한다. 이 문제는 아래 “한 번의 실수가 지우는 신호”에서 직접 계산한다.

그룹이 전부 같은 결과를 낼 때 — advantage 붕괴

먼저 첫 번째 문제를 보자. 그룹 \(G\)개의 보상이 전부 같은 값 \(c\)라면 어떻게 될까 — 즉 \(G\)개 롤아웃이 전부 성공(\(c=1\))했거나 전부 실패(\(c=0\))한 경우다.

\[\text{mean}(\{r_i\}) = c, \qquad \text{std}(\{r_i\}) = 0\]

이를 advantage 식에 대입하면

\[\hat A_i = \frac{c - c}{0 + \epsilon} = 0, \qquad \forall i \in \{1, \ldots, G\}\]

이고, 따라서

\[\nabla_\theta J(\theta) = \frac{1}{G}\sum_{i=1}^G 0 \cdot \sum_{t} \nabla_\theta \log \pi_\theta(\cdot) = 0\]

즉 궤적이 몇 토큰이든, 몇 턴이든, 그 그룹 전체가 학습에 아무 기여도 하지 않는다. GPU를 써서 \(G\)개의 긴 궤적을 굴리고, 검증까지 다 마쳤는데, 그래디언트는 정확히 0이다.

일상 비유를 하나 붙이자면 이렇다. 상대평가로 등수를 매기는 시험을 생각해보라. 응시자 전원이 100점을 받았거나, 전원이 0점을 받았다면 등수를 매길 수 없다 — 누가 더 잘했는지 구별할 정보 자체가 없기 때문이다. GRPO는 정확히 이 상황에 놓인다. 그룹 내부의 상대적 차이로만 신호를 만들기 때문에, 차이가 없으면 신호도 없다.

토이 예제로 직접 숫자를 넣어 확인해보자. 그룹 크기 \(G=4\)인 두 시나리오를 비교한다.

시나리오 A (혼합 그룹): 네 개 롤아웃의 보상이 \(\{1, 0, 1, 0\}\) — 두 개 성공, 두 개 실패.

\[\text{mean} = 0.5, \qquad \text{std} = 0.5\] \[\hat A_{\text{성공}} = \frac{1 - 0.5}{0.5} = 1.0, \qquad \hat A_{\text{실패}} = \frac{0 - 0.5}{0.5} = -1.0\]

성공한 두 궤적은 \(+1.0\)으로 강화되고, 실패한 두 궤적은 \(-1.0\)으로 억제된다. 방향이 뚜렷한 그래디언트가 나온다.

시나리오 B (붕괴 그룹): 네 개 롤아웃의 보상이 \(\{0, 0, 0, 0\}\) — 전부 실패.

\[\text{mean} = 0, \qquad \text{std} = 0\] \[\hat A_i = \frac{0 - 0}{0 + \epsilon} = 0, \qquad \forall i \in \{1,2,3,4\}\]

네 번 롤아웃을 굴리고 네 번 채점했지만, 그래디언트는 정확히 0이다. 시나리오 A와 B는 롤아웃 개수도 같고 검증 비용도 같은데, 학습에 기여하는 정보량은 완전히 다르다 — 이 격차가 바로 이 글이 문제 삼는 지점이다.

이 현상은 이론적 우려가 아니라 실측된 현상이다. He et al. (arXiv 2026)은 0.5B~14B 크기의 5개 모델로 수학 추론 태스크를 학습시키면서 이 “advantage 붕괴”가 발생하는 배치 비율을 직접 측정했는데, 학습 배치의 28~45%에서 그룹 전체의 advantage가 완전히 붕괴했다고 보고한다. 이는 아래에서 직접 계산할 \(p^G + (1-p)^G\) 값과 크게 어긋나지 않는 범위다.

같은 현상이 다른 이름으로도 보고된다. Nie et al. (arXiv 2026)은 이진 보상 하에서 그룹 평균 중심화(group-mean centering) 자체가 구조적으로 그래디언트를 약화시키는 현상을 “gradient starvation”이라 부른다. 이들의 지적은 완전한 붕괴(\(\text{std}=0\))뿐 아니라, 그룹이 완전히 동질적이지 않아도 이진 보상의 이산적 특성 때문에 정규화된 신호가 구조적으로 약해질 수 있다는 더 넓은 문제로 이어진다. 이름은 다르지만 두 논문이 가리키는 뿌리는 같다 — 그룹 상대 정규화는 보상이 연속적이고 다양할 때를 전제로 설계됐는데, 이진 outcome reward는 정확히 그 전제를 깨뜨린다.

성공률과 유효 배치 크기

이제 이 붕괴가 얼마나 자주 일어나는지 확률로 계산해보자. 각 롤아웃이 독립적으로 확률 \(p\)로 성공한다고 가정하면(같은 프롬프트에 대한 \(G\)개의 i.i.d. 샘플이므로 합리적인 가정이다), 그룹이 advantage 붕괴에 걸리는 두 가지 경우는 다음과 같다.

그룹 전원이 성공할 확률: \(p^G\)
그룹 전원이 실패할 확률: \((1-p)^G\)

이 둘은 서로 배타적이므로

\[P(\text{advantage 붕괴}) = p^G + (1-p)^G\]

이다. 직관은 단순하다. \(p\)가 아주 작으면(어려운 태스크) \((1-p)^G\) 항이 지배적이 되어 “전부 실패”로 그룹이 통째로 버려질 확률이 커지고, \(p\)가 아주 크면(쉬운 태스크) \(p^G\) 항이 지배적이 되어 “전부 성공”으로 버려질 확률이 커진다. 가장 정보가 많은 지점은 \(p=0.5\) 근방이고, 태스크가 어려워질수록(agentic 태스크가 전형적으로 그렇다) 붕괴 확률은 늘어난다.

이 두 방향성(“\(G\)가 커지면 준다”, “\(p\)가 0.5에서 멀어지면 는다”)은 느낌이 아니라 미분으로 확인할 수 있다.

\(G\)에 대한 단조성. \(f(G) = p^G + (1-p)^G\)를 연속 변수 \(G>0\)에 대해 미분하면

\[f'(G) = p^G \ln p + (1-p)^G \ln(1-p)\]

\(0 < p < 1\)이므로 \(\ln p < 0\)이고 \(\ln(1-p) < 0\)이다. 두 항 \(p^G\), \((1-p)^G\)는 항상 양수이므로 \(f'(G)\)는 (음수)+(음수)로 항상 음수다. 즉 \(f(G)\)는 \(G\)에 대해 항상 감소한다 — “그룹을 키우면 붕괴 확률이 준다”는 서술이 모든 \(p\)에서 성립함을 확인했다.

\(p\)에 대한 U자형. 이번엔 \(p\)에 대해 미분한다.

\[f'(p) = G p^{G-1} - G(1-p)^{G-1} = G\left[p^{G-1} - (1-p)^{G-1}\right]\]

\(G>1\)이면 \(x \mapsto x^{G-1}\)은 \((0,1)\)에서 증가함수이므로, \(p<0.5\)일 때 \(p < 1-p \Rightarrow p^{G-1} < (1-p)^{G-1} \Rightarrow f'(p) < 0\)(감소), \(p>0.5\)일 때는 부호가 뒤집혀 \(f'(p) > 0\)(증가)이다. 즉 \(f(p)\)는 \(p=0.5\)에서 최솟값을 갖는 U자형 곡선이다 — 태스크가 쉬워도(\(p \to 1\)) 어려워도(\(p \to 0\)) 양 끝에서 붕괴 확률이 커진다는 서술도 검증됐다.

이 관계를 표로 직접 검산한 결과는 Experiments 절에 정리한다.

Method — 부분 신뢰(partial credit)는 어디서 오는가

outcome reward 하나로는 부족하다는 걸 확인했으니, 남은 질문은 “그럼 중간 신호를 어디서 얻는가”다. 크게 네 갈래 접근이 있고, 각각 이 시리즈 뒤편의 다른 편에서 상세히 다룬다. 여기서는 네 접근의 핵심 아이디어와 트레이드오프만 짚는다.

1. 환경이 주는 중간 신호

가장 값싸고 검증 가능한 신호는 환경 자체가 준다. 코드 에이전트라면 “테스트 케이스 10개 중 몇 개를 통과했는가”, 웹 에이전트라면 “체크아웃 페이지까지는 도달했는가” 같은 부분 목표 달성을 관찰할 수 있다. 이건 사람이 채점하는 게 아니라 환경 상태를 그대로 읽는 것이므로, 검증기 자체가 outcome reward만큼 신뢰할 수 있다는 장점이 있다.

문제는 이 신호가 환경마다 따로 설계해야 한다는 점이다. 어떤 환경은 자연스럽게 부분 신호를 노출하지만(단위 테스트 통과율), 어떤 환경은 이진 성공/실패만 노출한다(브라우저가 최종 목표 페이지에 도달했는가). 예를 들어 SWE 계열 태스크에서 단위 테스트 10개 중 7개를 통과했다면 이진 판정 대신 \(r=0.7\)이라는 연속값을 줄 수 있다. 그런데 이 부분 점수가 항상 “정답에 더 가까움”을 의미하는 건 아니다 — 우연히 일부 테스트만 통과하는 전혀 다른 접근일 수도 있고, 이 점수 자체가 새로운 reward hacking의 표적이 될 수도 있다(코드를 고치는 대신 테스트 파일을 손대는 식으로). 이 설계 문제와 그 위험은 #9 환경이 곧 reward다, 그리고 hacking 쪽은 #15 에이전트의 reward hacking에서 자세히 다룬다.

2. 모델이 추정하는 중간 가치 — critic은 정말 필요 없어졌나

PPO 시절에는 별도의 value network(critic)가 각 상태의 기대 미래 보상 \(V(s_t)\)를 추정해서, advantage를 \(A_t = r_t + \gamma V(s_{t+1}) - V(s_t)\) 같은 형태로 토큰(또는 스텝) 단위로 촘촘하게 만들어냈다. 실무에서는 여러 스텝의 TD residual을 지수가중 평균한 GAE(Generalized Advantage Estimation)를 쓰는 경우가 많다.

\[\hat A_t^{GAE} = \sum_{l=0}^{\infty} (\gamma\lambda)^l \delta_{t+l}, \qquad \delta_t = r_t + \gamma V(s_{t+1}) - V(s_t)\]

\(\gamma\): 할인율, 먼 미래 보상을 얼마나 깎아서 볼지
\(\lambda\): bias-variance 트레이드오프 계수
\(\delta_t\): TD residual — 상태 \(s_t\)마다 다른 값

핵심은 이 값이 상태 \(s_t\)마다 독립적으로 계산된다는 점이다. 궤적의 앞부분과 뒷부분이 서로 다른 advantage를 받을 수 있고, 이게 곧 촘촘한 credit assignment의 원천이다. GRPO는 이 critic을 버리고 그룹 통계로 대체했다 — 메모리를 절반 가까이 줄이고(critic 파라미터가 통째로 사라지므로), 단일 턴·짧은 CoT에서는 이 대체가 잘 작동했다.

그런데 궤적이 길어지면 이 대체가 흔들린다는 증거가 나오고 있다. de Oliveira et al. (arXiv 2025)은 고전적인 RL 환경(카트폴부터 장기 지평 제어 태스크까지)에서 GRPO 계열의 critic-free 방법과 PPO를 직접 비교했는데, 카트폴처럼 지평이 짧은 태스크에서는 critic 없이도 에피소드 리턴만으로 충분했지만, 지평이 긴 태스크에서는 critic-free 베이스라인 전부가 PPO에 크게 못 미쳤다. 즉 critic이 하던 일 — “이 상태에서 앞으로 얼마나 잘 될지”를 매 스텝 추정해 촘촘한 신호를 만드는 일 — 은 지평이 짧을 때는 그룹 통계로 근사가 되지만, 지평이 길어지면 근사가 깨진다.

왜 그럴까. 그룹 상대 정규화는 “같은 프롬프트에 대해 여러 번 시도했을 때의 상대적 우열”만 알려줄 뿐, “이 궤적의 몇 번째 턴에서 우열이 갈렸는가”는 전혀 알려주지 않는다. Critic은 상태마다 값을 추정하므로 이 정보를 원리적으로 가지고 있지만, 그룹 통계는 궤적 전체에 대한 스칼라 하나만 가지고 있다. 궤적이 짧으면 이 차이가 별로 중요하지 않지만(전체가 몇 스텝 안 되므로), 궤적이 길어질수록 “어디서 갈렸는가”를 모른다는 게 치명적이 된다. Agentic RL 프레임워크들이 다시 critic이나 critic과 유사한 구조(궤적 내부에 attention을 거는 critic, 분포적 critic 등)를 도입하려는 시도가 늘고 있는 것도 이 때문이다.

3. 판정 모델이 매기는 중간 점수

세 번째 방법은 별도의 judge/reward model이 궤적의 중간 지점, 또는 궤적 전체를 두고 점수를 매기는 것이다. 단일 턴 세계에서는 이게 PRM(Process Reward Model)이었다 — 풀이 과정의 각 스텝에 옳고 그름을 매겼다. Agentic 세계에서는 이게 rubric 기반 judge로 확장된다. “이 턴에서 에이전트가 올바른 도구를 선택했는가”, “탐색 전략이 합리적이었는가” 같은 기준을 LLM judge에게 채점시킨다.

예컨대 코드 에이전트가 파일을 지우기 전에 백업을 만들었는지, 검색 에이전트가 근거 출처를 명시했는지 같은 절차적 기준을 judge에게 채점시킨다. 이 방식의 장점은 유연성이다 — 검증 가능한 정답이 없는 도메인(오픈엔디드 리서치, 대화형 에이전트)에도 적용되고, 최종 결과가 아직 나오지 않은 궤적 중간 지점에도 점수를 매길 수 있다. 단점은 judge 자체가 reward hacking의 표적이 된다는 점이다 — judge가 표면적 패턴(인용문 개수, 특정 어휘 사용)에 낚이면 정책은 그 패턴만 흉내 내는 법을 배운다. 이 문제는 #11 궤적을 judge가 채점한다에서 자세히 다룬다.

4. 궤적 간 비교 — 실패들 중에서도 덜 나쁜 것

네 번째는 가장 최근에 주목받는 방향이다. 성공/실패라는 이진 딱지를 떼고, 실패한 궤적끼리도 상대적으로 비교한다. 50턴 중 45턴을 옳게 하고 마지막에 무너진 궤적과, 5턴 만에 완전히 엉뚱한 방향으로 간 궤적은 둘 다 “실패”지만 같은 실패가 아니다. 이 차이를 포착하려는 것이 최근 RLVR 논문들의 공통된 문제의식이다.

숫자로 보면 왜 이 차이가 중요한지 분명해진다. 궤적 A는 50턴 중 45턴을 정확히 수행하고 마지막 5턴에서 무너졌고, 궤적 B는 처음 5턴부터 방향을 잘못 잡아 나머지 45턴이 전부 헛수고였다고 하자. Outcome reward 관점에서 둘 다 \(r=0\)으로 완전히 같다. 만약 “진행률” 같은 프록시로 부분 점수를 줄 수 있다면 궤적 A는 \(0.9\) 근방, 궤적 B는 \(0.1\) 근방을 받아야 마땅하다. 정책이 “어디까지는 맞게 가고 있었는지”를 학습하려면 이 \(0.8\)의 격차가 필수적인데, 이진 채점은 이 격차를 통째로 지운다.

이 갈래는 결국 “얼마나 잘게 쪼개서 비교할 것인가”의 문제로 이어지고, 이것이 #5 턴 단위로 공을 나눈다, #6 스텝을 단위로 삼는다, #7 토큰과 세그먼트로 더 잘게의 주제다. 여기서는 이 방향을 택한 최근 연구들이 구체적으로 무엇을 하는지만 짚는다.

5. 최근 연구들의 절충안 — 실패 롤아웃에서 부분 진전 뽑아내기

이 글의 첫머리에 인용한 SCRL 논문(Jiang et al., arXiv 2026)의 문제의식이 정확히 이 절의 출발점이다. 이들은 outcome-based RLVR이 어려운 문제에서 비효율적인 이유를 “정답 롤아웃 자체가 희귀하고, 샘플 단위 credit assignment는 실패한 시도 안의 부분 진전을 전혀 활용하지 못하기 때문”이라고 명시한다. 이 논문이 제안하는 SCRL(Subproblem Curriculum Reinforcement Learning)은 정답 풀이(reference reasoning chain)로부터 검증 가능한 하위 문제(subproblem) 여러 개를 뽑아내고, 원래 문제를 마지막 하위 문제로 고정한 커리큘럼을 구성한다. 각 하위 문제 위치에서 독립적으로 보상을 정규화하고, 그 advantage를 해당 답변 구간에 배정하는 방식(subproblem-level normalization)으로 외부 rubric이나 별도의 reward model 없이도 더 잘게 쪼갠 credit을 만들어낸다. 결과적으로 Qwen3-4B-Base에서 GRPO 대비 평균 정확도 +4.1점, Qwen3-14B-Base에서 +1.9점을 보였고, AIME24/25와 IMO-Bench에서는 pass@1 +3.7점, pass@64 +4.6점의 개선을 보고했다.

비슷한 시기에 나온 CIPO(Correction-Oriented Policy Optimization, Ren et al., arXiv 2026)는 다른 각도에서 같은 문제를 공략한다. 실패한 on-policy 롤아웃을 버리는 대신, 그 실패로부터 교정(correction) 샘플을 자동으로 구성해서 외부 신호 없이 표준 RLVR 목적함수와 함께 학습시킨다. 수학·코드 11개 벤치마크에서 강한 베이스라인 대비 일관된 개선을 보였고, 특히 pass@K 개선폭이 커서 단순히 기존 정답 확률을 재분배하는 게 아니라 실제 추론 능력이 늘었다고 저자들은 해석한다.

Ren et al.(다른 저자 그룹, arXiv 2026)의 논문은 “거의 다 맞았는데 끝에서 무너진” 롤아웃을 통째로 버리는 대신 살리는 방법을 제안한다. Process Reward Model로 롤아웃 안의 첫 오류 지점을 찾아내고, 그 지점부터만 off-policy로 재작성(rectification)한다. 궤적 전체를 폐기하지 않고 옳았던 앞부분은 그대로 보존한 채 틀린 뒷부분만 고치는 방식이라, 탐색 다양성을 유지하면서도(다양성 점수 +13.5%) 수학 추론 평균 정확도 46.6%로 최고 수준을 기록했고 분포 밖(OOD) 태스크에서도 53.4%의 정확도를 보였다.

이 세 논문의 공통점은 “실패=0점”이라는 이진 판정 뒤에 숨어 있는 연속적인 정보(어디까지 맞았는가, 얼마나 가까웠는가)를 다시 꺼내 쓴다는 것이다. 접근 4(궤적 간 비교)의 가장 구체적인 실현형이라고 볼 수 있다.

여기서 DAPO의 dynamic sampling과의 차이를 분명히 해둘 필요가 있다. DAPO는 그룹 정확도가 정확히 1이거나 0인 프롬프트를 필터링하고, \(0 < \lvert\{o_i \mid \text{is_correct}(o_i)\}\rvert < G\)를 만족할 때까지 추가로 샘플링해서 배치를 채운다. 이건 앞서 계산한 “advantage 붕괴” 문제에 대한 실용적인 대응책이고, 실제로 수렴 속도를 높인다는 보고도 있다. 하지만 이 방법의 본질은 필터링이지 신호 생성이 아니다. 붕괴한 그룹을 걸러내고 다시 뽑을 뿐, 그 그룹 안에 있었을 부분 진전 정보 자체를 복원하지는 못한다. 반면 위에서 소개한 SCRL·CIPO·롤아웃 재작성 계열은 붕괴한 그룹을 버리지 않고 그 안에서 신호를 새로 만들어낸다는 점에서 다르다. 두 방법은 배타적이지 않고 병행할 수 있지만, “배치를 아끼는 것”과 “정보를 만드는 것”은 서로 다른 문제라는 걸 구분해야 한다.

PRM vs ORM, 그리고 왜 지평 길이가 결정적인가

이 모든 논의는 사실 낯설지 않다. Let’s Verify Step by Step이 PRM이 ORM보다 나은 credit assignment를 준다는 걸 보인 지 오래됐고, PRM vs ORM 논쟁은 이 시리즈가 다루는 문제의 단일 턴 판이다. 그런데 DeepSeek-R1은 결국 PRM을 버리고 outcome reward만으로 강력한 추론 모델을 학습시켰다. 왜 R1에서는 이 선택이 통했는데, agentic RL에서는 같은 선택이 문제가 될까.

답은 궤적 길이다. R1류 수학 추론에서 하나의 CoT는 길어야 수천 토큰, 실질적인 “결정 지점”은 수십 개 남짓이다. 이 정도 길이에서는 이 글의 Background에서 설명한 이유로 outcome reward가 그럭저럭 버틴다 — 뒤에서 설명할 “token-flipping” 메커니즘(Cheng et al., arXiv 2026)에 따르면, 성공 롤아웃과 실패 롤아웃이 그룹 안에 함께 있을 때 두 부류가 공유하는 토큰들은 서로 상쇄(cancel)되고, 성공에만 고유한 토큰들만 순수하게 강화된다. 이 상쇄 메커니즘이 암묵적인 토큰 단위 credit assignment 역할을 하는 셈이다. 그런데 이 메커니즘이 작동하려면 애초에 그룹 안에 성공과 실패가 함께 섞여 있어야 한다 — 그룹이 전부 성공하거나 전부 실패하면(Background에서 계산한 그 확률로) 상쇄할 것도, 강화할 것도 없다. 즉 이 암묵적 메커니즘조차 advantage 붕괴 앞에서는 무력하다.

Agentic 궤적은 이 조건이 훨씬 잘 깨진다. 첫째, 궤적이 10~100턴으로 길어질수록 처음부터 끝까지 옳게 해낼 확률이 기하급수적으로 낮아져(자세한 계산은 Experiments 절), 그룹 안에 성공과 실패가 고르게 섞일 가능성 자체가 줄어든다. 둘째, 설령 섞인다 해도 “공유 토큰 상쇄”라는 메커니즘은 텍스트가 어느 정도 겹쳐야 작동하는데, 도구 호출·환경 관측·긴 사이 턴이 끼어드는 agentic 궤적은 같은 실패라도 서로 다른 지점에서, 다른 이유로 실패하기 때문에 겹치는 부분이 훨씬 적다. R1의 선택이 옳았던 조건 — 짧은 지평, 촘촘한 토큰 겹침 — 이 agentic 궤적에서는 둘 다 깨지는 셈이다.

Experiments

얼마나 많은 배치가 그래디언트 0인가

Background에서 유도한 \(P(\text{붕괴}) = p^G + (1-p)^G\)를 성공률 \(p \in \{0.05, 0.1, 0.3\}\)과 그룹 크기 \(G \in \{4, 8, 16\}\)에 대해 직접 계산한다.

성공률 \(p\) \ 그룹 크기 \(G\)	\(G=4\)	\(G=8\)	\(G=16\)
\(p=0.05\)	81.45%	66.34%	44.01%
\(p=0.10\)	65.62%	43.05%	18.53%
\(p=0.30\)	24.82%	5.77%	0.33%

검산 과정은 다음과 같다(대표로 \(p=0.05, G=8\) 한 칸만 손으로 풀어본다).

\[p^G = 0.05^8 = 3.90625 \times 10^{-11} \approx 0\] \[(1-p)^G = 0.95^8 = (0.95^4)^2 = (0.81450625)^2 = 0.66342043\] \[P(\text{붕괴}) = 0.66342043 + 0.0000000000390625 \approx 0.6634 = 66.34\%\]

표에서 읽을 수 있는 두 가지 경향이 있다.

같은 성공률에서 그룹 크기 \(G\)를 키우면 붕괴 확률은 줄어든다. \(p^G\)와 \((1-p)^G\) 둘 다 \(G\)가 커질수록 지수적으로 작아지기 때문이다. 그룹을 크게 잡는 것이 낭비를 줄이는 한 가지 방법이지만, 그만큼 롤아웃 비용이 선형으로 늘어난다.
같은 그룹 크기에서 성공률 \(p\)가 낮아지면(태스크가 어려워지면) 붕괴 확률은 늘어난다. 이건 거의 전적으로 \((1-p)^G\) 항, 즉 “그룹 전체가 실패”하는 경우가 지배하기 때문이다 — \(p=0.05, G=16\)에서 \((1-p)^G \approx 0.4401\)인 반면 \(p^G\)는 사실상 0이다. 어려운 태스크일수록 배치 대부분이 통째로 낭비된다는 뜻이다.

성공률 5%, 그룹 8개 — 구체적 계산

브리프에서 요구한 구체적 시나리오를 짚어보자. 성공률 5%짜리 태스크에서 그룹 크기 8로 GRPO를 돌리면, 배치의 66.34%가 advantage 붕괴로 그래디언트 0이 된다. 위 표의 \(p=0.05, G=8\) 칸이 바로 이 값이다.

이 중 절대다수는 “전부 실패”(\(0.95^8 \approx 66.34\%\))이고, “전부 성공”(\(0.05^8 \approx 0.0000000039\%\))은 사실상 무시할 수 있는 수준이다 — 즉 이 시나리오에서 GRPO가 태우는 계산의 3분의 2는 “여덟 번 다 실패해서 아무것도 배우지 못한” 그룹이다. 나머지 33.66%의 배치만 실제로 학습에 기여한다.

감을 잡기 위해 실제로 있음직한 두 번의 뽑기(draw)를 나란히 놓아보자.

뽑기 1 (확률 66.34%로 일어나는 부류): 8개 롤아웃 결과가 \(\{0,0,0,0,0,0,0,0\}\) — 전부 실패. \(\text{std}=0\)이므로 8개 궤적 모두 \(\hat A_i = 0\). 8번의 환경 상호작용, 8번의 검증을 거쳤지만 파라미터는 한 칸도 움직이지 않는다.

뽑기 2 (성공 1개가 섞인 부류): 8개 중 1개만 성공, 결과가 \(\{1,0,0,0,0,0,0,0\}\). \(\text{mean}=0.125\), \(\text{std} \approx 0.331\). 성공한 궤적은 \(\hat A = (1-0.125)/0.331 \approx 2.64\)로 크게 강화되고, 실패한 7개는 각각 \(\hat A = (0-0.125)/0.331 \approx -0.38\)로 약하게 억제된다.

두 뽑기는 태스크 난이도도, 정책도, 롤아웃 비용도 완전히 같다. 차이는 순전히 운 — \(G=8\)번 중 성공이 하나라도 걸렸는가 — 뿐이다. 그런데 그 운에 따라 학습 기여도는 “전무”에서 “강한 신호” 사이를 오간다. 성공률이 낮을수록(태스크가 어려울수록) 뽑기 1과 같은 “전무” 쪽으로 확률이 쏠린다는 것이 바로 위 표가 말하는 내용이다.

실증치와의 교차 검증

이 계산이 이론적 상한이 아니라 실제로 관측되는 현상인지 교차 검증해보자. He et al. (arXiv 2026)은 0.5B~14B 모델 5개 스케일에서 수학 추론 RLVR 학습 중 advantage 붕괴 비율을 직접 측정했고, 학습 배치의 28~45%가 붕괴했다고 보고했다. 위 표에서 이 범위는 대략 \(p \approx 0.1\text{\~}0.2, G=8\) 근방, 또는 \(p \approx 0.05, G=16\) 근방에 대응한다 — 즉 학습 데이터에 섞인 문제들의 평균 난이도가 “성공률 10~20% 안팎”이라고 볼 수 있는 범위다. 물론 실제 학습에서는 문제마다 성공률이 다르고(동질적인 i.i.d. Bernoulli 가정은 근사일 뿐이다), 학습이 진행되며 \(p\) 자체가 변하기 때문에 완벽히 들어맞을 필요는 없지만, 자릿수 단위로는 이론값과 실측값이 같은 범위에 있다는 점이 중요하다.

가정의 한계 — 독립성 가정은 낙관적일 수 있다

\(p^G + (1-p)^G\) 계산은 그룹 안의 \(G\)개 롤아웃이 서로 독립이라는 가정 위에 서 있다. 그런데 실전에서는 이 가정이 오히려 낙관적인 쪽일 수 있다. 같은 프롬프트에 대해 같은 정책이, 흔히 낮은 temperature로, 거의 같은 시작점에서 샘플링을 시작하기 때문에 롤아웃끼리 상관관계가 생기기 쉽다. 정책이 특정 실수 패턴에 강하게 수렴해 있다면 — 예컨대 특정 도구를 항상 잘못된 인자로 호출한다면 — \(G\)개의 샘플은 사실상 같은 실수를 반복할 뿐 독립 시행이 아니다. 이 경우 실제 “전부 실패” 확률은 i.i.d. 가정으로 계산한 \((1-p)^G\)보다 더 커진다. 즉 위 표의 숫자는 최선의 경우를 가정한 하한에 가깝다고 보는 편이 안전하다.

그룹 크기를 키우면 해결되는가 — 고정 예산 하의 트레이드오프

Background에서 \(G\)가 커지면 붕괴 확률 \(p^G+(1-p)^G\)이 항상 감소함을 미분으로 확인했다. 그렇다면 “그룹을 최대한 크게 잡으면 되는 것 아닌가”라는 질문이 자연스럽게 나온다. 답은 “롤아웃 예산이 고정되어 있다면 그렇지 않다”이다.

전체 롤아웃 예산이 \(N\)개로 고정되어 있다고 하자. 그룹 크기를 \(G\)로 잡으면 만들 수 있는 그룹(프롬프트) 수는 \(N/G\)개이고, 이 중 그래디언트가 살아있는 그룹의 기댓값은

\[\text{유효 그룹 수} = \frac{N}{G}\left[1 - p^G - (1-p)^G\right]\]

이다. \(N=1{,}000\), \(p=0.05\)로 고정하고 \(G\)를 늘려가며 계산해보자(붕괴 확률은 앞서 계산한 값과 \(G=32\)일 때 \(0.95^{32} \approx 0.1937\)을 추가로 사용한다).

\(G\)	그룹 수 \(N/G\)	붕괴 확률	유효 그룹 수
4	250	81.45%	약 46.4
8	125	66.34%	약 42.1
16	62.5	44.01%	약 35.0
32	31.25	19.37%	약 25.2

붕괴 확률은 \(G\)가 커질수록 계속 줄어드는데(81.45% → 19.37%), 붕괴하지 않은 유효 그룹의 개수는 오히려 계속 줄어든다(46.4 → 25.2). 이유는 단순하다 — \(G\)를 키우면 그룹 하나의 생존 확률은 올라가지만, 같은 예산으로 만들 수 있는 그룹의 개수 자체가 \(1/G\)로 줄어드는 속도가 더 빠르기 때문이다. “그룹을 크게 잡아서 낭비를 줄인다”는 직관은 붕괴 확률만 보면 맞지만, 고정된 컴퓨팅 예산 안에서 실제로 학습에 쓸 수 있는 그래디언트의 총량을 보면 오히려 틀린 방향일 수 있다.

이 계산이 앞서 소개한 DAPO의 dynamic sampling이 왜 “그룹을 키우자”가 아니라 “붕괴한 그룹을 버리고 새 프롬프트를 더 뽑자”는 형태를 택했는지를 설명해준다. 그룹 크기를 고정한 채 프롬프트 수를 늘리는 쪽이, 같은 프롬프트에 대해 그룹만 무한정 키우는 쪽보다 예산 대비 유효 그래디언트를 더 많이 남긴다.

한 번의 실수가 지우는 신호 — 궤적 길이별 오염 비율

이제 두 번째 문제, 즉 “성공해도(혹은 실패해도) 어디가 결정적이었는지 모른다”는 문제를 계산해보자. Background에서 봤듯 outcome-only credit은 궤적 전체에 동일한 advantage \(\hat A_i\)를 broadcast한다. 궤적 \(T\)턴 중 정확히 1턴에서 결정적인 실수를 저질러 최종 보상이 0이 되었다고 하자(50턴 중 1턴 실수로 요리를 망친 경우를 떠올리면 된다 — 나머지 49단계는 옳게 했는데도 “이 요리는 실패다”라는 판정 하나로 49단계 전부가 “잘못된 것”으로 묶여버린다).

이때 실수 없이 옳게 수행된 \(T-1\)개 턴에도 실수를 저지른 1개 턴과 똑같은 음의 advantage가 broadcast된다. 옳은 행동인데 잘못 페널티를 받는 턴의 비율(오염 비율)은

\[\text{오염 비율} = \frac{T-1}{T}\]

이고, 이를 몇 가지 궤적 길이에 대해 계산하면 다음과 같다.

궤적 길이 \(T\) (턴)	옳은 턴 수	오염 비율
\(T=5\)	4	80.00%
\(T=10\)	9	90.00%
\(T=20\)	19	95.00%
\(T=50\)	49	98.00%
\(T=100\)	99	99.00%

이 계산은 “1턴 실수 → 전체 실패”라는 가장 단순한 가정 위에 서 있고, 실제로는 실수의 심각도나 위치에 따라 다르게 다뤄야겠지만, outcome reward가 turn-level advantage broadcast와 결합했을 때 구조적으로 어떤 방향의 오류를 만드는지는 이 계산만으로 충분히 드러난다. 궤적이 길어질수록(코드 에이전트, 딥리서치 에이전트처럼 지평이 늘어날수록) 옳은 행동에 걸리는 오염된 그래디언트의 비율은 점근적으로 100%에 가까워진다. 50턴짜리 agentic 궤적에서 실수 1턴 때문에 실패하면, 나머지 49턴의 옳은 행동에 대해 모델이 받는 신호는 “너희도 틀렸다”는 것 — 정확히 반대 방향이다.

이 문제는 #5~#7이 다루는 입도별 credit assignment 기법들이 정면으로 겨냥하는 지점이다. 턴 단위로 쪼개면 최소한 오염이 “턴 안에서” 정도로 줄고, 스텝·토큰 단위로 더 잘게 쪼개면 원리적으로는 오염을 실수가 일어난 지점 근처로 국한시킬 수 있다 — 물론 그 대가(노이즈, 계산 비용, credit assignment 자체의 어려움)는 각 편에서 따로 다룬다.

앞의 계산은 실수가 정확히 1턴이라는 가장 단순한 경우였다. 실수가 \(k\)턴이라면 오염 비율은 자연스럽게

\[\text{오염 비율} = \frac{T-k}{T}\]

로 일반화된다. 예컨대 50턴 중 3턴에서 실수가 있었다면 오염 비율은 \((50-3)/50 = 94\%\)다 — 실수가 늘어나도 여전히 옳은 행동 대다수가 잘못 페널티를 받는다는 결론 자체는 바뀌지 않는다. 오히려 이 일반화가 보여주는 건, outcome-only broadcast가 “실수가 몇 개인지, 얼마나 심각한지”를 전혀 구분하지 못한다는 점이다 — 1턴 실수든 3턴 실수든 최종 보상이 0이면 \(\hat A_i\)는 똑같고, 오염되는 턴의 절대다수라는 결론도 거의 그대로 유지된다.

학습이 진행되며 문제가 저절로 풀리는가 — curriculum과의 연결

지금까지는 \(p\)를 고정된 상수로 놓고 계산했지만, 실제로는 정책이 학습되며 같은 태스크에 대한 성공률 \(p\)도 함께 오른다. 즉 이 붕괴 문제는 학습 초반에 가장 심하고, 후반으로 갈수록 저절로 완화될 여지가 있다. 그룹 크기 \(G=8\)을 고정하고, 학습 단계별로 같은 태스크의 성공률이 어떻게 바뀌는지 가정해 붕괴 확률을 계산해보자.

학습 단계 (가정)	성공률 \(p\)	붕괴 확률 (\(G=8\))
초반, 아직 서투른 태스크	0.02	85.08%
중반	0.05	66.34%
후반, 어느 정도 숙달	0.30	5.77%

\(p=0.02\) 칸의 검산: \(0.98^8 = (0.98^4)^2 = (0.92236816)^2 \approx 0.850763\)이고 \(0.02^8\)은 사실상 0이므로 붕괴 확률은 약 \(85.08\%\)다.

같은 태스크라도 정책이 나아지면서 붕괴 확률이 85%에서 6%까지 자연히 떨어진다. 문제는 여기서 드러나는 역설이다 — 학습이 가장 절실한 시점(초반, 어려운 태스크)에 학습에 쓸 신호가 가장 희박하다. 배워야 할 게 가장 많을 때 배울 재료가 가장 적다는 뜻이다. 앞서 소개한 SCRL의 커리큘럼 설계(검증 가능한 쉬운 하위 문제부터 시작해 원래 문제로 난이도를 서서히 올리는 방식)와 DAPO의 dynamic sampling(부족한 신호를 추가 샘플링으로 강제 보충하는 방식)은 결국 이 역설에 대한 서로 다른 대응이라고 볼 수 있다. 하나는 실질적인 \(p\)를 인위적으로 끌어올리는 커리큘럼이고, 다른 하나는 \(p\)가 낮아도 배치를 억지로 채우는 브루트포스다. 둘 다 “이 붕괴 확률 계산 자체를 바꾸려는” 시도라는 공통점이 있다.

통계 요약

이 글에서 다룬 부분 신뢰(partial credit) 접근을 신호 출처별로 정리한다.

접근	신호 출처	장점	한계	상세
환경 중간 신호	테스트 부분 통과, 서브골 달성	검증 가능, 저비용	환경마다 설계 필요, 노출 안 되는 환경 다수	#9
학습된 가치 함수	PPO식 critic, 또는 그 변형	매 스텝 촘촘한 신호	학습 불안정, 메모리 부담, bias 위험	(본 편)
판정 모델 점수	agentic PRM / rubric judge	검증 불가능한 도메인에도 적용	judge가 reward hacking의 새 표적	#11
궤적 간 비교	실패끼리도 상대 비교(SCRL·CIPO류)	외부 신호 불필요, on-policy 유지	여전히 근사, 입도 설계가 어려움	#5~#7
Dynamic sampling(DAPO)	붕괴 그룹 필터링 후 재샘플	구현 간단, 수렴 가속 보고됨	신호를 만들지 않고 버릴 뿐	DAPO

두 계산을 이어 붙이면 왜 이 문제가 단순히 “두 개의 독립된 버그”가 아니라 서로를 증폭시키는 한 쌍인지 보인다. 그룹이 붕괴하지 않고 살아남았다고 해도(Experiments 앞부분 33.66%의 경우), 그 안의 실패 궤적이 여전히 균일 broadcast로 채점된다는 사실은 변하지 않는다 — 즉 “배치가 살아남았는가”와 “살아남은 배치 안의 신호가 정확한가”는 서로 다른 질문이고, 이 글은 첫 번째 질문에 66.34%라는 답을, 두 번째 질문에 98%라는 답을 각각 냈다. 두 숫자를 곱하듯 겹쳐 보면, 성공률 5%·그룹 8·궤적 길이 50턴짜리 agentic 태스크에서 “쓸모 있고 정확한” 그래디언트가 나올 여지가 얼마나 좁은지 감이 잡힌다.

Conclusion

이 글에서 확인한 것은 세 가지다.

성공률과 그룹 크기가 주어지면, 배치가 통째로 낭비될 확률 \(p^G + (1-p)^G\)를 정확히 계산할 수 있다. 성공률 5%, 그룹 8개라는 흔한 설정에서 이 값은 66.34%다. 실제로 다양한 모델 스케일에서 관측된 28~45%라는 실측치도 이 계산과 같은 자릿수에 있고, “gradient starvation”이라는 이름으로 독립적으로 보고된 현상도 같은 뿌리를 가리킨다.
outcome reward가 궤적 전체에 균일하게 broadcast되는 한, 궤적이 길어질수록 옳은 행동이 오염된 그래디언트를 받는 비율은 점근적으로 100%에 가까워진다. 50턴 궤적에서 이 값은 이미 98%다.
그룹 크기를 키우거나 학습이 진행되길 기다리는 것만으로는 두 문제가 저절로 풀리지 않는다. 고정 예산 하에서는 그룹을 키울수록 오히려 유효 그래디언트의 총량이 줄었고, 학습 초반의 어려운 태스크일수록 붕괴 확률이 가장 높아(85%대) 정작 배움이 가장 필요한 시점에 신호가 가장 희박했다. 커리큘럼(SCRL)이나 dynamic sampling(DAPO) 같은 개입이 필요한 이유다.

이 세 결론은 결국 같은 원인 — “궤적 전체를 한 덩어리로 채점한다” — 에서 나온다. 단일 턴 수학·코드에서는 이 덩어리가 작아서(수천 토큰, 수십 개의 결정 지점) 그럭저럭 버텼지만, agentic 궤적에서는 덩어리 자체가 문제의 근원이 된다.

이 글이 제시한 계산이 완전한 답은 아니다. \(p^G+(1-p)^G\) 계산은 각 롤아웃이 i.i.d. Bernoulli라는 단순화 위에 서 있고, 실제 학습에서는 태스크 난이도가 프롬프트마다 다르고 학습이 진행되며 \(p\) 자체가 변한다. “1턴 실수 → 전체 실패”라는 오염 비율 계산도 실수의 심각도를 반영하지 못하는 극단적 단순화다. 그럼에도 이 두 계산이 유용한 이유는, “outcome reward만으로는 부족하다”는 직관을 막연한 우려가 아니라 검산 가능한 숫자로 만든다는 데 있다. 어떤 입도에서, 어떤 방식으로 이 숫자를 개선할 것인가가 남은 2부의 과제다.

참고 문헌

Shao et al., 2024. DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models. (GRPO 원 논문, RLHF 시리즈 글 참고)
Yu et al., 2025. DAPO: An Open-Source LLM Reinforcement Learning System at Scale. (RLHF 시리즈 DAPO 편 참고)
Jiang et al., 2026. From Reasoning Chains to Verifiable Subproblems: Curriculum Reinforcement Learning Enables Credit Assignment for LLM Reasoning.
Ren et al., 2026. Learning from Failures: Correction-Oriented Policy Optimization with Verifiable Rewards.
Ren et al., 2026. Recycling Failures: Salvaging Exploration in RLVR via Fine-Grained Off-Policy Guidance.
He et al., 2026. Advantage Collapse in Group Relative Policy Optimization: Diagnosis and Mitigation.
Nie et al., 2026. Gradient Starvation in Binary-Reward GRPO: Why Group-Mean Centering Fails and Why the Simplest Fix Works.
de Oliveira et al., 2025. Learning Without Critics? Revisiting GRPO in Classical Reinforcement Learning Environments.
Cheng et al., 2026. The Cancellation Hypothesis in Critic-Free RL: From Outcome Rewards to Token Credits.

Agentic RL 설계 시리즈

이 글은 Agentic RL 설계 시리즈의 네 번째 글이다.

1부. 왜 에이전트는 다른가

에이전트 RL은 무엇이 다른가 — 장기 지평·희소 보상·긴 궤적
공을 어디에 돌릴 것인가 — credit assignment 47개 방법의 지도
멀티턴 RL 실무 가이드 — 무엇이 실제로 작동하는가

2부. credit assignment — 공을 어디에 돌릴 것인가

(현재 글) 결과만으로는 부족하다 — 장기 지평에서 증폭되는 RLVR의 한계
턴 단위로 공을 나눈다 — turn-level reward 설계
스텝을 단위로 삼는다 — 행동 단위 궤적 표현과 credit
토큰과 세그먼트로 더 잘게 — 세밀한 입도의 득과 실
shaping은 약인가 독인가 — 중간 보상의 효율과 위험

3부. reward를 어디서 얻나

환경이 곧 reward다 — 샌드박스·테스트·상태 검증
도구 호출을 어떻게 채점하나 — ToolRL·ToolRM
궤적을 judge가 채점한다 — rubric 생성형 reward의 확장

4부. 도메인별 설계

검색 에이전트 — Search-R1에서 DeepDive까지
코드 에이전트 — SWE-RL과 테스트라는 reward
웹·GUI 에이전트 — end-to-end 멀티턴 RL

5부. 실패와 방어

에이전트의 reward hacking — 판정기가 뚫린다, 그리고 조합의 실패

6부. 실전 종합

프론티어 모델은 실제로 어떻게 하나 — 최신 모델들의 agentic RL 설계

본 시리즈는 16편으로 구성된다.