Reinforcing Multi-Turn Reasoning in LLM Agents via Fine-Grained Reward Structure and Credit Assignment (Wei et al., University of Minnesota, arXiv 2025)

Introduction

#4에서 확인한 문제를 한 문장으로 요약하면 이렇다. 에피소드 끝에 보상 하나만 주면, 궤적 중간의 실수 한 번이 그 뒤에 이어진 수십 개의 옳은 행동과 똑같은 credit을 나눠 갖는다. 5턴짜리 검색 에이전트가 3턴째에 엉뚱한 쿼리를 던졌는데 나머지 네 턴은 다 훌륭했다고 하자. 결과만 보고 학습하는 알고리즘은 이 다섯 턴 전부에게 “이 궤적은 실패했다”는 동일한 페널티를 준다. 잘한 턴 네 개가 억울하게 벌을 받는 셈이다.

이 문제에 대한 가장 직관적인 첫 번째 처방은 “궤적을 더 잘게 쪼개자”이다. 그런데 얼마나 잘게? 이 시리즈는 그 답을 입도(granularity) 스펙트럼으로 다룬다 — 에피소드(#4) → 턴(이 글) → 스텝(#6) → 토큰·세그먼트(#7). 이번 글이 다루는 단위는 턴이다. LLM이 한 번 말하고 환경이 한 번 반응하는 자연스러운 사이클을, 신용을 매기는 최소 단위로 승격시키면 무엇이 달라지는가.

오늘 다루는 논문은 이 질문에 정면으로 답한다. Wei, Zeng 외(University of Minnesota, Texas A&M, Prime Intellect, Morgan Stanley) 저자들은 보상 구조를 입도에 따라 세 가지로 분류한다 — terminal(에피소드 끝에 하나), delayed(중간 신호를 합쳐놓았지만 여전히 끝에서만 지급), per-turn(각 턴에 명시적으로 지급). 그리고 GRPO와 PPO 각각을 이 세 MDP에 맞게 유도해 MT-GRPO와 MT-PPO라는 턴 단위 변형을 만든다. 검색 에이전트와 게임 에이전트 실험 모두에서, 결론은 한결같다: 촘촘한 턴 단위 보상이 성긴 terminal·delayed 보상을 학습 안정성과 최종 성능 양쪽에서 이긴다.

숫자를 먼저 보자. 2턴 검색 태스크(TriviaQA)에서 MT-GRPO는 exact match 0.5010으로, delayed reward를 쓰는 GRPO-MR(0.3346)보다 +0.1664 앞선다. 7개 QA 데이터셋(Search-R1 기반)에서 MT-PPO는 평균 exact match 0.447로 PPO-OR 대비 상대 3.5%, PPO-MR 대비 상대 4.2% 개선했고, multi-hop 데이터셋에서는 이 격차가 HotpotQA 3.9%, 2WikiMultiHopQA 5.5%로 더 벌어진다. Sokoban 게임 에이전트에서는 MT-PPO의 성공률이 0.6563으로, PPO-MR(0.5078)보다도 높고 GRPO-MR(0.2578)의 2.5배가 넘는다.

이 글은 다음 다섯 가지 질문에 답한다.

턴 단위 보상을 어떻게 정의하는가 — 무엇을 근거로 각 턴에 점수를 매기는가.
에피소드 보상과 어떻게 결합하는가 — GRPO의 advantage와 PPO의 GAE 각각에서.
실험 설정은 무엇인가 — 어떤 태스크, 어떤 모델, 어떤 알고리즘.
결과가 실제로 얼마나 좋아지는가 — 정확한 수치로.
저자들이 스스로 인정한 한계는 무엇인가.

Background — 턴이라는 단위

턴이란 무엇인가

논문의 정식화를 그대로 따라가 보자. 멀티턴 롤아웃의 응답은 \(y = [l_1, f_1, \ldots, l_K, f_K]\)로 쓴다. \(l_k\)는 정책 \(\pi_\theta\)가 \(k\)번째 턴에서 생성한 텍스트(추론 + 도구 호출 등), \(f_k\)는 그에 대한 환경의 피드백이다. 상태 \(s_k\)는 그 시점까지의 상호작용 이력이고, 행동 \(a_k\)는 환경 피드백이 존재하면 \(a_k = [l_k, f_k]\), 없으면 \(a_k = l_k\)다. 에이전트는 \(a_k \sim \pi_\theta(\cdot \mid s_k)\)로 행동을 만들고, 턴 단위 보상 \(R_k = R(s_k, a_k)\)를 받고, \(s_{k+1} \sim P(\cdot \mid s_k, a_k)\)로 전이한다.

쉽게 풀면 이렇다. 턴 = LLM 호출 1회 + 환경 응답 1회. 협상 테이블에 비유하면, 한쪽이 제안을 던지고(생성) 상대가 반응하는(피드백) 한 라운드다. 라운드가 끝나야 다음 라운드의 조건이 확정되고, 그 라운드 안에서 무슨 일이 있었는지는 바깥에서 관찰 가능하다.

턴이 credit assignment의 자연스러운 단위인 이유는 두 가지다.

행동의 경계가 명확하다. 토큰은 문장을 임의로 잘라낸 파편이라 “이 토큰 하나가 의사결정이었나”라고 묻기 어렵다. 반면 턴은 “도구를 부르고 결과를 받는다”처럼 하나의 완결된 사이클이다. 시작과 끝이 자연스럽게 정해진다.
환경이 실제로 피드백을 주는 지점이다. 토큰 단위로는 “이 토큰이 좋았는가”를 판정할 외부 신호가 없다. 턴 단위로는 검색 결과가 왔는지, 코드가 실행됐는지, 박스가 목표 지점에 놓였는지처럼 명백히 관찰 가능한 사건이 있다. 채점할 대상이 실재한다.

이 논문의 2턴 검색 에이전트 실험이 이 정의를 그대로 구현한다. 시스템 프롬프트는 상호작용을 정확히 reasoning → search → result → reasoning → answer라는 다섯 단계로 고정한다. 모델은 <reasoning> 태그 안에서 생각하고, <tool> 태그 안에 도구 이름과 인자를 JSON으로 적어 도구를 부른다. 환경은 그 결과를 <result> 태그로 돌려주고, 모델은 다시 <reasoning>으로 그 결과를 소화한 뒤 <answer> 태그로 최종 답을 낸다. 여기서 “한 턴”은 정확히 하나의 <reasoning>...<tool> 생성과 그에 대한 <result> 응답 한 쌍이다 — 정의에서 말한 “LLM 호출 1회 + 환경 응답 1회”가 태그 구조로 그대로 드러난다.

장점과 대가

턴 단위 credit의 장점은 두 축으로 요약된다.

토큰보다 의미 있는 단위다. 토큰 하나는 의사결정의 파편일 뿐이지만, 턴 하나는 “이 쿼리를 던졌다”, “이 함수를 호출했다”처럼 그 자체로 하나의 결정이다.
에피소드보다 촘촘하다. 중간 신호가 존재하므로, 신용이 궤적 전체로 뭉개지지 않고 실제로 원인이 된 턴 근처에 쌓인다.

그런데 이 이득에는 대가가 따른다. 턴을 credit의 단위로 승격시키는 순간, “이 턴을 무엇으로 채점할 것인가”라는 완전히 새로운 문제가 열린다. 도구 호출이 성공했다고 좋은 턴인가? 검색 결과가 정답을 포함하면 좋은 턴인가? 판정은 규칙으로 할 것인가, 별도 모델로 할 것인가? 이 질문은 이 글의 범위를 넘어서며, 이후 3부(#9 환경이 곧 reward다, #10 도구 호출을 어떻게 채점하나, #11 궤적을 judge가 채점한다)에서 본격적으로 다룬다. 이 글은 “궤적을 턴 단위로 자른다”는 구조적 선택 자체와, 그 선택이 GRPO·PPO의 수식을 어떻게 바꾸는지에 집중한다.

입도 스펙트럼에서 턴의 위치

#2에서 다룬 입도 분류를 상기하자. 이 시리즈의 2부는 credit을 어디에 돌릴지를 성긴 것부터 촘촘한 것까지 늘어놓는다 — 에피소드(#4, 가장 성김) → 턴(지금 글) → 스텝(#6) → 토큰·세그먼트(#7, 가장 촘촘) 순이다.

이 논문의 세 가지 MDP 분류를 이 스펙트럼에 맞춰보면 다음과 같다. terminal reward(\(\mathcal{M}_1\))는 #4가 다룬 에피소드 단위 credit 그 자체다. per-turn reward(\(\mathcal{M}_3\))가 바로 이번 글의 턴 단위 credit이다. 그리고 delayed reward(\(\mathcal{M}_2\))는 흥미로운 중간 지점이다 — 보상 자체는 턴마다 정의되지만, 실제로 신호가 전달되는 시점은 에피소드 끝 하나뿐이다. 즉 \(\mathcal{M}_2\)는 “무엇을 보상으로 삼는가”는 턴 단위인데 “언제 그 신호가 도착하는가”는 여전히 에피소드 단위인, 절반만 촘촘해진 설계다.

세 가지 MDP 정식화

논문은 멀티턴 롤아웃을 턴 단위 MDP \(\mathcal{M} = \{\mathcal{S}, \mathcal{A}, P, R, \gamma\}\)로 formalize한다. \(\mathcal{S}\)는 상태 공간(상호작용 이력), \(\mathcal{A}\)는 행동 공간(생성된 토큰 시퀀스), \(P\)는 전이 동역학, \(R\)은 턴 단위 보상 함수, \(\gamma\)는 할인 계수다. 목적함수는 턴에 대해 누적 보상을 최대화하는 형태로 쓴다.

\[\max_{\pi_\theta} \; \mathbb{E}_{\tau \sim \pi_\theta}\left[\sum_{k=1}^{K} \gamma^k R(s_k, a_k)\right]\]

여기서 궤적 \(\tau = \{(s_1,a_1,R_1), \ldots, (s_K,a_K,R_K)\}\)이고, 프롬프트-응답 쌍 \((x,y)\)에 대한 outcome reward는 \(R(x,y) = R_K\)로, 마지막 턴의 보상으로 정의된다.

이 위에서 논문은 보상이 얼마나 잘게, 언제 지급되는지를 기준으로 세 종류의 턴 단위 MDP를 정의한다.

MDP	이름	정의	포함하는 보상
\(\mathcal{M}_1\)	terminal reward	최종 결과 보상만 지급, 중간 보상 없음	outcome만
\(\mathcal{M}_2\)	delayed reward	중간 신호와 결과 신호를 합쳐 하나의 지연된 신호로 지급	intermediate + outcome (궤적 단위)
\(\mathcal{M}_3\)	per-turn reward	각 턴에 명시적 보상을 지급	intermediate + outcome (턴 단위)

\(\mathcal{M}_1\)은 오직 outcome reward만 가진다. \(\mathcal{M}_2\)와 \(\mathcal{M}_3\)은 둘 다 intermediate reward를 포함하지만, 그것이 턴에 걸쳐 어떻게 분배되는지가 다르다 — \(\mathcal{M}_1\)과 \(\mathcal{M}_2\)는 궤적 단위(trajectory-level) 보상을 주는 반면 \(\mathcal{M}_3\)만 명시적인 턴 단위(turn-level) 보상을 준다. 그리고 \(\mathcal{M}_2\)와 \(\mathcal{M}_3\)은 “return-equivalent”하다 — 총합은 같지만 분배 방식이 다르다는 뜻이다. 논문의 Figure 1은 이를 토큰 시퀀스 위에 시각화한다: 각 턴의 마지막 토큰에 보상이 배치되고, \(\mathcal{M}_1\)은 맨 마지막 토큰에만, \(\mathcal{M}_2\)는 역시 맨 마지막 토큰에 누적 합을, \(\mathcal{M}_3\)은 각 턴의 마지막 토큰마다 개별 보상을 찍는다.

이 세 MDP를 어떤 알고리즘으로 풀 수 있는지도 논문은 표로 정리한다(Table 1). GRPO와 PPO는 세 MDP 모두에 대응하는 변형을 갖고(GRPO-OR/GRPO-MR/MT-GRPO, PPO-OR/PPO-MR/MT-PPO), Turn-Decomposed PPO 역시 세 가지 보상 구조 각각에서 파생된 버전을 만들 수 있다.

보상 구조	GRPO	PPO	Turn-Decomposed PPO
\(\mathcal{M}_1\) terminal reward	✓	✓	✓
\(\mathcal{M}_2\) delayed reward	✓	✓	✓
\(\mathcal{M}_3\) per-turn reward	✓	✓	✓

Method

GRPO를 턴 단위로 확장: MT-GRPO

먼저 GRPO 원본을 짧게 복기하자(GRPO 글 참고). 입력 \(x\)마다 그룹 \(\{y_1, \ldots, y_G\}\)를 샘플링하고, 그룹 내 상대 보상으로 advantage를 계산한다.

\[A_{i,t} = A_i^{GRPO} = \frac{R_i^{traj} - \text{mean}(\{R_i^{traj}\}_{i=1}^G)}{\text{std}(\{R_i^{traj}\}_{i=1}^G)}\]

\(\mathcal{M}_1\)에서는 \(R_i^{traj} = R(x, y_i)\)이고, \(\mathcal{M}_2\)에서는 \(R_i^{traj} = \sum_{k=1}^K \gamma^k R_{i,k}\)다 (\(R_{i,k} = R(s_{i,k}, a_{i,k})\)는 \(k\)번째 턴의 중간 보상). 문제는 이 advantage가 궤적 전체에 단 하나만 계산되고, 모든 토큰에 균일하게 broadcast된다는 점이다. 논문은 이를 정확히 이렇게 짚는다 — “동일한 advantage가 개별 턴이나 토큰의 기여도를 구분하지 않고 궤적 전체에 균일하게 할당된다.” 장기 지평 멀티턴 태스크에서 이런 성긴 credit assignment는 불안정한 학습과 준최적 성능으로 이어진다.

MT-GRPO(multi-turn GRPO)는 \(\mathcal{M}_3\)을 위해 두 가지 advantage를 분리해서 정의한다.

outcome advantage — 전역적인 과제 완수 신호를 포착한다. 그룹의 outcome reward \(R_i^O = R(x, y_i)\)에 대해,

\[A_i^O = \frac{R_i^O - \text{mean}(\{R_i^O\}_{i=1}^G)}{\text{std}(\{R_i^O\}_{i=1}^G)}\]

intermediate advantage — 같은 시점(turn index)의 여러 궤적을 비교해 지역적 최적화 신호를 포착한다. \(k\)번째 턴(\(k=1,\ldots,K-1\))에서 상태 \(s_k\)가 주어지면, \(G\)개의 행동 \(\{a_{i,(k)}\}_{i=1}^G\)를 다시 샘플링해 중간 보상 그룹 \(R^I_{i,(k)} = R(s_k, a_{i,(k)})\)를 얻는다.

\[A^I_{i,(k)} = \frac{R^I_{i,(k)} - \text{mean}(\{R^I_{i,(k)}\}_{i=1}^G)}{\text{std}(\{R^I_{i,(k)}\}_{i=1}^G)}\]

왜 굳이 outcome과 intermediate를 분리해서 관리할까. 둘을 합쳐버리면(=\(\mathcal{M}_2\)) 놓치는 상황이 있기 때문이다. 논문은 검색 에이전트의 GRPO 실험에서 실제로 나타나는 네 가지 패턴을 정리한다.

도구는 성공, 최종 답은 실패 — 첫 턴에서 도구를 올바르게 호출했지만 최종 답이 틀렸거나 형식이 잘못됨. intermediate reward는 높은데 outcome reward는 낮다.
도구는 실패(또는 생략), 최종 답은 성공 — 도구 호출을 건너뛰거나 잘못된 문법으로 실패했지만, 모델이 내재 지식만으로 정답을 냄. intermediate reward는 0인데 outcome reward는 온전하다.
둘 다 성공.
둘 다 실패 — 도구 호출도, 최종 답도 실패. 강한 음의 신호.

이 네 상황이 실제로 벌어진다는 사실 자체가, 하나의 스칼라로 합쳐버리는 \(\mathcal{M}_2\) 방식이 왜 정보를 잃는지를 보여준다. “도구는 잘 불렀는데 답이 틀렸다”와 “도구는 안 불렀는데 답이 맞았다”는 정책이 고쳐야 할 지점이 완전히 다른데, 둘을 하나의 숫자로 뭉개면 이 구분이 사라진다. \(A^O\)와 \(A^I\)를 별도로 유지해야 정책이 “이 턴 자체는 잘했는가”와 “결과적으로 과제를 풀었는가”를 각각 다른 신호로 학습할 수 있다.

이 둘을 현재 턴과 미래 턴의 advantage를 함께 모으는 방식으로 결합한다.

\[A^{MT\text{-}GRPO}_{i,(k)} = \sum_{l=k}^{K-1} \alpha^{l-k} A^I_{i,(l)} \;+\; \alpha^{K-k} A_i^O\]

\(\alpha \in [0,1]\)은 현재 항과 미래 항의 상대적 가중치를 조절하는 할인 계수다. 이 값은 \(k\)번째 턴에서 생성된 모든 토큰에 균일하게 할당된다: \(A_{i,1} = \cdots = A_{i,t} = A^{MT\text{-}GRPO}_{i,(k)}\), \(t\)는 턴 내부 토큰 인덱스다.

이 식의 방향을 극단값으로 검증해보면 직관이 선명해진다. \(\alpha=0\)이면 \(k < K\)인 모든 미래 항이 사라지고, \(A^{MT\text{-}GRPO}_{i,(k)} = A^I_{i,(k)}\)만 남는다 — 완전히 지역적인 credit이다. \(\alpha=1\)이면 \(A^{MT\text{-}GRPO}_{i,(k)} = \sum_{l=k}^{K-1} A^I_{i,(l)} + A_i^O\)로, 미래의 모든 중간 advantage와 최종 outcome advantage가 감쇠 없이 그대로 더해진다 — 사실상 #4식의 전체 합산에 가까워진다. \(\alpha\)는 그 사이 어딘가에서, “이 턴의 성적을 얼마나 지역적으로 볼 것인가, 얼마나 뒤에 벌어질 일까지 반영할 것인가”를 정한다.

롤아웃 구조의 비용. GRPO-OR와 GRPO-MR은 궤적 하나를 통째로 샘플링하는 chain 구조라 계산량이 턴 수에 선형으로 늘어난다. 반면 MT-GRPO는 각 상태 \(s_k\)에서 다시 \(G\)개를 가지치기하는 tree 구조라, \(K\)턴에 걸쳐 총 \(G^{K-1}\)개의 롤아웃 궤적이 필요하다. \(K=2\)(이 논문의 실제 실험 설정)면 \(G^{2-1}=G\)로 vanilla GRPO와 같지만, 예컨대 \(K=4\), \(G=4\)라면 \(4^3=64\)개의 궤적이 필요해진다. 턴이 늘수록 이 비용은 감당하기 어려워진다.

논문이 명시한 두 가지 한계는 다음과 같다.

조합적 폭발 — \(G^{K-1}\) 롤아웃 비용은 장기 지평 멀티턴 태스크에서 계산상 감당 불가능하다.
고정 턴수 제약 — 그룹 내 모든 롤아웃 샘플이 동일한 턴 수를 가져야 한다는 가정이 필요하고, 이를 시스템 프롬프트에서 강제해야 한다. 검색 태스크에서 어떤 질문은 검색 한 번으로 풀리고 어떤 질문은 여러 번의 검색·필터링이 필요할 수 있는데, MT-GRPO는 이런 가변적인 턴 수를 다루기 어렵다.

PPO를 턴 단위로 확장: MT-PPO

PPO는 GAE로 advantage를 추정한다(PPO 글 참고). 궤적 길이 \(T\)에 대해,

\[A_t = \sum_{l=0}^{T-t-1} (\gamma\lambda)^l \delta_{t+l}, \qquad \delta_t = r_t + \gamma V_{t+1} - V_t\]

\(\lambda \in [0,1]\)은 GAE 파라미터, \(\delta_t\)는 토큰 단위 TD 오차, \(r_t\)는 토큰 단위 보상, \(V_t\)는 토큰 단위 가치함수다. GAE는 토큰 단위로 계산되지만, 어느 토큰에 보상 \(r_t\)가 실제로 값을 갖는지는 설계자가 정한다 — 이것이 턴 단위 보상을 PPO에 끼워 넣는 지점이다.

세 MDP에서 \(r_t\)가 배치되는 방식은 다음과 같다.

\(\mathcal{M}_1\): outcome reward가 궤적 전체의 마지막 토큰에 배치된다.
\(\mathcal{M}_2\): outcome과 intermediate를 합친 보상이 궤적 전체의 마지막 토큰에 배치된다.
\(\mathcal{M}_3\): outcome reward는 궤적의 마지막 토큰에, intermediate reward는 각 턴의 마지막 토큰에 각각 배치된다.

\(\mathcal{M}_1\)·\(\mathcal{M}_2\)(PPO-OR, PPO-MR)의 TD 오차는 다음과 같이 정의된다.

\[\delta_t^{PPO} = \begin{cases} \gamma V_{t+1} - V_t & t < T-1 \\ R^{traj} - V_T & t = T-1 \end{cases}\]

\(\mathcal{M}_1\)에서 \(R^{traj}_i = R(x, y_i)\), \(\mathcal{M}_2\)에서 \(R^{traj}_i = \sum_{k=1}^K \gamma^k R_{i,k}\)다.

\(\mathcal{M}_3\)(MT-PPO)는 턴 경계에 명시적 보상을 끼워 넣도록 TD 오차를 세 갈래로 나눈다.

\[\delta_t^{MT\text{-}PPO} = \begin{cases} R^O - V_T, & t = t_{traj} \\ R^I + \gamma V_{t+1} - V_t, & t = t_{turn} \\ \gamma V_{t+1} - V_t, & \text{otherwise} \end{cases}\]

\(t_{traj}\)는 궤적 전체의 마지막 토큰, \(t_{turn}\)은 중간 턴 하나의 마지막 토큰을 뜻한다.

왜 MT-PPO는 MT-GRPO 같은 조합 폭발을 피하는가. 이 논문의 실험 설정(뒤에서 확인)은 GAE에 \(\lambda=1\), \(\gamma=1\)을 쓴다. 이 값에서 GAE는 잘 알려진 항등식으로 텔레스코핑된다.

\[A_t = \sum_{l=0}^{T-t-1} \delta_{t+l} = \Big(\sum_{l=0}^{T-t-1} r_{t+l}\Big) - V_t\]

\(\mathcal{M}_3\)에서는 \(r_j\)가 턴 경계 토큰에서만 \(R^I\) 또는 \(R^O\) 값을 갖고 나머지는 0이므로, 토큰 \(t\)의 advantage는 결국 “그 시점 이후 남은 모든 턴의 중간 보상과 최종 결과 보상의 합”에서 그 시점의 가치 추정 \(V_t\)를 뺀 값으로 정리된다. 즉 미래에 흩어진 턴 단위 보상들을 하나로 모아 전파하는 일을, 학습된 가치함수 하나가 회귀로 대신 해준다. MT-GRPO가 이 전파를 매 턴 \(G\)개씩 다시 샘플링해 명시적으로 계산하는 것과 대조적이다. 이것이 MT-PPO가 조합적 폭발 없이도 턴 단위 신호를 궤적 전체로 전파할 수 있는 이유다.

Turn-Decomposed PPO — 하나의 대조군

논문은 최근 turn-decomposed 학습(Feng et al., 2025b)에서 영감을 받은 또 다른 변형도 함께 비교한다. 궤적 기반 학습은 멀티턴 롤아웃 전체를 하나의 응답으로 쓰지만, turn-decomposed 학습은 이를 여러 개의 단일 턴 학습 인스턴스로 쪼갠다 — 대화 이력을 프롬프트로, 현재 턴을 응답으로 삼는다. 각 인스턴스는 원래의 보상 구조(terminal·delayed·per-turn)에서 파생된 보상이 붙은 독립적인 단일 턴 데이터로 취급되어 PPO에 입력된다.

직관적으로는 그럴듯해 보인다 — 턴 단위 보상이 있으니 아예 학습 단위 자체를 턴으로 쪼개면 되지 않을까? 이 직관이 왜 실패하는지는 Experiments 절에서 수치로 확인한다.

학습 데이터 형태	궤적 기반(trajectory-based)	Turn-decomposed
응답(response) 단위	전체 멀티턴 궤적 하나	턴 하나하나
프롬프트	최초 instruction	instruction + 그 이전까지의 턴 이력
\(K\)턴 궤적에서 나오는 학습 인스턴스 수	1개	\(K\)개
PPO의 advantage 전파 범위	궤적 전체에 걸쳐 GAE로 연결	인스턴스별로 단절

이 표에서 가장 눈에 띄는 차이는 마지막 행이다. 궤적 기반 학습은 3턴에서 생긴 문제가 5턴의 결과에 어떻게 이어지는지를 GAE의 시간축 전파로 그대로 반영하지만, turn-decomposed 학습은 각 턴을 독립된 프롬프트-응답 쌍으로 잘라버리는 순간 그 연결 자체가 끊긴다. 이 대가가 실제로 얼마나 큰지는 뒤의 반례 절에서 수치로 확인한다.

설계 선택 비교표

지금까지 나온 선택지들을 정리하면 다음과 같다.

선택	방식	장점	위험
턴 보상의 출처	규칙(도구 성공 여부)	검증 가능, 저렴, 재현 가능	형식만 맞으면 만점 — 실제로 유용했는지는 못 봄 (예: 이 논문의 Tool Execution Reward는 도구 호출이 형식에 맞고 에러가 없으면 +0.2를 주는데, 검색 결과가 쓸모 있었는지는 별개 항목이다)
	판정 모델(LLM judge)	형식·정보 품질·효율성 같은 의미 수준 신호를 함께 볼 수 있음 (이 논문은 GPT-OSS-120B로 포맷 준수 +0.1/-0.2, 정보 품질 +0.3/0.0을 매김)	추론 비용 발생, judge 자체가 편향되거나 게임당할 수 있음 (→ #11)
	환경 신호	가장 근거가 확실함 — 과제 자체의 물리적 결과 (예: Sokoban의 박스-목표 배치는 규칙도 judge도 아닌 환경 상태 그 자체)	모든 환경이 이런 촘촘한 신호를 주지는 않음
결합 방식	단순 합	구현이 간단	\(\mathcal{M}_2\)처럼 궤적 끝으로 다시 뭉개짐 — 턴 국소성을 잃는다
	할인 가중합	가까운 턴과 먼 턴의 기여를 구분 (MT-GRPO의 \(\alpha\), Eq. 5)	새 하이퍼파라미터가 늘어남 — 이 논문도 \(\alpha\)의 실험값을 본문에 명시하지 않는다
	별도 advantage (outcome/intermediate 분리)	전역·지역 신호를 독립적으로 관리 가능 (MT-GRPO의 \(A^O\)·\(A^I\), MT-PPO의 3분기 \(\delta\))	각 항의 스케일을 맞추는 튜닝 부담 (이 논문의 \(\lambda_s\) 검색 페널티 계수처럼)
정규화	턴 수로 나눔	긴 궤적과 짧은 궤적의 스케일을 맞춤	토큰 단위 정규화에서 이미 관찰된 것과 같은 종류의 길이 편향이 재발할 수 있다 — 긴 궤적의 개별 턴 기여가 평균에 희석되거나(DAPO의 token-level loss가 다룬 문제와 동형), 반대로 턴을 늘릴수록 평균 credit이 줄어 불필요하게 짧게 끝내려는 유인이 생길 수 있다
	그룹 정규화	턴마다 절대 보상 스케일이 달라도 비교 가능 (MT-GRPO의 \(A^I_{i,(k)}\), Eq. 4)	그룹 내 모든 샘플이 같은 턴에서 같은 값을 받으면 표준편차가 0이 되어 신호가 사라진다 — GRPO 글이 다룬 zero-variance collapse가 턴마다 재발할 수 있다

할인율 \(\gamma\) 논의

고전적인 RL에서 \(\gamma\)는 세 가지 일을 한다. 무한 지평 MDP에서 누적 보상이 발산하지 않도록 수렴을 보장하고, 먼 미래보다 가까운 보상을 선호하는 시간 선호(time preference)를 표현하고, 유효 지평을 대략 \(1/(1-\gamma)\)로 줄여 리턴 추정의 분산을 낮춘다.

LLM 에이전트 RL에서는 관행적으로 \(\gamma=1\)(무할인)을 쓴다. 이유는 단순하다. 에피소드가 유한하고 대개 짧아서(수 턴에서 수십 턴) 발산 걱정이 없고, “더 빨리 정답을 냈는가”보다 “정답을 냈는가” 자체가 중요하므로 시간 선호를 인위적으로 넣을 이유가 없다. 오히려 초반 토큰을 후반 토큰보다 할인해버리면, 정책이 충분히 생각하기 전에 서둘러 답을 내는 유인이 생길 수 있다.

이 논문의 실제 실험도 이 관행을 그대로 따른다. Appendix A.1.3에 따르면 PPO 실험(Search-R1 기반, \(\mathcal{M}_3\) 포함)은 GAE에 \(\lambda=1\), \(\gamma=1\)을 쓴다. 즉 턴 단위로 보상을 촘촘하게 배치하는 MT-PPO에서조차, 토큰 레벨의 시간 할인 자체는 부활하지 않았다.

그렇다면 턴 단위 보상은 \(\gamma\)에 아무 영향도 주지 않는가? 정확히 말하면, 다른 종류의 할인 하나가 새로 생긴다. MT-GRPO의 \(\alpha\)(Eq. 5)가 그것이다. \(\alpha\)는 Eq. 1의 turn-level \(\gamma\)(고전적인 시간 할인)도 아니고, GAE의 token-level \(\gamma\lambda\)(부트스트랩 감쇠)도 아니다. \(\alpha\)는 “이 턴의 advantage에 미래 턴의 지역 신호와 최종 결과를 얼마나 섞을 것인가”를 정하는 blending 계수로, TD(\(\lambda\))의 \(\lambda\)에 더 가까운 역할을 한다. 요컨대 턴 단위 보상을 도입한다고 고전적 \(\gamma\)가 저절로 의미를 되찾는 것은 아니다. 다만 “얼마나 멀리 있는 턴까지 credit을 나눠줄 것인가”라는 유사한 질문이, \(\gamma\)가 아니라 \(\alpha\)라는 별도의 손잡이로 다시 등장한다.

Experiments

GRPO 실험 — 2턴 검색 에이전트

설정. 세 GRPO 변형(GRPO-OR, GRPO-MR, MT-GRPO)을 2턴 에이전트 설정에서 비교한다. 첫 턴에서 추론과 함께 검색 도구를 부르고, 다음 턴에서 최종 답을 낸다. 베이스 모델은 Qwen2.5-7B, 데이터셋은 TriviaQA. exact-match 외에 도구 실행 피드백 기반의 중간 보상을 함께 설계했다.

모델	Tool Execution (0~0.2)	Search Answer (0~0.5)	XML Format (0~0.2)	Exact Match (0~1)
Qwen2.5-7B-Base	0.0559	0.0934	0.1562	0.0469
Qwen2.5-7B-Instruct	0.1626	0.2814	0.1982	0.1559
GRPO-OR	0	0	0.04	0
GRPO-MR	0.2	0.3724	0.1994	0.3346
MT-GRPO	0.2	0.3926	0.1996	0.5010

GRPO-OR은 사실상 붕괴한다 — 중간 보상 0, XML 포맷 0.04에 그친다. outcome 하나만으로는 도구를 부르는 법조차 안정적으로 배우지 못한다는 뜻이다. GRPO-MR은 중간 신호를 섞어 크게 개선되지만, MT-GRPO는 여기서 exact match를 +0.1664 더 끌어올린다. 학습 곡선에서도 MT-GRPO는 도구 실행 100% 성공률에 도달하고 더 낮은 분산을 보인다. 흥미로운 관찰 하나는, MT-GRPO의 도구 실행 곡선이 학습 스텝 230~250 구간에서 급격히 떨어졌다가 다시 회복·안정화된다는 점이다 — 학습 중간에 에이전트가 일시적으로 검색을 “잊었다가” 다시 배운다는 뜻으로, credit assignment의 중요성을 다시 확인시켜준다.

PPO 실험 — Search-R1 기반 7개 QA 데이터셋

설정. Search-R1 코드베이스 위에 구축. General QA(NQ, TriviaQA, PopQA)와 Multi-Hop QA(HotpotQA, 2WikiMultiHopQA, Musique, Bamboogle) 총 7개 데이터셋. 베이스 모델 Qwen2.5-7B, retriever는 E5, 코퍼스는 2018 Wikipedia dump. 최대 턴 수 \(N_{max}=4\), 검색당 3개 패시지 검색.

턴 단위 보상 = LLM judge as PRM. GPT-OSS-120B가 각 턴의 품질을 평가해 중간 보상을 준다. 채점 rubric은 다음과 같다.

포맷 준수: 올바르면 +0.1, 틀리면 -0.2
정보 품질: 검색 결과가 정답에 도움이 되면 +0.3, 무관하면 0.0
검색 효율 페널티: 지금까지의 검색 횟수 \(\times (-\lambda_s)\), 기본값 \(\lambda_s = 0.1\)

결과. MT-PPO는 모든 데이터셋에서 PPO-OR·PPO-MR을 일관되게 앞선다. 평균 exact match 기준으로 PPO-OR 대비 상대 3.5%, PPO-MR 대비 상대 4.2% 개선했고, multi-hop 데이터셋에서 격차가 더 벌어진다 — PPO-MR 대비 HotpotQA 3.9%, 2WikiMultiHopQA 5.5% 상대 개선.

방법	NQ	TriviaQA	PopQA	HotpotQA	2Wiki	Musique	Bamboogle	Avg.
Qwen2.5-7B-Base	0.177	0.319	0.181	0.160	0.167	0.040	0.120	0.174
GRPO-OR	0.391	0.560	0.388	0.331	0.306	0.129	0.346	0.351
GRPO-MR	0.453	0.628	0.450	0.416	0.375	0.164	0.387	0.414
PPO-OR	0.483	0.639	0.456	0.435	0.382	0.199	0.432	0.432
PPO-MR	0.472	0.629	0.452	0.436	0.402	0.180	0.363	0.429
MT-PPO (StepSearch)	0.355	0.570	0.385	0.351	0.396	0.179	0.373	0.373
MT-PPO (PPR)	0.458	0.610	0.437	0.386	0.355	0.147	0.355	0.393
MT-PPO (이 논문)	0.490	0.647	0.459	0.453	0.424	0.209	0.445	0.447

StepSearch(정보 이득 기반 보상)와 PPR(학습된 turn-level 보상 모델) 같은 동시대 연구와 비교해도, judge 기반 turn-level 보상을 쓰는 MT-PPO가 더 높은 정답률을 보인다. 포맷 정확도에서는 MT-PPO가 전 데이터셋에서 0.997~0.999로 거의 완벽에 가깝다(GRPO-OR 0.376~0.706, PPO-OR 0.806~0.954와 대비된다). 참고로 저자들은 GRPO 학습 곡선을 PPO 비교에서 제외했는데, Jin 외(Search-R1, 2025)가 보고한 대로 “GRPO는 학습 중 지속적으로 붕괴하기” 때문이다 — outcome 위주 credit이 이 스케일에서 얼마나 불안정한지를 보여주는 또 다른 방증이다.

하이퍼파라미터 견고성. Appendix의 ablation은 두 가지를 추가로 확인한다. 검색 효율 페널티 \(\lambda_s\)는 뒤의 반례 절에서 다루듯 값 선택이 예민하지만, 최대 턴 수 \(N_{max}\)는 그렇지 않다 — \(N_{max}\)를 4에서 6으로 늘려도 정답률 곡선은 거의 동일하게 유지된다. 즉 MT-PPO는 턴 예산을 얼마나 넉넉하게 주는지에는 둔감하고, 그 예산 안에서 각 턴에 어떤 신호를 주는지에는 민감하다 — credit의 “양”보다 “질”이 성능을 좌우한다는 뜻이다.

Sokoban 게임 에이전트

언어 기반 태스크를 넘어선 일반성을 확인하기 위한 두 번째 케이스 스터디다. 베이스 모델은 Qwen2.5-VL-3B, 환경은 \(6\times6\) 그리드 Sokoban(박스 하나, 최소 5수 필요). 에이전트는 턴당 최대 3개 행동을 낼 수 있고, 최대 3턴 동안 환경과 상호작용한다.

보상 설계: 모든 박스가 목표 지점에 놓이면 성공 보상 +10, 각 턴에 박스 하나를 목표로 밀 때마다 +1, 올바른 시각적 상태 추론과 구조화된 출력에 +0.5, 과제가 미완료 상태로 남는 매 스텝마다 -0.1의 실패 페널티가 적용된다.

지표	GRPO-OR	GRPO-MR	PPO-OR	PPO-MR	MT-PPO
성공률	0.0781	0.2578	0.3828	0.5078	0.6563
유효 행동 비율	0.2604	0.6771	0.6953	0.8451	0.9870

MT-PPO는 성공률과 유효 행동 비율 양쪽에서 모든 PPO·GRPO 베이스라인을 앞선다. 특히 유효 행동 비율 0.987은 거의 모든 행동이 실제로 박스 이동에 기여했다는 뜻으로, Sokoban처럼 되돌릴 수 없는(irreversible) 환경에서 턴 단위 credit이 장기 계획을 얼마나 안정시키는지 보여준다.

토이 예제 — 5턴 궤적, 3턴째만 잘못됐을 때

검색 에이전트가 5턴짜리 질문에 답한다고 하자. 1·2턴은 관련 문서를 잘 찾았고, 3턴에서 엉뚱한 쿼리를 던져 잘못된 정보를 끌어왔다. 4턴은 다시 관련 문서 검색으로 만회를 시도했지만, 3턴에서 오염된 맥락 때문에 5턴의 최종 답은 결국 틀렸다(\(R^O=0\)).

에피소드 단위 credit(GRPO-OR). 같은 질문에 대해 그룹 \(G=4\)를 샘플링했더니 outcome reward가 \(\{1,1,0,0\}\)이었다고 하자(둘은 성공, 우리 궤적을 포함한 둘은 실패). 평균 \(0.5\), 표준편차 \(0.5\)이므로

\[A^O = \frac{0 - 0.5}{0.5} = -1.00\]

이 값 \(-1.00\)이 궤적의 모든 토큰, 즉 5개 턴 전부에 동일하게 broadcast된다.

턴 단위 credit(MT-GRPO, \(\alpha=0.5\)로 예시). 각 턴의 (이미 그룹 정규화를 거쳤다고 가정한) intermediate advantage를 \(A^I_1=+0.50\), \(A^I_2=+0.50\), \(A^I_3=-0.30\), \(A^I_4=+0.50\)로 두고, \(K=5\), \(A^O=-1.00\)을 그대로 쓴다. Eq. 5를 직접 계산하면:

\[\begin{aligned} A^{MT\text{-}GRPO}_{(4)} &= A^I_4 + \alpha^{1}A^O = 0.50 + 0.5\times(-1.00) = 0.000 \\ A^{MT\text{-}GRPO}_{(3)} &= A^I_3 + \alpha A^I_4 + \alpha^{2}A^O = -0.30 + 0.25 - 0.25 = -0.300 \\ A^{MT\text{-}GRPO}_{(2)} &= A^I_2 + \alpha A^I_3 + \alpha^2 A^I_4 + \alpha^{3}A^O = 0.50 - 0.15 + 0.125 - 0.125 = 0.350 \\ A^{MT\text{-}GRPO}_{(1)} &= A^I_1 + \alpha A^I_2 + \alpha^2 A^I_3 + \alpha^3 A^I_4 + \alpha^{4}A^O = 0.50 + 0.25 - 0.075 + 0.0625 - 0.0625 = 0.675 \end{aligned}\]

턴 5(최종 턴)는 중간 항 없이 \(A^O = -1.00\)을 그대로 받는다.

턴	실제로 한 일	에피소드 단위 credit (모든 턴 동일)	턴 단위 credit (MT-GRPO)
1	관련 문서 검색 성공	-1.00	+0.675
2	관련 문서 검색 성공	-1.00	+0.350
3	무관한 쿼리로 검색 낭비 (오류의 근원)	-1.00	-0.300
4	다시 관련 문서 검색 (만회 시도)	-1.00	0.000
5	최종 답 오답	-1.00	-1.000

에피소드 단위는 다섯 턴 모두에게 똑같이 \(-1.00\)을 준다 — 정작 문제를 일으킨 3턴과, 제 역할을 다한 1·2·4턴을 구분하지 못한다. 턴 단위는 3턴에만 뚜렷한 음수 신호(\(-0.300\))를 주고, 1턴은 여전히 크게 양수(\(+0.675\))로 남는다. 다만 여기서 짚어야 할 한계가 하나 있다. \(\alpha\)가 만드는 감쇠 때문에 실패라는 결과의 그림자가 뒤로 갈수록 약하게, 그러나 여전히 모든 턴에 조금씩 드리운다 — 1턴의 credit도 원래의 지역 보상 \(+0.50\)보다는 낮아진 \(+0.675\)가 아니라(오히려 미래 항이 더해져 커졌다), 4턴은 원래 \(+0.50\)이었던 지역 보상이 결과의 그림자에 완전히 상쇄되어 \(0.000\)이 된다. 즉 턴 단위 credit이 “누가 문제를 일으켰는가”는 훨씬 더 정확히 짚어내지만, “실패의 결과가 나타난 지점(5턴)”과 “실패의 원인이 발생한 지점(3턴)”을 완전히 분리해주는 것은 아니다 — 이 지연된 인과관계 문제는 더 촘촘한 단위(#6, #7)로 가도 완전히는 풀리지 않는, credit assignment의 근본적인 어려움이다.

반례 — 턴 단위 보상이 만드는 새로운 hacking

턴 단위 보상이 공짜 점심은 아니다. 채점 대상을 턴으로 잘게 쪼개는 순간, 그 지역 신호 자체를 게임하는 새로운 방법이 생긴다. 이 논문 안에서도 두 가지 실증 사례를 확인할 수 있다.

사례 1 — 도구 호출 남발. 검색 효율 페널티(\(\lambda_s \times\) 검색 횟수)를 아예 빼면(\(\lambda_s=0.0\)) 어떻게 될까. Appendix A.4의 ablation에 따르면 “불안정한 행동, 과도하거나 불규칙한 턴 사용”이 나타나며 결국 수렴을 해친다. 반대로 페널티를 너무 강하게 주면(\(\lambda_s=0.3\)) 오히려 성능이 떨어진다. 저자들이 채택한 \(\lambda_s=0.1\)은 이 두 실패 사이에서 찾은 값이다. 이것이 정확히 브리프가 예고한 패턴이다 — “도구 호출이 성공하면 +점”이라는 신호만 있으면 에이전트는 불필요한 도구 호출을 남발한다. 이 논문이 검색 효율 페널티라는 별도 항을 넣은 이유가 바로 이 hacking을 막기 위해서다.

사례 2 — 지역 신호에 대한 과최적화. Turn-decomposed PPO는 턴 단위 보상을 논리적 극한까지 밀어붙인 설계다. 그런데 결과는 트라젝토리 기반 학습보다 전반적으로 더 나쁘다.

방법	평균 Exact Match	트라젝토리 기반 대비
PPO-OR	0.432	—
Turn-Decomposed PPO-OR	0.335	-0.097
PPO-MR	0.429	—
Turn-Decomposed PPO-MR	0.280	-0.149
MT-PPO	0.447	—
Turn-Decomposed MT-PPO	0.293	-0.154

논문은 이 현상을 정확히 짚는다 — turn-decomposed PPO는 종종 높은 intermediate reward를 달성하면서도 낮은 outcome reward를 낸다. 모델이 지역적인 턴 단위 신호에 과최적화되어, 그 신호를 최종 과제 성공과 충분히 정렬시키지 못한다는 뜻이다. 학습 단위 자체를 턴으로 쪼개면 모델은 “이 턴에서 좋은 점수를 받는 법”은 배우지만, 그 턴이 궤적 전체의 성공에 실제로 기여하는지는 놓친다.

두 사례 모두 같은 구조를 공유한다. 턴 단위 보상은 credit을 정확한 위치에 심어주지만, 그 신호 자체가 최종 목표의 완벽한 대리(proxy)는 아니다. 신호와 목표 사이의 간극을 정책이 찾아내 파고들면, 그것이 곧 hacking이다. 이 문제는 #8의 shaping 위험(중간 보상을 얼마나 세게 줄 것인가), 그리고 #15의 에이전트 reward hacking 전반으로 이어진다.

설계 선택 요약

항목	이 논문의 선택	대안
보상 입도	per-turn (\(\mathcal{M}_3\))	terminal (\(\mathcal{M}_1\)) / delayed (\(\mathcal{M}_2\))
GRPO 결합 방식	시간 감쇠 가중합 (\(\alpha\), Eq. 5)	단순 합 / advantage 미분리
PPO 결합 방식	GAE \(\delta\)에 턴 경계 보상 직접 주입	궤적 끝에 전부 몰기 (\(\mathcal{M}_2\))
턴 보상 출처	규칙(도구 성공) + LLM judge 혼합	환경 고유 신호만
정규화	그룹(같은 턴 인덱스) mean·std	턴 수로 나눔
토큰 레벨 \(\gamma\) (GAE)	\(1\) (무할인)	\(<1\)
턴 레벨 \(\alpha\) (MT-GRPO)	\([0,1]\), 실험값 미공개	\(0\)(완전 지역적) / \(1\)(완전 전파)
검색 효율 페널티 \(\lambda_s\)	\(0.1\)	\(0.0\)(불안정) / \(0.3\)(과도한 억제)

Conclusion

턴 단위로 보상을 쪼개면, 궤적을 실제로 원인이 된 지점 근처로 credit이 더 정확하게 쌓인다. 수치로 보면 이 이득은 작지 않다 — 2턴 검색 태스크에서 MT-GRPO는 GRPO-MR 대비 exact match를 +0.1664 끌어올렸고, 7개 QA 데이터셋 평균에서 MT-PPO는 PPO-OR·PPO-MR보다 상대 3.5~4.2% 개선했으며 multi-hop 태스크에서는 그 격차가 5.5%까지 벌어졌다. Sokoban에서는 성공률이 GRPO-MR 대비 2.5배 이상(0.2578 → 0.6563) 뛰었다.

그러나 이 이득은 공짜가 아니다. MT-GRPO는 \(G^{K-1}\)로 폭발하는 롤아웃 비용과 고정 턴수 제약을 대가로 치른다. MT-PPO는 GAE의 텔레스코핑 성질 덕분에 이 폭발을 피하지만, 턴 단위 보상 자체를 순진하게 다루면(turn-decomposed 학습처럼) 지역 신호에 과최적화되어 오히려 최종 성능이 떨어진다. 그리고 턴 단위 보상은 그 자체로 새로운 hacking의 표적이 된다 — 검색 효율 페널티가 없으면 에이전트는 도구를 남발한다.

이 글이 다룬 것은 “궤적을 턴으로 자른다”는 구조적 선택과, 그 선택이 GRPO·PPO의 수식을 어떻게 바꾸는지였다. 정작 각 턴을 무엇으로 채점할 것인가 — 규칙인가, judge인가, 환경 신호인가 — 는 이 논문도 세 가지를 다 시도해봤을 뿐 완전히 정리하지는 않는다. 이 질문은 3부(#9, #10, #11)에서 이어간다.

참고 문헌

Wei et al., 2025 (arXiv). Reinforcing Multi-Turn Reasoning in LLM Agents via Fine-Grained Reward Structure and Credit Assignment.
Shao et al., 2024. DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models. (GRPO 원 논문)
Schulman et al., 2017. Proximal Policy Optimization Algorithms.
Schulman et al., 2015. High-Dimensional Continuous Control Using Generalized Advantage Estimation.
Jin et al., 2025. Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning.
Wang et al., 2025. StepSearch: Igniting LLMs Search Ability via Step-Wise Proximal Policy Optimization.
Xu et al., 2025. Hybrid Reward Normalization for Process-Supervised Non-Verifiable Agentic Tasks. (PPR)
Wang et al., 2025. OTC: Optimal Tool Calls via Reinforcement Learning.
Feng et al., 2025. Group-in-Group Policy Optimization for LLM Agent Training. (turn-decomposed 학습의 근거)

Agentic RL 설계 시리즈

이 글은 Agentic RL 설계 시리즈의 다섯 번째 글이다.

1부. 왜 에이전트는 다른가

에이전트 RL은 무엇이 다른가 — 장기 지평·희소 보상·긴 궤적
공을 어디에 돌릴 것인가 — credit assignment 47개 방법의 지도
멀티턴 RL 실무 가이드 — 무엇이 실제로 작동하는가

2부. credit assignment — 공을 어디에 돌릴 것인가

결과만으로는 부족하다 — 장기 지평에서 증폭되는 RLVR의 한계
(현재 글) 턴 단위로 공을 나눈다 — turn-level reward 설계
스텝을 단위로 삼는다 — 행동 단위 궤적 표현과 credit
토큰과 세그먼트로 더 잘게 — 세밀한 입도의 득과 실
shaping은 약인가 독인가 — 중간 보상의 효율과 위험

3부. reward를 어디서 얻나

환경이 곧 reward다 — 샌드박스·테스트·상태 검증
도구 호출을 어떻게 채점하나 — ToolRL·ToolRM
궤적을 judge가 채점한다 — rubric 생성형 reward의 확장

4부. 도메인별 설계

검색 에이전트 — Search-R1에서 DeepDive까지
코드 에이전트 — SWE-RL과 테스트라는 reward
웹·GUI 에이전트 — end-to-end 멀티턴 RL

5부. 실패와 방어

에이전트의 reward hacking — 판정기가 뚫린다, 그리고 조합의 실패

6부. 실전 종합

프론티어 모델은 실제로 어떻게 하나 — 최신 모델들의 agentic RL 설계

본 시리즈는 16편으로 구성된다.