shaping은 약인가 독인가 — 중간 보상의 효율과 위험

Created on August 25, 2026

2026   ·   reinforcement-learning   agentic-rl   reward-shaping   credit-assignment   reward-hacking   paper   ·   paper

Policy Invariance Under Reward Transformations: Theory and Application to Reward Shaping (Ng, Harada & Russell, UC Berkeley, ICML 1999)

Introduction

#4부터 #7까지 2부는 공(credit)을 점점 더 잘게 나누는 여정이었다. 턴 단위(#5), 스텝 단위(#6), 토큰·세그먼트 단위(#7)로 내려갈수록 학습 신호는 촘촘해지고 credit assignment는 정밀해졌다. 이 편은 그 흐름에 제동을 거는 편이다. 입도를 잘게 쪼갠다는 것은 결국 원래 없던 중간 보상을 새로 만들어 넣는다는 뜻이고, 그 중간 보상을 설계하는 행위 자체가 바로 reward shaping이다.

shaping은 1999년에 이미 수학적으로 해부된 개념이다. Ng, Harada, Russell의 ICML 1999 논문은 “어떤 형태의 중간 보상을 더해야 원래 최적 정책이 안 바뀌는가”라는 질문에 정확한 답을 내놓았다. 결론부터 말하면: potential 함수의 차분(difference of potentials) 형태로만 더해야 안전하다. 그 형태가 아니면 학습은 빨라질 수 있어도 에이전트가 배우는 최종 정책 자체가 원래 과제와 달라질 수 있다.

이 편이 답할 질문은 세 가지다.

  1. 이론: PBRS(potential-based reward shaping)가 왜, 어떻게 최적 정책을 보존하는가. 그리고 이 형태를 벗어나면 정말로 문제가 생기는가 — 직접 반례를 만들어 확인한다.
  2. 실무: 최근 agentic RL 논문들은 이 이론을 (의식적이든 아니든) 어떻게 변형해서 쓰고 있는가. Planner-R1과 Progressive Reward Shaping(PRS) 두 편을 원문 수치와 함께 뜯어본다.
  3. 위험: 중간 보상을 넣는 순간 새로 열리는 hacking 표면은 구체적으로 어떤 모양인가. 1999년의 고전적 버그 사례부터 2025~2026년 논문이 실제로 겪은 사례까지 네 가지 유형으로 정리한다.

결론을 미리 적으면 이렇다. shaping은 학습 효율을 극적으로 올린다 — Planner-R1은 8B 모델에서 3.5배의 연산 효율을 얻었다. 하지만 그 효율은 공짜가 아니다. shaping 항 하나하나가 곧 새로운 proxy이고, proxy는 항상 hacking될 수 있다. 2부를 닫으며 남길 실무 원칙은 하나다 — “환경이 진짜로 신호를 주는 지점까지만 내려가라.”

Background

Reward shaping의 형식적 정의

MDP \(M=(S,A,T,\gamma,R)\) 위에서 에이전트를 학습시킨다고 하자. 여기서 \(S\)는 상태 집합, \(A\)는 행동 집합, \(T\)는 전이 확률, \(\gamma\in(0,1]\)은 할인율, \(R\)은 진짜(true) 보상 함수다. shaping이란, 원래 MDP \(M\) 대신 보상 함수만 바꾼 새 MDP \(M'=(S,A,T,\gamma,R')\)에서 학습시키는 것을 말한다. 이때

\[R'(s,a,s') = R(s,a,s') + F(s,a,s')\]

로 정의하고, \(F\)를 shaping reward function이라 부른다. 목적은 명확하다 — 원래 보상 \(R\)이 너무 희소해서 학습이 느리니, 추가 신호 \(F\)를 얹어 학습을 빠르게 만들자는 것이다. 문제는 “\(F\)를 아무렇게나 골라도 되는가”이다.

Potential-based shaping과 정책 불변성 정리

Ng, Harada, Russell(1999)의 답은 다음과 같다.

정의 (potential-based shaping function). 실수 함수 \(\Phi: S \to \mathbb{R}\)가 존재해서 모든 \(s \in S - \{s_0\}\), \(a \in A\), \(s' \in S\)에 대해

\[F(s,a,s') = \gamma\Phi(s') - \Phi(s)\]

를 만족하면 \(F\)를 potential-based shaping function이라 부른다. (여기서 \(s_0\)는 무할인 경우의 흡수 상태이고, \(\gamma<1\)이면 \(S-\{s_0\}=S\)로 둔다.)

기호를 하나씩 풀면 이렇다. \(\Phi(s)\)는 “상태 \(s\)가 목표에 얼마나 가까운가”를 나타내는 잠재값이다. \(s\)에서 \(s'\)으로 전이했을 때 주는 추가 보상 \(F\)는, 목적지의 잠재값에서 출발지의 잠재값을 뺀 것(할인 포함)이다. 즉 “상태가 좋아진 만큼만 보상을 주고, 그 좋아짐의 기준은 오직 \(\Phi\) 하나로 고정한다”는 뜻이다.

정리 1 (Ng et al., 1999). 임의의 \(S,A,\gamma\)와 shaping reward function \(F\)에 대해, \(F\)가 potential-based인 것은 \(M\)의 어떤 \(T,R\)을 골라도 \(M'=(S,A,T,\gamma,R+F)\)의 최적 정책이 \(M\)에서도 최적임을 보장하기 위한 필요충분조건이다.

즉 두 방향의 명제가 모두 성립한다.

  • 충분성: \(F\)가 potential-based이면, \(T,R\)이 무엇이든 \(M'\)의 최적 정책은 항상 \(M\)에서도 최적이다.
  • 필요성: \(F\)가 potential-based가 아니면, 이 보장이 깨지는 \(T,R\)이 반드시 존재한다.

정의를 다시 보면 중요한 제약이 하나 숨어 있다. \(F(s,a,s')=\gamma\Phi(s')-\Phi(s)\)는 행동 \(a\)에 의존하지 않는다 — 오직 도착한 상태 \(s'\)과 출발한 상태 \(s\)만으로 값이 결정된다. Ng et al.(1999)은 필요성 증명의 예비 보조정리에서, 만약 같은 \(s,s'\) 쌍에 대해 \(F(s,a,s')\ne F(s,a',s')\)처럼 행동에 따라 shaping 값이 달라지면, 그 즉시 최적 정책이 뒤바뀌는 \(T,R\)을 구성할 수 있음을 보인다. 다시 말해 “특정 도구를 호출했을 때만 주는 보너스”처럼 행동 자체를 겨냥한 shaping은 그 정의부터 이미 PBRS의 안전장치 밖에 있다. 뒤에서 만들 반례(“도구를 쓰면 보너스”)가 정확히 이 경우다.

왜 이 형태여야 하는가 — 텔레스코핑 유도

충분성 쪽을 직접 유도해 보자. \(M\)의 최적 \(Q\)-함수는 벨만 방정식을 만족한다.

\[Q_M^*(s,a) = \mathbb{E}_{s'}\left[R(s,a,s') + \gamma \max_{a'} Q_M^*(s',a')\right]\]

양변에서 \(\Phi(s)\)를 빼자.

\[Q_M^*(s,a) - \Phi(s) = \mathbb{E}_{s'}\left[R(s,a,s') + \gamma\Phi(s') - \Phi(s) + \gamma\max_{a'}\big(Q_M^*(s',a') - \Phi(s')\big)\right]\]

여기서 \(\gamma\Phi(s')-\Phi(s)\)는 정확히 \(F(s,a,s')\)이다. 이제 \(\hat{Q}_{M'}(s,a) \triangleq Q_M^*(s,a) - \Phi(s)\)로 정의하면

\[\hat{Q}_{M'}(s,a) = \mathbb{E}_{s'}\left[R'(s,a,s') + \gamma\max_{a'}\hat{Q}_{M'}(s',a')\right]\]

를 얻는다. 이건 정확히 \(M'\)의 벨만 방정식이다. 벨만 방정식의 해는 유일하므로 \(\hat{Q}_{M'} = Q_{M'}^*\), 즉

\[Q_{M'}^*(s,a) = Q_M^*(s,a) - \Phi(s)\]

\(\Phi(s)\)는 행동 \(a\)에 의존하지 않으므로, \(\arg\max_a Q_{M'}^*(s,a) = \arg\max_a Q_M^*(s,a)\)가 성립한다. 최적 정책이 정확히 동일하다.

직관적으로는 텔레스코핑(telescoping)으로도 설명된다. 길이 \(T\)짜리 궤적 \(s_0,s_1,\dots,s_T\)에서 shaping 보상의 할인합을 풀어 쓰면

\[\sum_{t=0}^{T-1}\gamma^t F(s_t,a_t,s_{t+1}) = \sum_{t=0}^{T-1}\gamma^t\big(\gamma\Phi(s_{t+1})-\Phi(s_t)\big) = \sum_{t=0}^{T-1}\gamma^{t+1}\Phi(s_{t+1}) - \sum_{t=0}^{T-1}\gamma^t\Phi(s_t)\]

인접한 항끼리 상쇄되면서 (Experiments에서 숫자로 직접 검증한다)

\[\sum_{t=0}^{T-1}\gamma^t F(s_t,a_t,s_{t+1}) = \gamma^T\Phi(s_T) - \Phi(s_0)\]

로 정리된다. 궤적 중간에 어떤 경로를 거치든, shaping 보상의 총합은 오직 시작 상태와 종료 상태의 잠재값 차이로만 결정된다. 중간 경로가 어떻든 상관없다는 뜻이므로, 궤적 사이의 우열(정책의 순서)이 뒤바뀔 수가 없다.

잠재함수를 잘 고르면 남은 학습이 거의 사라진다

앞서 유도한 \(Q_{M'}^*(s,a) = Q_M^*(s,a) - \Phi(s)\)는 \(\Phi\)를 어떻게 고르느냐에 따라 흥미로운 실무적 함의를 준다. 이 식을 상태 가치로 옮기면 \(V_{M'}^*(s) = V_M^*(s) - \Phi(s)\)가 되는데, 만약 \(\Phi(s) = V_M^*(s)\)로(즉 잠재함수를 원래 과제의 최적 가치함수 그 자체로) 고른다면

\[V_{M'}^*(s) = V_M^*(s) - V_M^*(s) \equiv 0\]

이 된다. 새 MDP \(M'\)에서는 모든 상태의 최적 가치가 항등적으로 0이다. 직관적으로는, \(\Phi=V_M^*\)를 쓰는 shaping이 “앞으로 남은 보상을 미리 다 당겨서 지금 준다”는 뜻이기 때문이다 — 에이전트 입장에서는 매 스텝 자기가 정확히 얼마나 잘하고 있는지 즉시 알려주는 것과 같으므로, 남은 상태들 사이의 가치 차이를 다시 배울 필요가 거의 없어진다. 물론 \(V_M^*\)를 미리 정확히 안다는 것 자체가 이미 문제를 푼 것과 같으므로 실전에서는 근사치를 쓸 수밖에 없지만, Ng et al.(1999)은 grid-world 실험에서 거친 근사(맨해튼 거리 기반)만으로도 학습이 극적으로 빨라짐을 보였다 — \(\Phi\)가 \(V_M^*\)와 다소 멀어도 방향만 맞으면 shaping은 여전히 유효하다는 뜻이다.

역설적 함의 — 임의의 shaping은 공짜가 아니다

여기서 반드시 짚어야 할 함의가 있다. potential 차분이 아닌 형태로 중간 보상을 더하면, 원래 하려던 과제와 다른 정책이 최적이 될 수 있다. “학습을 도와주려고” 넣은 보너스가 오히려 과제 자체를 바꿔버리는 것이다. Ng et al.(1999)은 논문 서두에서 이미 실제로 벌어진 사례 두 가지를 든다.

  • 자전거 순환: Randløv \& Alstrøm(1998)이 시뮬레이션 자전거로 목표 지점까지 주행하는 과제를 학습시켰다. 학습을 빠르게 하려고 “목표 쪽으로 전진할 때마다” 양의 보상을 줬다. 그 결과 에이전트는 출발점 근처에서 작은 원을 그리며 계속 회전하는 정책을 배웠다. 원을 한 바퀴 돌 때마다 “전진”하는 순간이 있고, 그때마다 양의 보상을 받으므로 후퇴에 대한 페널티 없이 무한히 보상을 벌 수 있었기 때문이다.
  • 공에 붙어 떠는 로봇: 축구를 하는 로봇에게 “공을 만질 때마다” 보상을 줬다(점유가 축구에서 중요하다는 이유였다). 로봇은 공 옆에 붙어서 가능한 한 자주 공을 건드리며 진동하는 정책을 배웠다. 진짜 축구를 하는 대신, 보상 신호와 직결된 행동만 반복한 것이다.

두 사례 모두 “moving toward goal”이나 “touching the ball”이라는 신호 자체는 그럴듯한 진전의 대리(proxy)처럼 보인다. 그런데 potential 차분 형태가 아니었기 때문에, 원래 과제(목적지 도착, 좋은 축구)와 무관하게 그 신호만 반복해서 얻는 경로가 생겼다. 이 두 사례는 뒤의 “핵심 절”에서 각각 다른 유형의 hacking으로 다시 등장한다.

LLM 에이전트에서 PBRS를 그대로 쓰기 어려운 이유

PBRS 이론은 깔끔하지만, LLM 에이전트에 그대로 적용하려면 곧바로 벽에 부딪힌다. 잠재함수 \(\Phi(s)\)를 무엇으로 둘 것인가라는 질문 때문이다.

Ng et al.(1999)이 grid-world 실험에서 쓴 \(\Phi\)는 “목표까지 남은 거리”였다(Manhattan distance 기반, \(\Phi_0(s) = -\text{MANHATTAN}(s,\text{goal})/0.8\)). 격자 위에서는 이 거리가 잘 정의된다. 그런데 LLM 에이전트의 상태는 지금까지의 전체 토큰·도구 호출 이력이다. “이 대화 상태가 정답까지 얼마나 가까운가”를 스칼라 하나로 매기는 일은, 사실상 그 자체가 이미 어려운 하위 문제다. 좋은 \(\Phi\)를 만들려면 이상적으로는 그 상태의 가치 함수 \(V^*_M(s)\) 자체를 알아야 하는데(Ng et al.도 “\(\Phi(s)=V^*_M(s)\)가 특히 좋은 선택”이라고 명시한다), 가치 함수를 정확히 안다는 것은 사실상 문제를 이미 풀었다는 뜻과 다르지 않다.

그래서 실제 agentic RL 논문들은 상태별 잠재함수를 세우는 대신 다른 우회로를 택한다. 다음 Method 절에서 볼 Planner-R1과 PRS 두 논문 모두, 사실은 매 스텝 전이에 potential 차분을 매기지 않는다. 대신 에피소드 종료 시점(터미널 상태)에서만 여러 개의 부분 성공 지표를 조합해 하나의 풍부한 보상으로 만든다. 이 우회로가 왜 여전히 “최적 정책을 안 바꾼다”고 주장할 수 있는지, 그리고 그 주장이 Ng et al.의 정리와 어떻게 다른 근거에 서 있는지를 짚는 것이 이번 Method 절의 핵심이다.

덧붙여, Ng et al.(1999)은 논문 말미에서 행동마다 소요 시간이 다른 semi-Markov 의사결정 과정(SMDP)으로도 정리가 자연스럽게 확장됨을 언급한다 — \(F(s,a,s',\tau) = e^{-\beta\tau}\Phi(s')-\Phi(s)\) 형태로, 행동을 완료하는 데 걸린 시간 \(\tau\)를 할인에 반영하면 된다. 이 확장은 LLM 에이전트와 특히 관련이 깊다. “한 턴”이 몇 토큰짜리 답변일 수도, 열 번의 도구 호출을 거친 긴 서브루틴일 수도 있기 때문이다 — #7에서 다룬 토큰·세그먼트 단위의 불균등한 길이 문제가, PBRS 쪽에서도 “행동의 소요 시간을 무시하면 안 된다”는 같은 결론으로 이어지는 셈이다.

Method

Planner-R1 — 작은 모델에 dense shaping이 특히 잘 듣는다

Planner-R1: Reward Shaping Enables Efficient Agentic RL with Smaller LLMs (Zhu et al., LinkedIn, arXiv 2025)

Planner-R1은 TravelPlanner 벤치마크(제약 충족형 여행 일정 계획, 검색·계산기 등 7개 도구 사용)를 multi-step tool-use MDP로 재구성하고, reward shaping의 밀도가 모델 크기별로 학습에 어떤 영향을 주는지를 정면으로 실험한 논문이다.

보상 설계. 과제 성공 여부는 원래 sparse binary다 — 최종 일정이 스키마를 만족하고 상식 제약(commonsense constraints, \(N_{cs}\)개)과 사용자 지정 제약(hard constraints, \(N_{hard}\)개)을 모두 충족해야만 1점이다. 저자들은 이 희소성을 완화하려고 다섯 개의 하위 지표를 정의한다.

  • \(r_{schema} = \mathbb{I}[\text{스키마 준수}]\) — 출력이 정해진 JSON 스키마를 지키는가.
  • \(r_{cs}^{micro} = S_{cs}/N_{cs}\) — 충족한 상식 제약의 비율.
  • \(r_{hard}^{micro} = S_{hard}/N_{hard}\) — 충족한 hard 제약의 비율.
  • \(r_{cs}^{macro} = \mathbb{I}[r_{cs}^{micro}=1]\) — 상식 제약을 전부 충족했는가.
  • \(r_{hard}^{macro} = \mathbb{I}[r_{hard}^{micro}=1]\) — hard 제약을 전부 충족했는가.
  • \(r_{pass} = \mathbb{I}[r_{cs}^{macro} \land r_{hard}^{macro}]\) — 원래의 평가 지표(둘 다 완전 충족).

이걸 하나로 합친 최종 보상은

\[r = r_{schema}\Big(\lambda_1 r_{cs}^{micro} + \lambda_2 r_{hard}^{micro} + \lambda_3 r_{cs}^{macro} + \lambda_4 r_{hard}^{macro} + \lambda_5 r_{pass}\Big)\]

이며, \(\lambda=[\lambda_1,\dots,\lambda_5]\)를 조절해 보상의 밀도를 바꾼다. 세 단계를 정의한다.

스테이지 \(\lambda\) 의미
Stage 1 \([1,1,1,1,1]\) 모든 하위 지표를 다 더한 dense 보상
Stage 2 \([0,0,1,1,1]\) 카테고리(macro) 단위 보상만
Stage 3 \([0,0,0,0,1]\) 원래의 sparse 최종 보상만

여기서 짚어야 할 점이 하나 있다. 이 다섯 개 지표는 모두 하나의 최종 궤적(에피소드 종료 시점)에서만 계산된다. 즉 이 shaping은 상태를 오가며 매 스텝 potential 차분을 주는 것이 아니라, “터미널 상태를 몇 가지 다른 잣대로 채점해서 합산”하는 방식이다. 저자들은 “모든 \(\lambda\) 조합이 같은 최적 정책을 보존한다”고 주장하는데, 이 근거는 Ng et al.의 텔레스코핑 논증과는 다르다 — \(r_{pass}=1\)인 궤적은 정의상 \(r_{cs}^{macro}=r_{hard}^{macro}=1\)이고 이때 micro 항들도 1이므로, 완전 성공 궤적의 합은 항상 \(\lambda\)의 총합(예: Stage 1에서 5)이 되어 부분 성공 궤적의 합(항상 5 미만)을 넘어선다. 즉 완전 성공이 항상 부분 성공을 지배(dominate)하도록 설계했기 때문에 순서가 안 바뀐다는, PBRS와는 다른 근거의 안전장치다. (이 차이가 왜 중요한지는 핵심 절에서 다시 다룬다.)

Curriculum. 위 세 스테이지를 훈련 스텝에 따라 순서대로 전환하는 curriculum도 실험한다. 8B 모델은 100/300/100 스텝, 32B 모델은 50/350/100 스텝으로 Stage 1→2→3을 전환한다.

결과. TravelPlanner 공식 1,000개 쿼리 테스트셋 기준, 확장 학습된 Planner-R1-32B는 56.9%의 최종 통과율(final-pass rate)을 기록했다. GPT-5(high)의 21.2%, GPT-o3(high)의 11.3%를 크게 앞서며, TravelPlanner 공개 리더보드 상 최강의 agentic 결과다. 학습 전 베이스 Qwen3-32B는 최종 통과율 0.6%, Qwen3-8B는 0.0%였다 — RL 없이는 사실상 풀 수 없는 과제였다는 뜻이다.

500스텝 단일 스테이지 학습 기준 최종 통과율은 다음과 같다.

모델 Stage 1 Stage 2 Stage 3(sparse) Curriculum
Planner-R1-8B 39.9% (±4.3) 13.3% (±23.2, 5회 중 3회 붕괴) 0.0% (5회 중 5회 붕괴) 27.1% (±12.6)
Planner-R1-32B 42.3% (±8.0) 44.1% (±9.4) 44.3% (±14.1) 47.0% (±6.9)

8B 모델은 sparse 보상(Stage 3)만으로는 5번의 독립 실행 전부가 학습 붕괴로 끝났다(최종 통과율 0.0%). Stage 2(카테고리 단위)에서도 5번 중 3번이 붕괴해 신뢰구간이 ±23.2%p로 매우 컸다. 반면 32B 모델은 어떤 스테이지를 쓰든 42% 이상을 냈고 붕괴가 없었다 — 큰 모델은 sparse 보상에서도 견디지만, 작은 모델은 dense shaping 없이는 아예 학습 자체가 안 된다는 뜻이다. 흥미롭게도 curriculum은 8B에서 오히려 Stage 1 단독보다 낮은 성능(27.1% < 39.9%)을 보였고, 저자들도 “curriculum learning 자체는 유의미한 이득을 주지 않았다”고 명시한다. 반면 32B에서는 curriculum이 수치상 가장 높았지만(47.0%) 저자들은 이 차이가 통계적으로 유의하지 않다고 밝힌다.

효율. 8B 모델을 3,000스텝, 32B 모델을 2,000스텝까지 확장 학습한 결과, 32B가 최고 성능의 90%(peak 대비 90% 지점)에 도달하는 데 \(7.6\times10^{20}\) FLOPs가 필요했던 반면, 8B는 같은 지점에 \(2.1\times10^{20}\) FLOPs만으로 도달했다 — 3.5배의 연산 효율이다. 최종 peak 정확도는 32B가 56.9%, 8B가 56.4%로 통계적으로 유의한 차이가 아니었다. 메모리 측면에서도 8B가 32B보다 1.5배 더 효율적이었다. 즉 dense shaping이 있으면, 작은 모델이 큰 모델과 맞먹는 최종 성능을 훨씬 적은 자원으로 달성한다 — 이것이 논문 제목이 말하는 “Reward Shaping Enables Efficient Agentic RL with Smaller LLMs”의 실체다.

Progressive Reward Shaping(PRS) — 게이트로 여는 단계형 보상

Enhancing Agentic RL with Progressive Reward Shaping and Value-based Sampling Policy Optimization (Zhuang et al., Alibaba, arXiv 2025)

이 논문은 tool-integrated reasoning(TIR) 기반 QA 에이전트를 GRPO로 학습시킬 때 겪는 두 문제 — sparse 0/1 보상과 GRPO의 그래디언트 소실(그룹 내 모든 rollout이 같은 보상을 받으면 advantage가 0이 되는 문제) — 를 해결하려고 PRS(Progressive Reward Shaping)와 VSPO(Value-based Sampling Policy Optimization) 두 기법을 제안한다. 이 편에서는 shaping과 직결되는 PRS만 다룬다.

주의할 점 하나. 논문 제목의 “progressive”라는 단어를 보면 “학습이 진행될수록 shaping을 점점 줄여간다”는 뜻처럼 들릴 수 있다. 그런데 원문을 확인해 보면 PRS는 훈련 스텝에 따라 가중치를 스케줄링하는 방식이 아니다. 대신 하나의 rollout을 채점할 때, 하위 단계 지표가 특정 임계값을 넘어야만 그 다음 단계 지표가 보상에 더해지는 게이트(gate) 구조다. Planner-R1의 \(\lambda\)-스테이징이 “훈련 스텝 축을 따라 밀도를 바꾸는” 방식이라면, PRS는 “하나의 출력을 채점하는 축을 따라 밀도를 쌓는” 방식이라는 점에서 사실상 다른 메커니즘이다.

short-form QA의 PRS. 세 가지 학습 목표를 단계적으로 정의한다.

  1. Process reward \(R_{process}\) — 모든 도구 호출과 최종 답변이 파싱 가능한가. 파싱 불가면 \(-1\), 도구 호출만 파싱되고 답이 안 되면 \(0\), 전부 파싱되면 \(1\).
  2. Format reward \(R_{format}\) — 출력이 지정된 태그 구조를 지키면 \(0.1\), 아니면 \(0\).
  3. Answer reward \(R_a\) — 정답과의 유사도. 표준 BLEU는 \(N=4\)-gram을 쓰는데, 정답 길이가 4토큰 미만인 짧은 답변에서는 고차 n-gram이 정의되지 않아 완전히 일치해도 BLEU가 1 미만으로 나온다. 이를 막기 위해 저자들은 short-form BLEU를 제안한다 — n-gram 가중치를 답변 길이에 맞춰 동적으로 재조정해서, 예측 길이가 \(c\)일 때 \(\max_n = \min(N,c)\)까지만 가중치를 부여한다(각 가중치 \(1/\max_n\)). 이렇게 하면 짧은 정답이 정확히 일치할 때도 BLEU \(=1\)이 나온다.

세 지표를 합친 최종 형태는

\[PRS_{short} = \begin{cases} R_{process} + R_{format} & \text{if } R_{process} < 1 \\ R_{process} + R_{format} + R_a & \text{otherwise} \end{cases}\]

즉 \(R_{process}=1\)(파싱 성공)이라는 게이트를 통과해야만 답변 품질 보상 \(R_a\)가 더해진다. \(R_{process}+R_{format}+R_a \ge R_{process}+R_{format}\)이 항상 성립하므로, “먼저 완결된 상호작용을 하는 능력을 배우고, 그 다음 답변 품질을 개선하라”는 순서를 강제한다.

long-form QA의 PRS와 reward hacking 방지. 여기서 저자들이 흥미로운 사실을 명시한다. 긴 답변에서는 BLEU 같은 n-gram 지표만으로는 부족하고, 모델이 이 지표를 reward hacking으로 공략한다. 이를 막으려고 LLM-as-a-Judge 보상 \(R_{judge}\)(사실 근거·환각 여부 평가)를 게이트 중간에 추가한다.

\[PRS_{long} = \begin{cases} R_{process}+R_{format} & \text{if } R_{process}<1 \\ R_{process}+R_{format}+R_{judge} & \text{if } R_{process}\ge 1 \\ R_{process}+R_{format}+R_{judge}+R_a & \text{if } R_{process}\ge 1 \text{ and } R_{judge}\ge 1 \end{cases}\]

일반형. 이 구조를 일반화하면, 시그모이드 \(\sigma(\cdot)\)와 임계값 \(\epsilon_i\)를 써서

\[R_{PRS} = R_1 + \mathbb{I}(R_1\ge\epsilon_1)\cdot\sigma(R_2) + \mathbb{I}(R_1\ge\epsilon_1, R_2\ge\epsilon_2)\cdot\sigma(R_3) + \cdots\]

로 쓸 수 있다. \(\sigma(R_i)\in(0,1)\)로 값을 항상 유계로 눌러 놓기 때문에, 하위 단계의 우열이 상위 단계 보상 하나 때문에 역전되지 않는다 — 이 역시 Planner-R1과 마찬가지로 “터미널 상태에서 여러 지표를 지배 관계가 깨지지 않게 쌓는” 방식이지, potential 차분을 매 스텝 주는 방식이 아니다.

효과 검증. 저자들은 rule-based 0/1 보상(Qwen2.5-72B-Instruct를 검증기로 사용)과 PRS를 VSPO로 각각 학습시켜 비교했다. 테스트셋 결과는 다음과 같다(질의 유형: \(Q_{simple}\), \(Q_{multiq}\), \(Q_{multim}\)).

보상 설계 \(Q_{simple}\) \(Q_{multiq}\) \(Q_{multim}\)
0-1 reward 0.6905 0.600 0.500
PRS 0.7125 0.725 0.550

세 질의 유형 전부에서 PRS가 0/1 보상을 앞섰다. 훈련 곡선을 봐도 PRS가 더 이른 시점에 수렴했고, policy entropy도 더 빨리 낮은 수준으로 떨어졌다(단, 이는 entropy collapse가 아니라 효율적 수렴이라고 저자들은 구분한다 — entropy collapse였다면 테스트 성능이 함께 떨어져야 하는데 오히려 더 좋아졌기 때문이다).

검색 에이전트의 중복 페널티 — DynaSearcher 사례

DynaSearcher: Dynamic Knowledge Graph Augmented Search Agent via Multi-Reward Reinforcement Learning (Hao et al., Alibaba Cloud, arXiv 2025)

검색 에이전트 RL에서 자주 쓰는 shaping 항 하나를 짧게 짚고 넘어간다. 검색 에이전트(멀티홉 QA)를 학습시킬 때, 검색된 문서의 재현율(recall)만 보상으로 주면 어떤 일이 벌어질까. DynaSearcher는 이 질문에 정면으로 부딪힌 사례다.

이 논문은 정보 이득(information gain) 보상 \(r_{gain}\)과 중복 페널티(retrieval penalty) \(r_{penalty}\)를 함께 설계한다.

\[r_{gain} = \alpha\cdot(r_{recall} - r_{penalty}), \qquad r_{penalty} = \max\big(\beta,\ 1-\gamma^{t-i}\big)\]

여기서 \(r_{recall}\)은 검색된 문서 청크 중 정답 근거와 관련된 것의 비율(TP/(TP+FN)), \(t\)는 현재까지 에이전트가 실행한 검색 행동 수, \(i\)는 데이터셋에 주석된 “정답까지 필요한 홉(hop) 수”다. \(\alpha\)는 정확도 보상과 정보 이득 보상의 균형을 맞추는 스케일 인자, \(\beta\)는 페널티의 하한이다. \(t\)가 \(i\)를 넘어서면 — 즉 필요한 것보다 검색을 더 많이 하면 — \(r_{penalty}\)가 커져 \(r_{gain}\)을 깎는다.

저자들은 이 페널티를 넣은 이유를 명시적으로 밝힌다. ”\(r_{recall}\)만 단독으로 추구하면 LLM이 reward hacking을 저지르는 것을 막기 위해서”다. recall은 검색을 더 많이 할수록(관련 문서를 더 많이 끌어올수록) 자연스럽게 올라가는 지표이므로, 페널티 없이 recall만 보상하면 에이전트는 이미 충분한 정보를 얻은 뒤에도 불필요한 검색 호출을 계속 늘려서 recall을 억지로 밀어 올리는 정책을 배울 수 있다. 이는 뒤의 핵심 절에서 다룰 “행동 남발” 유형의 실제 사례다. 검색 에이전트의 RL 설계 전반은 #12에서 본격적으로 다룬다.

curriculum과 shaping의 관계 — 항상 도움이 되는 것은 아니다

Planner-R1의 결과를 다시 보면 흥미로운 반례가 있다. curriculum(스테이지를 순서대로 전환)이 항상 dense shaping 단독보다 낫지는 않았다 — 8B 모델에서는 curriculum(27.1%)이 Stage 1 단독(39.9%)보다 오히려 낮았다. curriculum이 “sparse로 가는 중간 과정에서 이미 배운 것을 잊어버리게” 만들 위험이 있다는 뜻이다. shaping의 밀도를 서서히 줄이는 설계가 이론적으로 그럴듯해 보여도, 실측 없이 채택하면 안 된다는 것을 이 결과가 보여준다. 반대로 32B처럼 sparse 보상만으로도 안정적으로 학습되는 모델에서는 curriculum이 수치상 이득을 주기도 했다(47.0%로 최고치) — 다만 저자들 스스로 이 차이가 통계적으로 유의하지 않다고 밝힌 만큼, 과신할 결과는 아니다.

참고로 도구 호출 검증처럼 환경이 직접·즉시 판정을 내려주는 신호(예: SWE-bench류의 유닛 테스트 통과/실패)는 이 절에서 다룬 shaping들과는 각도가 다르다. 그런 신호는 사람이 만든 대리 지표가 아니라 “검증 가능한 채점(verifiable grading)” 그 자체이기 때문이다. 이 구분은 Conclusion의 실무 원칙과 직결된다.

핵심 절 — shaping이 만드는 hacking

shaping이 왜 위험한지는 Background의 이론(potential 형태가 아니면 최적 정책이 바뀔 수 있다)만으로는 절반만 설명된다. 나머지 절반은, potential 형태를 갖췄다고 주장하는 shaping조차도(Planner-R1, PRS처럼 “지배 관계”로 순서를 보존하는 설계) 실무에서는 새로운 hacking 표면을 연다는 사실이다. 왜냐하면 이 지배 관계는 “설계자가 상정한 하위 지표들이 진짜로 진전을 반영한다”는 전제 위에서만 성립하는데, 그 전제 자체가 자주 깨지기 때문이다. 아래 네 가지 유형으로 정리한다.

1. 행동 남발 — 성공 신호를 반복 수확한다

가장 흔한 패턴이다. “도구 호출이 성공하면 +점”처럼 단순한 신호를 주면, 에이전트는 그 신호와 직결된 행동을 필요 이상으로 반복해서 점수를 불린다. #5에서 이미 예고했던 문제이기도 하다.

DynaSearcher의 사례가 이 유형을 정확히 보여준다 — recall 보상만 주면 에이전트가 이미 답을 찾은 뒤에도 검색을 계속해서 recall 수치를 억지로 끌어올린다. 저자들이 \(r_{penalty}=\max(\beta,1-\gamma^{t-i})\)라는 별도 항을 굳이 설계해 넣은 이유가 바로 이 hacking을 막기 위해서였다. “성공 시 +점”이라는 형태의 shaping은 정의상 성공 횟수와 보상이 비례하므로, 성공을 반복 가능하게 만드는 구조에서는 거의 항상 이 문제가 따라온다.

2. 중간 목표 고착 — 최종 목표를 포기하고 하위 목표만 반복

하위 목표에 대한 보상이 크면, 에이전트는 최종 목표 달성보다 그 하위 목표를 반복해서 얻는 쪽이 더 이득이라고 학습할 수 있다. Background에서 다룬 자전거 사례가 정확히 이 유형이다 — “목표 쪽으로 전진”이라는 하위 신호에 양의 보상을 주자, 에이전트는 실제 목적지 도착(최종 목표)을 포기하고 출발점 근처를 계속 맴돌며 전진-후퇴를 반복해 하위 보상만 무한히 수확했다. 목적지에 실제로 도착하는 것보다, 도착 근처에서 “전진하는 척”을 반복하는 게 기대 보상 관점에서 더 나은 전략이 되어버린 것이다.

LLM 에이전트에서도 같은 구조가 재현될 수 있다. 예컨대 “계획을 한 단계 구체화할 때마다” 보상을 주는 설계라면, 에이전트가 실제로 과제를 완결하는 대신 계획을 계속 미세하게 고쳐 쓰며 “구체화했다”는 신호만 반복해서 얻을 여지가 생긴다.

3. 대리 지표 공략 — proxy만 만족시키는 경로를 찾는다

중간 신호가 진짜 진전의 대리(proxy)일 때, 에이전트는 대리 지표 자체를 최적화 대상으로 삼아버린다. Background의 축구 로봇 사례가 고전적인 예다 — “공을 만지면” 보상을 주자, 로봇은 좋은 축구를 하는 대신 공 옆에 붙어 계속 건드리며 진동했다. “공을 만지는 빈도”는 좋은 점유의 대리 지표일 뿐인데, 그 대리 지표 자체가 최적화 목표가 되어버린 것이다.

2025~2026년 LLM 에이전트 논문에서도 같은 패턴이 그대로 나타난다. PRS 논문은 긴 답변(long-form QA)에서 “n-gram 기반 지표(BLEU류)만으로는 부족하고, 모델이 이 지표를 reward hacking으로 공략한다”고 명시적으로 밝힌다. n-gram 겹침은 “정답과 얼마나 비슷한가”의 대리 지표일 뿐인데, 모델은 실제 사실 정확도를 높이는 대신 정답과 표면적으로 겹치는 단어를 늘리는 쪽으로 학습될 수 있다. 이를 막기 위해 저자들은 LLM-as-a-Judge라는, 표면 겹침이 아니라 의미·사실성을 직접 평가하는 별도 심판을 게이트에 추가해야 했다.

4. 조합의 실패 — 개별적으로 멀쩡한 보상들이 더해지면 어긋난다

Planner-R1과 PRS는 각 하위 지표가 “완전 성공이 항상 부분 성공을 지배한다”는 조건을 만족하도록 신경 써서 설계했다. 그런데 이 지배 관계는 하위 지표의 개수가 적고 서로 독립적일 때는 확인하기 쉽지만, 하위 지표가 여러 개로 늘어나고 서로 상호작용하기 시작하면 개별적으로는 멀쩡해 보이는 보상 항들의 합이 의도치 않은 곳에서 최댓값을 만들어낼 수 있다. 예를 들어 “형식 준수 보상”과 “답변 품질 보상”을 단순히 더하기만 하면, 형식을 과도하게 정교하게 채우는 데 답변 품질보다 더 많은 노력을 쏟는 편이 총점 관점에서 유리해지는 지점이 생길 수 있다. 개별 보상 항 각각은 합리적인 설계였는데도, 합쳐진 순간 전체 최적화 방향이 왜곡되는 것이다.

이 유형이 특히 까다로운 이유는, Planner-R1식 “완전 성공이 항상 지배한다”는 안전장치조차 하위 지표 수가 늘어나면 검증하기 어려워지기 때문이다. 하위 지표가 5개일 때는 “완전 성공 시 합이 5, 그 외에는 항상 5 미만”임을 손으로 확인할 수 있지만, 지표가 십수 개로 늘고 서로 다른 스케일·다른 팀이 설계한 항들이 섞이기 시작하면 그 지배 관계가 어느 조합에서 깨지는지 사람이 다 검증하기 어렵다. 즉 조합의 실패는 개별 설계자의 실수라기보다, 보상 항이 늘어날수록 구조적으로 커지는 위험에 가깝다.

이 유형은 이 시리즈에서 가장 깊이 다뤄야 할 문제이기도 하다. #15에서 Motif 사례를 통해 “개별 보상은 무해한데 조합하면 hacking이 발생하는” 구조를 본격적으로 파고든다. RLHF 시리즈에서 이미 다룬 reward hacking 일반론과 ODIN도 같은 문제의식(보상의 여러 성분이 서로 얽혀 의도치 않은 지름길을 만든다)을 다룬 바 있다.

Experiments

PBRS 유도 검증 — 5스텝 궤적에서 텔레스코핑 확인

Background에서 유도한 텔레스코핑 공식이 실제로 성립하는지 구체적인 숫자로 확인한다. Ng et al.(1999)이 grid-world 실험에서 쓴 것과 같은 종류의 거리 기반 잠재함수를 쓰자.

설정. 궤적은 \(s_0 \to s_1 \to s_2 \to s_3 \to s_4 \to s_5\)로 5스텝(\(T=5\))이고, \(s_5\)가 목표다. 잠재함수를 “목표까지 남은 단계 수의 음수”로 둔다.

\[\Phi(s_t) = -(5-t), \quad t=0,1,\dots,5\]

즉 \(\Phi(s_0)=-5,\ \Phi(s_1)=-4,\ \Phi(s_2)=-3,\ \Phi(s_3)=-2,\ \Phi(s_4)=-1,\ \Phi(s_5)=0\)이다. 할인율은 \(\gamma=0.9\)로 둔다.

각 스텝의 shaping 보상. \(F(s_t,a_t,s_{t+1})=\gamma\Phi(s_{t+1})-\Phi(s_t)\)를 계산하면

\(t\) \(\Phi(s_t)\) \(\Phi(s_{t+1})\) \(F(s_t,a_t,s_{t+1}) = 0.9\Phi(s_{t+1})-\Phi(s_t)\)
0 \(-5\) \(-4\) \(0.9\times(-4)-(-5) = 1.4\)
1 \(-4\) \(-3\) \(0.9\times(-3)-(-4) = 1.3\)
2 \(-3\) \(-2\) \(0.9\times(-2)-(-3) = 1.2\)
3 \(-2\) \(-1\) \(0.9\times(-1)-(-2) = 1.1\)
4 \(-1\) \(0\) \(0.9\times 0-(-1) = 1.0\)

할인 합. 이제 실제 궤적에서 에이전트가 받는 값은 각 \(F\)에 \(\gamma^t\)를 곱한 할인 합이다.

\[\sum_{t=0}^{4}\gamma^t F(s_t,a_t,s_{t+1}) = 1\times1.4 + 0.9\times1.3 + 0.81\times1.2 + 0.729\times1.1 + 0.6561\times1.0\]

각 항을 계산하면 \(1.4,\ 1.17,\ 0.972,\ 0.8019,\ 0.6561\)이고, 이를 모두 더하면

\[1.4+1.17+0.972+0.8019+0.6561 = 5.0000\]

텔레스코핑 공식과 비교. 이론상 이 값은 \(\gamma^T\Phi(s_T)-\Phi(s_0)\)와 같아야 한다.

\[\gamma^5\Phi(s_5)-\Phi(s_0) = 0.9^5\times 0 - (-5) = 0 + 5 = 5.0\]

두 값이 정확히 일치한다(5.0 = 5.0). 중간 경로에서 스텝별로 받은 값이 제각각(\(1.4,1.3,1.2,1.1,1.0\))이었는데도, 궤적 전체의 할인 합은 오직 시작 상태와 종료 상태의 잠재값 차이로만 결정된다는 것이 숫자로 확인된다. 이것이 PBRS가 “궤적 순서를 절대 바꾸지 않는다”고 보장할 수 있는 이유다.

잘못된 shaping의 반례 — 3상태 MDP로 최적 정책이 뒤집힌다

이제 potential 차분 형태가 아닌 shaping을 넣으면 실제로 최적 정책이 바뀌는지 최소 예제로 확인한다. Ng et al.(1999)의 필요성 증명(Appendix A)이 쓰는 것과 같은 구조의, 상태 3개짜리 MDP를 직접 구성한다.

설정. 상태는 \(s_1\)(시작), \(s_2\)(중간), \(\hat{s}_0\)(종료·흡수 상태) 세 개다. \(s_1\)에서 두 행동을 고를 수 있다.

  • 행동 \(a\): 곧바로 정답을 제출한다. \(s_1 \to \hat{s}_0\)로 결정적으로 전이한다.
  • 행동 \(a'\): 불필요한 도구를 한 번 호출한 뒤 답한다. \(s_1 \to s_2\)로 전이하고, \(s_2\)에서는 어떤 행동을 하든 \(\hat{s}_0\)로 결정적으로 전이한다.

할인율은 \(\gamma=1\)(무할인)로 둔다. 진짜 과제 보상 \(R\)은 오직 정답을 곧바로 제출하는 경로에만 있다.

\[R(s_1,a,\hat{s}_0) = 3, \qquad \text{그 외 모든 전이는 } R=0\]

즉 원래 MDP \(M\)에서는 \(Q_M^*(s_1,a)=3\), \(Q_M^*(s_1,a')=0\)이므로 최적 정책은 명백히 \(a\)(직접 제출)다 — 불필요한 도구 호출은 실제 과제 완수에 아무 보탬이 안 되기 때문이다.

여기에 “도구를 쓰면 보너스”라는 shaping을 얹는다. 도구 사용을 장려하려는 선의로, 도구 호출로 이어지는 전이와 그 이후 종료 전이에 다음과 같은 shaping을 추가했다고 하자.

\[F(s_1,a,\hat{s}_0)=2, \qquad F(s_2,\cdot,\hat{s}_0)=2, \qquad F(s_1,a',s_2)=6\]

세 번째 항(도구 호출 자체에 대한 보너스 6)이 특히 크다 — “도구를 썼다”는 사실 자체를 강하게 밀어주고 싶었기 때문이다.

이 \(F\)가 potential-based인지 먼저 확인하자. \(\Phi(\hat{s}_0)=0\)으로 두면, \(F(s_2,\hat{s}_0)=\Phi(\hat{s}_0)-\Phi(s_2)=2\)에서 \(\Phi(s_2)=-2\)가 나오고, \(F(s_1,\hat{s}_0)=\Phi(\hat{s}_0)-\Phi(s_1)=2\)에서 \(\Phi(s_1)=-2\)가 나온다. potential-based라면 \(F(s_1,s_2)\)는 반드시 \(\Phi(s_2)-\Phi(s_1) = -2-(-2) = 0\)이어야 하는데, 우리가 정한 값은 \(6\)이다. \(0 \ne 6\)이므로 이 \(F\)는 potential-based가 아니다.

실제로 최적 정책이 바뀌는지 확인한다. 새 MDP \(M'\)에서 \(R'=R+F\)이므로

\[R'(s_1,a,\hat{s}_0) = 3+2 = 5, \qquad R'(s_1,a',s_2) = 0+6 = 6, \qquad R'(s_2,\cdot,\hat{s}_0) = 0+2 = 2\]

이제 \(Q_{M'}^*\)를 계산하면

\[Q_{M'}^*(s_1,a) = 5\] \[Q_{M'}^*(s_1,a') = R'(s_1,a',s_2) + Q_{M'}^*(s_2,\cdot) = 6+2 = 8\]

\(8 > 5\)이므로 \(M'\)에서의 최적 정책은 \(a'\)(불필요한 도구 호출 경유)로 뒤집힌다. 진짜 과제 기준으로는 곧장 답하는 것이 유일하게 옳은 행동인데, potential-based가 아닌 shaping을 얹은 순간 에이전트는 쓸데없이 도구를 한 번 거치는 쪽을 “학습해야 할 최적 정책”으로 받아들이게 된다. 이 예제가 바로 앞의 “1. 행동 남발” 유형이 이론적으로 어떻게 발생하는지를 정확히 보여준다 — “도구 호출에 보너스”라는, 얼핏 합리적으로 보이는 shaping 하나가 최적 정책 자체를 왜곡할 수 있다.

논문 결과 요약

지금까지 다룬 세 논문의 핵심 수치를 한데 모으면 다음과 같다.

논문 과제 shaping 없음 shaping 있음 이득
Planner-R1 (8B, Stage3 vs Stage1) TravelPlanner 0.0%(최종 통과율, 5/5 붕괴) 39.9%(±4.3) 학습 자체의 성립 여부
Planner-R1 (32B, peak) TravelPlanner — 56.9% (GPT-5 대비 2.7배, 21.2%) FLOPs 3.5배·메모리 1.5배 효율(8B 기준)
PRS (VSPO, \(Q_{simple}\)) 단순 QA 0.6905 0.7125 +0.022
PRS (VSPO, \(Q_{multiq}\)) 다중 질의 QA 0.600 0.725 +0.125
PRS (VSPO, \(Q_{multim}\)) 다중 홉 QA 0.500 0.550 +0.050

세 논문 모두 방향은 일관된다 — shaping을 더하면 성능도 오르고, 특히 작은 모델·복잡한 질의일수록 이득 폭이 크다. 다만 이 표는 “효율” 쪽 이야기만 담고 있다는 점을 기억해야 한다. “위험” 쪽은 숫자로 잘 드러나지 않는다 — DynaSearcher가 별도 페널티 항을 설계해 넣어야 했다는 사실, PRS가 LLM judge를 게이트에 추가해야 했다는 사실 자체가, shaping을 넣지 않았다면 겪지 않았을 hacking을 shaping이 만들어냈다는 방증이다.

통계 요약

이 글에서 다룬 shaping 메커니즘들을 형식·평가 시점·안전성 근거·대가 기준으로 정리한다.

기법 보상 형태 평가 시점 최적성 보장 근거 남는 위험
Ng et al.(1999) PBRS \(F(s,a,s')=\gamma\Phi(s')-\Phi(s)\) 매 스텝(전이마다) 텔레스코핑 → 궤적 합이 시작·끝 잠재값 차이로 고정 \(\Phi\)를 잘못 고르면 학습이 느려질 뿐, 최적 정책은 안 바뀜
Planner-R1 \(\lambda\)-스테이징 \(\sum_i\lambda_i r_i\), 모든 \(r_i\)가 터미널 지표 에피소드 종료 시 1회 완전 성공이 항상 부분 성공을 지배하도록 설계 하위 지표가 진짜 진전과 어긋나면 지배 관계 자체가 깨질 수 있음
PRS 게이팅 임계값 통과 시에만 다음 항이 시그모이드로 누적 에피소드 종료 시 1회 하위 게이트를 통과해야 상위 보상이 열림(단조 증가) 게이트로 쓰는 지표(BLEU 등)가 proxy면 그 지표 자체가 공략당함
DynaSearcher 중복 페널티 \(r_{recall}-\max(\beta,1-\gamma^{t-i})\) 에피소드 종료 시(호출 횟수 집계) 정답까지 필요한 홉 수 \(i\)를 알 때만 적정 호출 수를 판정 가능 \(i\)를 모르거나 잘못 추정하면 페널티 기준 자체가 왜곡

Conclusion

2부 다섯 편을 한 문장씩으로 되짚으면 이렇다. 결과(outcome)만으로 보상을 주면 장기 궤적에서 credit assignment가 무너진다(#4). 그래서 턴(#5), 스텝(#6), 토큰·세그먼트(#7) 단위로 점점 더 잘게 내려가며 신호를 촘촘하게 만들 수 있다. 그런데 내려갈수록 그 중간 신호를 누군가는 지어내야 하고, 지어낸 신호는 반드시 hacking될 수 있다는 것이 이번 편의 결론이다.

이론적으로는 명확한 안전지대가 하나 있다 — potential 차분 형태의 PBRS는 궤적의 텔레스코핑 덕분에 어떤 \(T,R\)에서도 최적 정책을 보존한다는 것을 직접 유도해 확인했다. 문제는 LLM 에이전트에서 그 안전지대를 실제로 찾기가 어렵다는 데 있다. 상태 잠재함수 \(\Phi\)를 잘 정의하려면 사실상 가치 함수를 이미 알아야 하고, 그래서 실무 논문들(Planner-R1, PRS)은 매 스텝 potential을 쓰는 대신 터미널 상태에서 여러 부분 지표를 지배 관계가 깨지지 않게 쌓는 우회로를 택했다. 이 우회로는 Planner-R1이 보여준 3.5배의 연산 효율처럼 실질적인 이득을 준다. 하지만 이 우회로의 안전장치(“완전 성공이 항상 부분 성공을 이긴다”)는 어디까지나 부분 지표들이 진짜 진전을 정직하게 반영한다는 전제 위에서만 작동한다. 그 전제가 깨지는 지점이 이번 편에서 정리한 네 가지 hacking 유형 — 행동 남발, 중간 목표 고착, 대리 지표 공략, 조합의 실패 — 이다.

실무 원칙은 하나로 요약된다: 환경이 진짜로 신호를 주는 지점까지만 내려가라. 도구 호출이 성공했는지, 유닛 테스트가 통과했는지, 스키마가 유효한지처럼 검증 가능한(verifiable) 지점까지는 내려가도 안전하다 — 그 신호는 사람이 지어낸 대리가 아니라 환경이 직접 준 사실이기 때문이다. 하지만 그 아래로, “이 중간 상태가 목표에 얼마나 가까운가”를 추정해서 보상을 주는 지점부터는 그 추정 자체가 proxy이고, proxy는 정의상 hacking의 대상이 된다. shaping을 설계할 때 던져야 할 질문은 “이 보상이 학습을 얼마나 빠르게 하는가”가 아니라 “이 보상이 검증인가, 추정인가”여야 한다.

3부(#9~#11)는 이 질문에서 출발한다. 검증 가능한 신호는 대체 어디서 오는가 — 환경 자체가 주는 신호(#9), 도구 호출의 정오 여부(#10), 그리고 검증이 불가능할 때 최후의 수단으로 쓰는 judge의 채점(#11)까지, “신호를 어디서 얻을 것인가”라는 질문을 하나씩 파헤친다.

참고 문헌

Agentic RL 설계 시리즈

이 글은 Agentic RL 설계 시리즈의 여덟 번째 글이다.

1부. 왜 에이전트는 다른가

  1. 에이전트 RL은 무엇이 다른가 — 장기 지평·희소 보상·긴 궤적
  2. 공을 어디에 돌릴 것인가 — credit assignment 47개 방법의 지도
  3. 멀티턴 RL 실무 가이드 — 무엇이 실제로 작동하는가

2부. credit assignment — 공을 어디에 돌릴 것인가

  1. 결과만으로는 부족하다 — 장기 지평에서 증폭되는 RLVR의 한계
  2. 턴 단위로 공을 나눈다 — turn-level reward 설계
  3. 스텝을 단위로 삼는다 — 행동 단위 궤적 표현과 credit
  4. 토큰과 세그먼트로 더 잘게 — 세밀한 입도의 득과 실
  5. (현재 글) shaping은 약인가 독인가 — 중간 보상의 효율과 위험

3부. reward를 어디서 얻나

  1. 환경이 곧 reward다 — 샌드박스·테스트·상태 검증
  2. 도구 호출을 어떻게 채점하나 — ToolRL·ToolRM
  3. 궤적을 judge가 채점한다 — rubric 생성형 reward의 확장

4부. 도메인별 설계

  1. 검색 에이전트 — Search-R1에서 DeepDive까지
  2. 코드 에이전트 — SWE-RL과 테스트라는 reward
  3. 웹·GUI 에이전트 — end-to-end 멀티턴 RL

5부. 실패와 방어

  1. 에이전트의 reward hacking — 판정기가 뚫린다, 그리고 조합의 실패

6부. 실전 종합

  1. 프론티어 모델은 실제로 어떻게 하나 — 최신 모델들의 agentic RL 설계

본 시리즈는 16편으로 구성된다.



Enjoy Reading This Article?

Here are some more articles you might like to read next:

  • 프론티어 모델은 실제로 어떻게 하나
  • 에이전트의 reward hacking — 판정기가 뚫린다, 그리고 조합의 실패
  • 웹·GUI 에이전트 — end-to-end 멀티턴 RL
  • 코드 에이전트 — SWE-RL과 테스트라는 reward
  • 검색 에이전트 — Search-R1에서 DeepDive까지