DeepSeek-R1: reward model을 규칙으로 대체하다
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning (DeepSeek-AI, Nature 2025)
Introduction
20편까지 이 시리즈가 다룬 질문은 한결같이 “reward model을 어떻게 더 잘 만드는가”였다. 사람 선호를 어떻게 스칼라로 압축할지(#4 #5), 데이터를 어떻게 큐레이션할지(#6), reward model이 hacking당하는 걸 어떻게 막을지(#10~#13), 단계별로 감독하는 PRM을 사람 없이 어떻게 만들지(#20). 방향은 늘 같았다 — reward model을 더 정교하게, 더 견고하게.
이 글이 다루는 DeepSeek-R1은 그 방향을 뒤집는다. “어떤 도메인에서는 reward model 자체가 필요 없다”는 것이다. 수학 문제의 정답은 신경망이 판단할 필요가 없다. 문자열이 일치하는지만 보면 된다. 코드가 맞았는지도 신경망이 채점할 필요가 없다. 테스트를 돌려보면 된다. 이렇게 학습된 reward model 대신 규칙 기반 검증기(rule-based verifier)가 reward를 주는 방식을 RLVR(Reinforcement Learning with Verifiable Rewards)이라 부른다. 이 용어 자체는 DeepSeekMath(#16)와 Tülu 3(Lambert et al., 2024)에서 먼저 등장했지만, DeepSeek-R1은 이 아이디어를 극단까지 밀어붙여 “SFT 없이 base 모델에 RL만 적용해도 추론 능력이 자발적으로 생긴다”는 것을 보여준 첫 사례다.
왜 이게 3부(#10~#13)의 reward hacking 논의와 정면으로 연결되는지 먼저 짚고 넘어가자. reward hacking은 정책이 reward model의 허점을 파고들어 실제 품질과 무관하게 점수만 올리는 현상이었다. 그런데 hacking이 성립하려면 hacking할 대상, 즉 파라미터를 가진 근사 함수가 있어야 한다. 규칙 기반 검증기는 파라미터가 없다. 정답 문자열이 일치하느냐, 코드가 테스트를 통과하느냐를 파서(parser)와 실행기(executor)로 판정할 뿐이다. 근사가 없으니 근사의 허점도 없다 — hacking 문제 자체가 정의상 소멸한다.
이 글에서는 다음을 순서대로 본다.
- RLVR이 무엇이고, accuracy reward와 format reward가 각각 무엇을 강제하는가
- SFT 없이 곧바로 RL을 돌린 DeepSeek-R1-Zero에서 무슨 일이 일어났는가 (“aha moment”)
- R1-Zero의 문제(가독성, 언어 혼용)를 고치기 위해 R1이 왜 4단계 파이프라인을 썼는가
- 저자들이 왜 PRM과 MCTS를 시도했다가 접었는가 — #19, #20과의 정면 대비
- RLVR의 결정적 한계 — 정답이 없는 도메인은 여전히 reward model이 필요하다는 것
Background
RLVR: 학습된 RM을 규칙으로 대체한다
지금까지 이 시리즈에서 다룬 reward model은 전부 학습된 함수였다. 응답 쌍 \((y_w, y_l)\)을 사람이 비교한 데이터로 Bradley-Terry 손실을 최소화해 스칼라 점수 \(r_\theta(x, y)\)를 뽑아내는 신경망이다. 이 함수는 근사이기 때문에 항상 실제 품질과 어긋나는 지점이 있고, 정책이 RL로 그 지점을 찾아내면 hacking이 된다.
RLVR은 이 함수 \(r_\theta\)를 통째로 걷어내고, 검증 가능한(verifiable) 정답이 있는 문제에 한해 규칙으로 판정한다.
\(r(x, y) = \begin{cases} 1 & \text{\)y\(의 최종 답이\)x\(의 정답과 일치} \\ 0 & \text{그렇지 않음} \end{cases}\)
- \(x\): 문제(수학 문제, 코딩 문제 등)
- \(y\): 모델이 생성한 응답(추론 과정 + 최종 답)
- \(r(x, y)\): 신경망이 아니라 파서 + 비교 로직이 계산하는 값
DeepSeek-R1은 규칙 기반 reward를 두 종류로 나눈다.
- accuracy reward: 응답이 맞았는가. 수학 문제라면 최종 답을 지정된 형식(예:
\boxed{})으로 쓰게 강제하고, 그 안의 문자열을 정답과 비교한다. 코드 문제라면 컴파일된 코드를 테스트 케이스에 돌려 통과 여부를 본다. - format reward: 사고 과정을
<think>와</think>태그 사이에 쓰도록 강제한다.
format reward가 왜 따로 필요한지 헷갈릴 수 있다. accuracy reward만 있으면 모델은 “정답만 맞히면 되는” 최단 경로를 찾으려 할 것이다 — 추론 과정 없이 바로 답을 찍거나, 추론과 답을 뒤섞어 파서가 답을 추출하기도 어렵게 만들 수 있다. format reward는 “생각의 흔적을 남기라”는 최소한의 구조적 제약이다. 정답 여부와 무관하게, 사고 과정과 최종 답을 분리해서 쓰면 보상을 준다.
이 두 reward는 그대로 #16 GRPO에 꽂힌다. 문제 \(q\)당 \(G\)개의 응답 \(\{o_1, \ldots, o_G\}\)를 샘플링하고, 각 응답의 reward \(r_i = r(q, o_i)\)를 그룹 안에서 정규화해 advantage로 쓴다.
\[A_i = \frac{r_i - \text{mean}(r_1, \ldots, r_G)}{\text{std}(r_1, \ldots, r_G)}\]- \(r_i\): \(i\)번째 응답의 규칙 기반 reward (0 또는 1)
- \(\text{mean}, \text{std}\): 같은 그룹 \(G\)개 응답의 reward 평균·표준편차
- \(A_i\): 정규화된 advantage. 그룹 안에서 상대적으로 잘한 응답일수록 크다
#16에서 이미 짚었듯 GRPO는 value network 없이 그룹 내 상대 비교만으로 advantage를 얻는다. DeepSeek-R1은 이 구조를 그대로 가져다 쓰되, reward 함수 자리에 학습된 RM 대신 규칙 검증기를 꽂았다는 점이 이 논문의 실질적 기여다.
저자들이 PRM을 버린 이유
#19와 #20 Math-Shepherd는 결과만 보는 ORM보다 각 추론 단계를 감독하는 PRM이 더 정밀한 신호를 준다고 결론지었다. DeepSeek-R1 팀도 PRM을 시도했다. 논문에 남긴 실패 이유를 그대로 옮기면 이렇다.
“PRM has three main limitations: First, it is challenging to explicitly define a fine-grain step in general reasoning. Second, determining whether the current intermediate step is correct is a challenging task. Automated annotation using models may not yield satisfactory results, while manual annotation is not conducive to scaling up. Third, once a model-based PRM is introduced, it inevitably leads to reward hacking.”
세 문제를 하나씩 풀어보면 이렇다.
- 단계 정의의 모호함: 수학 풀이는 “한 줄 = 한 단계”로 비교적 깔끔하게 자를 수 있지만, 일반적인 추론(코딩, 논리 퍼즐, 자유 서술)에서는 “한 단계”가 어디서 끝나는지부터 합의가 안 된다.
- 중간 정확도 판정의 어려움: #20의 Math-Shepherd는 이 문제를 몬테카를로 rollout 완료율로 우회했다 — “이 단계에서 이어 풀었을 때 몇 번이나 정답에 도달하는가”로 단계 라벨을 추정한 것이다. 이 방식은 수학처럼 rollout을 많이 돌려도 싸고 정답 판정이 쉬운 도메인에서나 성립한다. 일반 추론에서는 rollout 자체의 정답 판정이 이미 애매해서 라벨이 노이즈투성이가 된다.
- PRM 자체가 hacking 대상이 된다: PRM도 결국 신경망이다. RM과 똑같이 대규모 RL 과정에서 정책이 PRM의 허점을 찾아 점수만 올리는 경로를 학습할 수 있다. PRM을 다시 학습시키려면 추가 자원이 들고, 전체 파이프라인이 복잡해진다.
MCTS(Monte Carlo Tree Search)도 시도했다가 접었다. AlphaGo가 바둑에서 성공한 방식을 토큰 생성에 그대로 적용해보려 한 것인데, 논문은 이렇게 설명한다.
“Unlike chess, where the search space is relatively well-defined, token generation presents an exponentially larger search space.”
바둑판은 19×19로 한 수마다 후보가 많아야 361개다. 반면 토큰 생성은 매 스텝마다 어휘 사전 크기(수만 개) 만큼의 분기가 있고, 응답 길이가 수천 토큰이니 탐색 공간이 기하급수적으로 커진다. 게다가 MCTS가 탐색을 이끌려면 각 중간 상태의 가치를 매기는 value model이 필요한데, 그 value model을 세밀하게 학습시키는 것 자체가 어려워 탐색 품질이 계속 정체됐다고 저자들은 적었다.
결국 PRM도, MCTS도 “중간 상태를 얼마나 잘 판정하느냐”에 병목이 걸려 있었다. RLVR은 이 병목을 아예 없앤다 — 중간 단계는 채점하지 않고, 최종 결과만 규칙으로 판정한다.
Method
DeepSeek-R1-Zero: SFT 없이 곧바로 RL
DeepSeek-R1-Zero는 SFT 데이터를 단 한 건도 쓰지 않고, DeepSeek-V3-Base에 GRPO + 규칙 기반 reward만으로 RL을 돌린 실험이다. 지금까지 이 시리즈가 다룬 모든 파이프라인은 “SFT로 기본기를 잡은 다음 RL로 다듬는다”는 순서를 전제했다. R1-Zero는 그 전제를 깨고 “RL만으로 추론 능력이 나타나는가”를 직접 시험한 것이다.
결과는 명확했다. AIME 2024 pass@1이 학습 초반 15.6%에서 최종 71.0%까지 올라갔고, 다수결 투표(cons@64, 같은 문제를 64번 풀어 가장 많이 나온 답을 채택)를 적용하면 86.7%까지 오른다 — 이는 당시 OpenAI o1-0912급 성능이다. MATH-500 pass@1은 95.9%, GPQA Diamond는 73.3%, LiveCodeBench pass@1은 50.0%까지 도달했다. SFT로 추론 과정을 한 줄도 가르치지 않았는데 나온 숫자다.
더 흥미로운 건 응답 길이다. 학습이 진행될수록 모델이 스스로 응답을 길게 만들었다 — 논문 표현으로 “thinking time”이 학습 내내 꾸준히 늘었고, 수백 토큰에서 수천 토큰 규모로 확장됐다. 누구도 “더 길게 생각해라”라고 reward에 명시하지 않았는데, 정답률을 올리는 경로가 우연히 “더 오래 생각하기”였고 GRPO가 그 경로를 강화한 것이다.
자기반성(reflection), 대안적 풀이 탐색 같은 행동도 스스로 나타났다. 논문이 “aha moment”라 이름 붙인 순간의 실제 모델 출력은 이렇다.
“Wait, wait. Wait. That’s an aha moment I can flag here. Let’s reevaluate this step-by-step…”
이전 풀이를 스스로 의심하고, 되짚고, 다시 계산하는 패턴이다. 사람이 “틀렸으면 다시 확인해라”라고 학습 데이터에 넣어준 적이 없다. 정답 일치 여부만 보는 이진 reward가 반복적으로 이런 패턴을 강화한 결과, 검산·재평가가 “정답률을 올리는 전략”으로 자발적으로 자리 잡았다.
다만 R1-Zero는 두 가지 뚜렷한 문제를 남겼다.
- 가독성 저하: 사고 과정이 사람이 읽기 힘든 형태로 뒤엉킨다.
- 언어 혼용: 하나의 응답 안에서 중국어와 영어가 섞여 나온다. reward가 “정답이 맞았는가”만 보기 때문에, 모델이 어떤 언어로 생각하든 개의치 않는다.
DeepSeek-R1의 4단계 파이프라인
R1은 R1-Zero의 두 문제를 고치기 위해 SFT와 RL을 번갈아 쌓은 4단계 파이프라인을 쓴다. 비유하자면 R1-Zero가 “백지에서 혼자 문제를 풀어보게 던져둔 것”이라면, R1은 “글씨체 교본을 먼저 보여준 다음(cold start) 자유롭게 풀게 하고(RL), 잘 쓴 답안만 골라 복습시킨 뒤(rejection sampling), 마지막으로 종합 시험을 보게 하는(all-scenario RL)” 4단계 커리큘럼이다.
| 단계 | 이름 | 하는 일 | 고치는 문제 |
|---|---|---|---|
| 1 | Cold-Start SFT | 수천 건의 장문 CoT 데이터로 V3-Base를 먼저 미세조정 | R1-Zero의 가독성 저하 — 출력 형식을 사람이 읽을 수 있게 고정 |
| 2 | Reasoning-Oriented RL | R1-Zero와 동일한 규칙 기반 RL. accuracy reward에 언어 일관성 reward(CoT에서 목표 언어 단어 비율)를 결합 | 언어 혼용 — 특정 언어로 일관되게 사고하도록 유도 |
| 3 | Rejection Sampling + SFT | 2단계 체크포인트에서 샘플링 → 정답이고 읽기 좋은 것만 채택(추론 약 60만 건) + 글쓰기·QA·번역 등 비추론 데이터(약 20만 건), 총 약 80만 건으로 2 epoch 재학습 | 추론 능력을 일반 대화 능력과 통합 |
| 4 | All-Scenario RL | 추론 데이터엔 규칙 기반 reward, 일반 데이터엔 helpfulness·harmlessness를 보는 학습된 reward model 결합 | 실사용 시나리오 전반의 품질과 안전성 |
여기서 짚어야 할 점이 하나 있다. 4단계에서 R1도 결국 학습된 reward model을 다시 불러온다. 규칙 검증기는 정답이 있는 추론 문제에만 쓰이고, 정답이 없는 일반 대화(도움됨, 무해함 판단)에는 여전히 이 시리즈 2부(#4~#9)에서 다룬 방식의 스칼라 RM이 쓰인다. RLVR은 학습된 RM을 완전히 대체한 게 아니라, RM이 필요 없는 영역과 필요한 영역을 명확히 갈랐을 뿐이다.
Experiments
토이 예제: 같은 문제, 세 채점자
수학 문제 하나를 세 종류의 채점자 — (a) 학습된 스칼라 RM, (b) PRM, (c) 규칙 검증기 — 에게 채점시켜 보면 이 논문의 요지가 선명해진다.
문제: \(3x - 7 = 14\)를 풀어라 (정답 \(x=7\)).
- Solution A (정답, 문체는 어색함): “음… 7을 더하면… \(3x\)는 21이 되는 것 같다… 이걸 3으로 나누면… \(x\)는 7이 되는 듯하다. 확실친 않지만 아마 \(x=7\)일 것이다.” →
\boxed{7} - Solution B (오답, 문체는 매끄러움): “양변에 7을 더하면 \(3x=21\)이다. 양변을 3으로 나누면 \(x=9\)이다.” (마지막 나눗셈에서 계산 실수) →
\boxed{9}
| 채점자 | Solution A (정답, 어색함) | Solution B (오답, 매끄러움) |
|---|---|---|
| 학습된 RM (문체·유창성에 민감) | 0.58 — 머뭇거리는 표현에 페널티 | 0.84 — 자신감 있고 매끄러운 어조에 높은 점수, 오답인데도 |
| PRM (단계별 채점) | 단계 정의 자체가 애매해 0.55 — “생각하는 중” 표현을 하나의 단계로 볼지 모호함 | 각 단계 표현이 그럴듯해 0.78 — 계산 실수를 단계 판정에서 놓치기 쉬움 |
규칙 검증기 (\boxed{} 값 비교) | 7 == 7 → reward = 1 | 9 != 7 → reward = 0 |
학습된 RM과 PRM은 문체가 채점에 새어 들어갈 여지가 있다. 자신감 있고 매끄러운 문장은 실제로 맞았을 확률과 무관하게 높은 점수를 받는 경향이 있고, 이게 바로 #11에서 다룬 “성능 향상처럼 보이지만 실은 길이·문체 편향”과 같은 계열의 문제다. 규칙 검증기는 문체를 아예 보지 않는다. \boxed{} 안의 문자열만 뽑아 정답과 비교하니, Solution B가 아무리 매끄러워도 0점을 피할 수 없다. 이게 이 논문이 “hacking할 대상 자체가 없다”고 주장하는 근거다.
비유하자면 학습된 RM과 PRM은 글의 인상, 논지 전개, 어휘 선택까지 종합적으로 평가하는 논술 첨삭 선생님에 가깝다. 첨삭 선생님은 유창한 글에 후한 점수를 주기 쉽고, 학생이 그 성향을 파악하면 내용보다 “그럴듯하게 쓰는 법”을 익히게 된다. 규칙 검증기는 그 반대편 극단, 정답지와 마킹을 한 칸씩 기계적으로 대조하는 OMR 채점기다. 글씨가 예쁘든 밉든, 풀이 과정이 장황하든 간결하든 상관없이 마지막 칸에 적힌 답만 본다. 채점 기준이 좁아진 대신, 그 좁은 기준 안에서는 속일 방법이 없다.
최종 성능
| 벤치마크 | DeepSeek-R1-Zero | DeepSeek-R1 | OpenAI o1-1217 |
|---|---|---|---|
| AIME 2024 pass@1 | 71.0% | 79.8% | 79.2% |
| AIME 2024 cons@64 | 86.7% | — | — |
| MATH-500 pass@1 | 95.9% | 97.3% | 96.4% |
| GPQA Diamond pass@1 | 73.3% | 71.5% | 75.7% |
| Codeforces rating | 1444 | 2029 | 2061 |
| LiveCodeBench pass@1 | 50.0% | 65.9% | 63.4% |
| MMLU pass@1 | — | 90.8% | 91.8% |
R1-Zero 대비 R1은 AIME에서 71.0% → 79.8%, Codeforces 레이팅에서 1444 → 2029로 크게 오른다. 4단계 파이프라인이 단순히 “가독성만 고친 것”이 아니라 실제 정답률까지 끌어올렸다는 뜻이다. cold-start SFT와 rejection sampling으로 넣은 질 좋은 데이터가 이후 RL 단계의 출발점 자체를 개선한 것으로 볼 수 있다.
증류(distillation)도 흥미로운 결과를 남겼다. R1의 800k SFT 데이터로 Qwen 계열 모델을 그대로 SFT만 시켰는데(RL 없이), DeepSeek-R1-Distill-Qwen-32B가 AIME 2024에서 72.6%, MATH-500에서 94.3%를 기록했다. 같은 크기대의 QwQ-32B-Preview(AIME 50.0%)를 크게 웃돈다. 규칙 검증기로 걸러진 고품질 추론 데이터 자체가 별도 RL 없이도 큰 모델의 능력을 작은 모델에 전이시킬 수 있다는 뜻이다.
RLVR의 적용 범위
이 표가 이 글 전체의 결론을 압축한다.
| 도메인 | 검증 가능한 정답 | RLVR 적용 가능 여부 |
|---|---|---|
| 수학 (AIME, MATH) | 최종 수치·기호가 정답과 일치하는지 파서로 확인 | O |
| 코드 생성 | 유닛 테스트 통과 여부 | O |
| 요약·번역 | “좋은 요약”에 유일한 정답이 없음, 참조 문장과의 유사도만으로는 품질 판정 불충분 | X |
| 대화·상담 | 정답 자체가 정의되지 않음, 맥락과 사용자 의도에 따라 다름 | X |
| 안전성 판단 | 규칙으로 커버 안 되는 뉘앙스(맥락상 위해성 등)가 많음 | X |
수학과 코드처럼 “정답이 프로그램적으로 판정 가능한” 도메인에서는 RLVR이 학습된 RM보다 우월하다 — 근사가 없으니 hacking도 없고, RM을 학습·재학습하는 비용도 없다. 하지만 표 오른쪽 칸, 즉 정답 자체가 정의되지 않는 도메인에서는 애초에 규칙을 쓸 수가 없다. 이 공백을 어떻게 메울 것인가가 다음 부의 질문이다.
Conclusion
DeepSeek-R1은 이 시리즈 5부(Process & Verifiable Reward)의 마지막 글이자 전체 시리즈의 전환점이다. 정리하면,
- RLVR: 학습된 RM 대신 규칙 기반 검증기(정답 일치, 테스트 통과)가 reward를 준다. 파라미터가 없는 함수이므로 3부(#10~#13)의 reward hacking이 정의상 성립하지 않는다.
- DeepSeek-R1-Zero: SFT 없이 GRPO + 규칙 reward만으로 AIME pass@1을 15.6%에서 71.0%(cons@64 86.7%)까지 끌어올렸고, 자기반성(“aha moment”)과 응답 길이 확장이 자발적으로 나타났다. 대신 가독성 저하와 언어 혼용을 남겼다.
- DeepSeek-R1의 4단계 파이프라인(cold-start SFT → reasoning RL → rejection sampling+SFT → all-scenario RL)은 이 문제들을 순차적으로 고쳤고, 결과로 AIME 79.8%, Codeforces 2029까지 올라 OpenAI o1-1217과 어깨를 나란히 했다.
- PRM과 MCTS를 접은 이유: 단계 정의의 모호함, 중간 정확도 판정의 어려움, 그리고 PRM 자체가 다시 hacking 대상이 된다는 점. #19, #20이 공들여 만든 과정 감독을, R1은 “검증 가능한 도메인이면 아예 필요 없다”고 잘라냈다.
- RLVR의 한계: 정답이 검증 가능한 수학·코드에서만 통한다. 4단계 파이프라인조차 일반 대화 영역에는 여전히 학습된 RM을 남겨뒀다는 사실이 이 한계를 스스로 증명한다.
한 줄로 요약하면 “reward model을 규칙으로 대체할 수 있는 도메인에서는 대체하는 게 낫다. 문제는 그런 도메인이 세상의 일부일 뿐이라는 것이다.”
이 마지막 문장이 바로 6부(Generative Reward Model)로 넘어가는 이유다. 검증 가능한 정답이 없는 도메인에서, “학습된 RM으로 돌아가되 hacking에 더 강한 RM을 어떻게 만들 것인가”라는 질문에 #22 Generative Verifiers가 next-token prediction으로 reward를 재구성하며 답한다. 그리고 시리즈 후반 #25 Rubrics as Rewards는 이 글의 표 오른쪽 칸 — 글쓰기, 상담, 안전성처럼 정답이 없는 도메인 — 을 정면으로 다시 겨냥한다.
RLHF Reward 설계 시리즈
이 글은 RLHF Reward 설계 시리즈의 스물한 번째 글이다.
1부. 지형도
- Deep RL from Human Preferences (Christiano 2017) — 선호로 보상을 배우는 원형
- InstructGPT (Ouyang 2022) — RLHF 3단계 표준 레시피
- HH-RLHF (Bai 2022) — helpful·harmless preference model
2부. 스칼라 RM 해부
- Rethinking Bradley-Terry (2024) — reward 변환의 수학적 기반
- Secrets of RLHF II (2024) — 선호 데이터 노이즈와 RM 일반화
- Skywork-Reward (2024) — 데이터 큐레이션이 아키텍처를 이긴다
- ArmoRM (2024) — 다목적 분해와 MoE 게이팅
- Llama 2 (2023) — helpfulness·safety RM 분리 프로덕션 레시피
- RewardBench 2 (2025) — RM을 어떻게 평가할 것인가
3부. Reward Hacking
- Overoptimization Scaling Laws (2022) — Goodhart의 법칙 정량화
- Length Correlations in RLHF (2023) — 성능 향상의 얼마가 길이인가
- ODIN (2024) — 길이를 reward에서 분리
- WARM (2024) — weight averaging으로 hacking 방어
4부. reward를 정책으로
- PPO (2017) — clipped surrogate objective
- Secrets of RLHF I (2023) — PPO 학습 안정화 트릭
- GRPO / DeepSeekMath (2024) — value network를 버리다
- RLOO (2024) — REINFORCE로 충분한가
- DPO (2023) — reward를 없애면 어떻게 되는가
5부. Process & Verifiable Reward
- Let’s Verify Step by Step (2023) — 과정 감독이 결과 감독을 이긴다
- Math-Shepherd (2023) — 사람 라벨 없는 PRM
- (현재 글) DeepSeek-R1 (2025) — RLVR, 규칙이 reward가 될 때
6부. Generative Reward Model
- Generative Verifiers (2024) — reward를 next-token prediction으로
- Generative Reward Models (2024) — GenRM과 선호 학습의 결합
- DeepSeek-GRM / SPCT (2025) — inference-time scaling
- Rubrics as Rewards (2025) — 비검증 도메인으로
- One Token to Fool LLM-as-a-Judge (2025) — GenRM도 뚫린다
참고 문헌
- Guo et al. (DeepSeek-AI), 2025. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning.
- DeepSeek-AI, 2025. DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning. Nature 645, 633–638.
- Shao et al. (DeepSeek-AI), 2024. DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models — GRPO 원 논문.
- Lambert et al. (Ai2), 2024. Tülu 3: Pushing Frontiers in Open Language Model Post-Training — RLVR 용어 정립.
- Nature News, 2025. Secrets of DeepSeek AI model revealed in landmark paper.
Enjoy Reading This Article?
Here are some more articles you might like to read next: