개방형 대화 — MT-Bench에서 Arena까지
Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (Zheng et al., UC Berkeley, NeurIPS 2023 Datasets and Benchmarks Track)
Introduction
#5에서 이미 본 문제다. BLEU도 BERTScore도 COMET도 결국 참조(reference) 문장이 있어야 점수를 낸다. 그런데 “이 이메일을 정중하게 다시 써줘”나 “이 코드를 리뷰해줘” 같은 개방형 요청에는 유일한 정답이 없다. 참조가 하나뿐이라는 가정 자체가 깨진다. 그렇다면 개방형 대화는 대체 무엇과 비교해서 점수를 매기나.
이 질문에 대한 답은 지난 몇 년 동안 세 번 옮겨갔다.
- 자동 지표로: BLEU/ROUGE류를 그대로 채팅에 적용해봤지만 #5가 보였듯 사람 판단과의 상관이 낮다. 참조가 하나뿐이라는 가정이 개방형 대화에서는 훨씬 더 심하게 깨지기 때문이다.
- LLM judge로: 참조를 포기하고, 강한 LLM(GPT-4)에게 “이 두 답변 중 어느 게 나아?”를 직접 물어본다. MT-Bench가 이 전환을 만들었다.
- 사람 크라우드 pairwise로: LLM judge도 결국 하나의 모델이 매기는 점수라, 익명의 사람들을 대규모로 모아 직접 투표시킨다. Chatbot Arena가 이 축을 세웠다.
세 번째로 옮겨간 뒤에도 이야기는 끝나지 않는다. 사람 투표에도 편향이 있고(길이·서식을 좋아한다), 표본이 유한하면 신뢰구간이 벌어진다. 그래서 넷째 논문(AlpacaEval 2.0 LC)은 길이 편향을 회귀로 걷어내는 법을, 다섯째 논문(Arena-Hard)은 벤치마크 자체의 품질을 재는 메타 지표를 제안한다.
이 이동의 출발점에 숫자 하나가 있다. MT-Bench 논문이 잰 것은 “GPT-4 judge가 사람과 얼마나 일치하는가”가 아니라, 그 옆에 나란히 둔 “사람은 사람과 얼마나 일치하는가“였다. 결과는 GPT-4 judge ~ 사람 일치율이 80%대, 사람~사람 일치율도 딱 그 정도(81%)였다. 이 한 줄이 이후 모든 LLM-as-a-Judge 논쟁의 출발점이다 — “judge가 15~20%를 틀린다”는 비판은, 애초에 사람들 자신도 그 정도는 서로 갈린다는 사실과 함께 읽어야 한다.
이 글은 이 세 번의 이동과 그 사이에서 통계가 한 일을 다룬다. Elo가 왜 Bradley-Terry로 교체됐는지, 길이 편향이 왜 회귀로 잡히는지, “좋은 벤치마크”라는 개념 자체를 어떻게 숫자로 재는지. 판정자(judge)를 통계적으로 더 엄밀하게 다루는 이야기(Prediction-Powered Inference 등)는 #19로 넘긴다.
Background
참조가 없다는 것의 의미
#8에서 다룬 수학·코드 문제는 채점기가 있다. 프로그램을 돌리면 맞았는지 틀렸는지가 결정된다. 하지만 “이 대화 요약을 더 잘 써줘”에는 채점기가 없다 — 좋은 요약은 무한히 많고, 그중 무엇이 “더 나은가”는 정답표로 결정되지 않는다. 이런 구성개념(#1의 construct)을 절대 점수 하나로 조작화하려는 시도(사람 평가자에게 “1~10점을 매겨라”)는 항상 평가자 간 기준이 다르다는 문제에 부딪힌다. A 평가자의 7점과 B 평가자의 7점이 같은 품질이라는 보장이 없다.
그래서 평가는 절대 점수 대신 상대 비교(pairwise comparison)로 방향을 튼다. “이 응답이 저 응답보다 나은가?”는 “이 응답이 몇 점인가?”보다 답하기 쉽다. 절대 척도에서 발생하는 평가자 간 기준 차이가, 비교 질문에서는 상당 부분 상쇄된다. 대신 비교는 다른 문제를 만든다 — 비교 결과들을 모아 하나의 순위·강도 척도로 되돌리려면 통계 모형이 필요하다.
비교를 점수로 바꾸는 두 모형: Elo와 Bradley-Terry
비교 결과의 더미(A가 B를 이겼다, C가 A를 이겼다, …)에서 각 참가자의 “강도”를 추정하는 문제는 오래된 문제다. 체스에서 온 두 가지 표준 해법이 있다.
Elo 레이팅은 체스 연맹이 쓰던 방식이다. 게임이 끝날 때마다 온라인으로 갱신한다.
\[R'_A = R_A + K\big(S_A - E_A\big), \qquad E_A = \frac{1}{1 + 10^{(R_B - R_A)/400}}\]- \(R_A\): A의 현재 레이팅, \(R'_A\): 갱신된 레이팅
- \(S_A\): 실제 결과(승 1, 패 0, 무 0.5)
- \(E_A\): A가 이길 것으로 기대되는 확률(현재 레이팅 차이로 계산)
- \(K\): 한 경기가 레이팅을 얼마나 크게 흔들지 정하는 상수
직관은 단순하다. 예상보다 잘하면(\(S_A > E_A\)) 레이팅이 오르고, 예상보다 못하면 내려간다. 체스 선수는 실력이 시즌마다 변하므로 “최근 경기에 더 큰 가중치”를 주는 이 온라인 방식이 자연스럽다.
문제는 바로 그 온라인 갱신 방식에 있다. 경기를 어떤 순서로 처리하느냐에 따라 최종 레이팅이 달라진다. 비유하자면 성적표를 매길 때 “1월 시험을 먼저 채점하고 그 결과를 반영해 2월 시험 배점을 조정”하는 식으로 누적 계산을 하면, 같은 시험 결과라도 채점 순서를 바꾸면 최종 성적이 달라지는 것과 같다. LLM들은(체스 선수와 달리) 가중치가 고정된 정적인 객체다 — 어제 만든 모델과 오늘 만든 모델은 정확히 같은 파라미터를 갖는다. “최근 것에 가중치를 더 준다”는 Elo의 전제가 애초에 맞지 않는 대상이다.
Bradley-Terry(BT) 모형은 이 정적 가정을 정면으로 받아들인다. 참가자 강도가 시간에 따라 변하지 않는다고 가정하고, 모든 비교 결과를 한 번에(batch) 최대우도추정(MLE)으로 적합한다.
\[P(i \succ j) = \frac{1}{1 + e^{-(\beta_i - \beta_j)}}\]- \(\beta_i, \beta_j\): 모델 \(i\), \(j\)의 잠재 강도(latent strength) 파라미터
- \(P(i \succ j)\): \(i\)가 \(j\)를 이길 확률
- \(\beta_i - \beta_j\)가 클수록 \(i\)가 이길 확률이 1에 가까워지고, 0이면 50대50이다
MLE는 전체 데이터를 한 번에 보고 파라미터를 추정하므로 데이터가 들어온 순서와 무관하다. 그리고 MLE는 점근적 표준오차 이론이 잘 갖춰져 있어 원칙에 맞는 신뢰구간을 낼 수 있다(#15) — Elo는 온라인 갱신값 하나만 내놓을 뿐, 그 값이 얼마나 불확실한지 말해주지 않는다.
이 두 모형의 교체가 이 글 전체를 관통하는 첫 번째 패턴이다: 비교 결과를 모으는 방식(설계)만큼, 그 결과를 집계하는 통계 모형도 평가의 질을 결정한다.
Method
MT-Bench와 LLM-as-a-Judge (Zheng et al., UC Berkeley, NeurIPS 2023 D&B)
이 논문의 진짜 기여는 제목 그대로 “judge를 판정하는 것(judging the judge)”이다. MT-Bench라는 벤치마크를 만든 게 아니라, “GPT-4에게 채점을 맡겨도 되는가?”라는 질문 자체를 검증했다. 비유하면 새로 부임한 재판관이 실제로 공정한지 알아보려고, 그 재판관의 판결을 이미 결론이 알려진 사건들에 다시 적용해보고 인간 배심원단의 판결과 얼마나 일치하는지 재는 “재판관 재판”이다.
MT-Bench의 구성. 80개의 다턴(multi-turn) 질문, 각 2턴, 8개 카테고리(writing, roleplay, extraction, reasoning, math, coding, STEM 지식, 인문·사회 지식) × 카테고리당 10문항. 규모가 작은 것은 타협이 아니라 설계다. 논문은 “다턴 대화 능력과 지시 따르기 능력을 테스트하도록 설계됐고, 흔한 사용 사례를 다루면서도 모델을 변별하는 도전적인 질문에 집중한다”고 밝힌다. 자동으로 대량 수집한 질문 대신, 사람이 8개 카테고리를 정하고 카테고리마다 10문항을 직접 설계했다. 수학·추론 카테고리에는 참조 정답까지 사람이 직접 작성해, 뒤에서 볼 reference-guided 채점을 가능하게 했다. 규모를 포기한 대신 질문의 밀도를 높인 것이다.
채점 방식은 세 가지다. 두 응답 중 하나를 고르는 pairwise comparison, 응답 하나에 1~10점을 매기는 single-answer grading, 그리고 정답이 있는 문제에 한해 참조 답안을 함께 주는 reference-guided grading이다.
핵심 검증 실험: 사람 전문가들이 라벨링한 pairwise 데이터와 GPT-4 judge의 판정을 대조했다.
| 데이터 | GPT-4 judge ~ 사람 일치율 | 사람 ~ 사람 일치율 |
|---|---|---|
| MT-Bench (tie 제외, Setup S2) | 85% | 81% |
| Chatbot Arena (tie 제외, Setup S2) | 87% | (별도 비교표 미제시) |
논문 초록은 이를 뭉뚱그려 “GPT-4 judge는 80%를 넘는 일치율로 사람 평가와 맞아떨어지며, 이는 사람~사람 일치율과 같은 수준”이라고 요약한다. 여기서 눈여겨봐야 할 것은 방향이다 — GPT-4가 사람과 100%가 아니라 80~87%밖에 못 맞춘다는 사실을 “judge가 부정확하다”는 결론으로 곧장 넘어가면 안 된다. 사람 두 명을 데려다 같은 질문을 시켜도 81% 정도밖에 서로 동의하지 못한다. 즉 어느 정도의 불일치는 judge의 결함이 아니라, “어느 답이 더 나은가”라는 질문 자체가 원래 어느 정도는 답이 갈리는 질문이라는 뜻이다. GPT-4가 못 맞추는 나머지는 두 부류로 나뉜다 — 정말 GPT-4가 틀린 경우와, 원래 사람들도 못 맞추는 애매한 경우. 이 둘을 가르는 게 뒤이은 judge 연구 전체의 화두가 됐다(#19).
논문이 직접 지적한 세 가지 편향과 한 가지 한계.
Position bias(위치 편향). 같은 두 응답을 순서만 바꿔 두 번 물었을 때 판정이 바뀌는지 측정했다.
| Judge | 양쪽 순서 모두 일관된 판정 비율 | 1번 위치 응답 선호 비율 | 2번 위치 응답 선호 비율 |
|---|---|---|---|
| GPT-4 | 65.0% | 30.0% | 5.0% |
| GPT-3.5 | 46.2% | 50.0% | 1.2% |
| Claude-v1 | 23.8% | 75.0% | 0.0% |
세 judge 모두 강한 위치 편향을 보이고, 대체로 먼저 제시된 응답을 선호한다. GPT-4가 그나마 가장 안정적이지만, 그래도 35%의 경우에는 순서만 바꿔도 판정이 뒤집힌다. Claude-v1은 넷 중 셋이 순서에 흔들린다 — 사실상 “누가 먼저 제출했나”를 채점하는 셈이다.
Verbosity bias(장문 선호). 저자들은 “반복 리스트(repetitive list)” 공격을 설계했다. GPT-4를 시켜 원래 답변의 리스트 항목을 새 정보 없이 다시 말만 바꿔 표현한 뒤, 그 재표현 리스트를 원본 리스트 앞에 덧붙였다 — 내용은 그대로에 길이만 부풀린 것이다.
| Judge | 이 공격에 속아 더 긴(내용은 동일한) 답을 고른 비율 |
|---|---|
| GPT-4 | 8.7% |
| GPT-3.5 | 91.3% |
| Claude-v1 | 91.3% |
GPT-4는 이 뻔한 공격을 대부분 방어하지만, GPT-3.5와 Claude-v1은 열에 아홉을 속는다. 내용이 하나도 바뀌지 않았는데도 길다는 이유만으로 이긴다.
Self-enhancement bias(자기 계열 선호). GPT-4는 자기 자신이 쓴 답을 사람이 매긴 것보다 10%p 더 높은 승률로 우대했고, Claude-v1은 25%p 더 높게 우대했다. 다만 저자들은 데이터가 적고 차이가 작아 이 결과만으로 “자기 계열 편향이 실제로 있다”고 단정하기는 어렵다고 스스로 덧붙인다 — 판정에는 신중하되, 가능성 자체는 짚어둘 필요가 있다는 태도다.
수학·추론 능력의 한계. judge가 수학 문제를 스스로 풀 능력이 부족하면, 프롬프트에 슬쩍 끼워 넣은 오답에 낚여 틀린 답을 정답이라 판정한다. 10개 수학 문제, 20개 테스트 케이스로 측정한 실패 건수는 다음과 같다.
| 채점 방식 | 실패 건수 (20건 중) |
|---|---|
| 기본 프롬프트 | 14 |
| Chain-of-Thought | 6 |
| Reference-guided(정답 제공) | 3 |
judge에게 스스로 문제를 풀게 하지 않고 정답을 미리 쥐어주는 reference-guided 방식이 가장 효과적이다. judge의 부족한 능력을 요구하는 대신, 참조라는 목발을 쥐어주는 것이다.
완화책 네 가지.
- 위치 스왑: 같은 쌍을 양쪽 순서로 두 번 물어, 두 번 다 이겨야만 승리로 인정한다(하나라도 어긋나면 무승부 처리). 위치 편향의 영향력에 상한을 씌우는 보수적인 처방이다.
- few-shot judge: 판정 예시를 프롬프트에 몇 개 넣어주면 GPT-4의 위치 일관성이 65.0%에서 77.5%로 12.5%p 올랐다 — 다만 API 호출 비용이 4배로 뛴다.
- chain-of-thought judge: judge가 먼저 스스로 답을 풀거나 추론을 적어본 뒤 판정하게 한다. 수학 실패 건수를 14/20에서 6/20으로 줄였지만, 여전히 프롬프트 속 오답에 낚이는 사례가 남는다.
- reference-guided judge: 정답이 있는 문제(수학 등)에는 참조 답안을 함께 준다. 앞서 봤듯 실패를 3/20까지 줄이는, 네 방법 중 가장 효과적인 처방이다.
Chatbot Arena (Chiang et al., UC Berkeley / LMSYS, ICML 2024)
LLM judge도 결국 모델 하나의 취향이다. Chatbot Arena는 판정자를 다시 사람으로 되돌리되, 한 사람의 절대 점수 대신 익명 다수의 상대 비교를 쓴다. 사용자가 프롬프트를 입력하면 무작위로 뽑힌 두 모델이 익명으로 답하고, 사용자는 어느 쪽이 나은지 투표한 뒤에야 모델 이름이 공개된다. 비유하자면 선거와 비슷하다 — 개별 유권자의 판단은 거칠어도, 무기명 투표를 대량으로 모으고 나면 개인의 편향은 상쇄되고 집단의 선호가 드러난다(단, 유권자 구성이 대표성을 갖는다는 전제하에서다 — 이 전제가 얼마나 흔들리는지는 뒤에서 다룬다).
규모. 2023년 4월부터 2024년 1월까지 약 9만 명의 사용자로부터 24만 표 이상을 모았고, 50개 이상의 모델을 비교 대상에 올렸다.
Elo에서 Bradley-Terry로. 초기 Arena는 체스에서 온 온라인 Elo를 그대로 썼다. 그런데 Background에서 짚은 문제가 그대로 드러났다 — 같은 투표 데이터를 다른 순서로 재생하면 최종 레이팅이 달라졌다. 저자들은 안정성을 확보하려고 \(K\) 계수를 조정하려 했지만, 최근 표를 더 반영해 새 모델이 빠르게 순위에 반영되게 하려는 목적과, 값을 안정시키려는 목적이 서로 충돌했다. 부트스트랩으로 신뢰구간을 내려는 시도도 있었지만, 같은 표본을 재사용해 구간이 필요 이상으로 넓어지는 부작용이 있었다. 결국 팀은 “BT 계수가 통계적 추정 목적에 더 적합하기 때문”이라는 이유로 온라인 Elo 대신 Bradley-Terry MLE로 전환했다.
\[P(i \succ j) = \frac{1}{1 + e^{-(\beta_i - \beta_j)}}\]기호는 Background와 동일하다 — \(\beta_i\)는 모델 \(i\)의 잠재 강도, 차이가 클수록 승률이 1에 가까워진다. 모델은(체스 선수와 달리) 가중치가 고정돼 있으니 “정적 강도” 가정이 정확히 들어맞는다. 신뢰구간은 피벗 부트스트랩(pivot bootstrap) 또는 샌드위치(sandwich) 방식의 로버스트 표준오차 두 가지로 계산했고, 시뮬레이션 결과 표본이 클 때는 샌드위치 방식이 더 안정적이고 구간이 좁았다.
active sampling(능동 샘플링). 다음 매치에 어떤 모델 쌍을 붙일지 무작위로 고르지 않고, 신뢰구간 폭을 가장 많이 줄여줄 쌍에 비례해서 고른다. 실력이 비슷해 아직 승부가 불확실한 쌍일수록 정보량이 크다는 직관이다. 논문이 보고한 효율:
| 목표 정밀도 | 무작위 샘플링에 필요한 표본 수 | 능동 샘플링에 필요한 표본 수 | 절감률 |
|---|---|---|---|
| 0.2 | 6,800 | 4,400 | 약 35% |
| 0.3 | 17,200 | 16,400 | 약 5% |
정밀도 요구가 빡빡할수록(0.2) 능동 샘플링의 이득이 크고, 느슨해질수록(0.3) 이미 무작위로도 충분히 커버되어 이득이 줄어든다.
한계. 논문이 스스로 인정하는 세 가지다.
- 투표자 구성 편향: Arena 사용자는 “LLM을 다루는 애호가·연구자”에 가깝고, 실제 프로덕션 사용자군과는 다르다.
- 프롬프트 분포 편향: 어떤 질문이 올라오는지는 전적으로 사용자가 무엇을 물어보고 싶어 하느냐에 달렸다. 안전성 관련 프롬프트 등은 상대적으로 적게 나타난다.
- 평가 범위: 이 논문 버전은 도움됨(helpfulness) 위주이고 안전성은 다루지 않는다.
여기에 하나 더 덧붙일 게 있다 — 스타일(길이·마크다운 서식)이 능력과 뒤섞인다는 문제다. 이 arXiv 버전 자체에는 이 논의가 없지만(스타일 통제는 이후 Arena 팀의 별도 작업으로 도입됐다), 바로 다음 절의 AlpacaEval 2.0 LC가 같은 문제를 정면으로 다룬다.
AlpacaEval 2.0 Length-Controlled (Dubois et al., Stanford, COLM 2024)
MT-Bench의 verbosity bias 실험이 보여준 문제가 AlpacaEval에서는 벤치마크 전체를 갉아먹는 수준으로 나타났다. GPT-4 judge가 긴 답을 체계적으로 선호하다 보니, AlpacaEval의 승률이 사실상 “누가 더 길게 썼나”를 재는 지표로 변질됐다. 이 논문의 해법은 명확하다 — 길이 편향을 걸러내지 못하겠으면, 회귀로 통계적으로 뜯어낸다.
모형. 모델 \(m\)의 응답이 베이스라인 \(b\)의 응답을 이길 확률을 로지스틱 회귀로 적합한다.
\[q(y=1 \mid m, b, x) = \text{logistic}\Big(\theta_m - \theta_b + \phi_{m,b} \cdot \tanh(\Delta_{\text{len}}) + (\psi_m - \psi_b)\gamma_x\Big)\]- \(\theta_m - \theta_b\): 길이와 무관한, 모델 \(m\)의 순수한 실력 차이 — 이게 우리가 진짜 알고 싶은 값이다.
- \(\Delta_{\text{len}}\): 두 응답의 길이 차이를 정규화한 값, \(\tanh\)로 \(-1\)부터 1 사이로 눌러 담는다. 극단적으로 긴 이상치 하나가 회귀 전체를 흔들지 않게 하려는 장치다.
- \(\phi_{m,b}\): 이 모델 쌍이 길이 차이에 얼마나 민감하게 반응하는지의 계수 — 이 항이 바로 “verbosity bias”를 숫자로 떼어낸 것이다.
- \(\gamma_x\): 문항 \(x\) 고유의 난이도(모든 모델이 공유), \(\psi_m\): 모델 \(m\)이 그 난이도에 얼마나 민감한지.
핵심 트릭은 적합 후에 길이 항을 꺼버리는 것이다. 데이터에는 길이 편향이 낀 채로 있는 그대로 회귀를 적합하되, 예측할 때는 \(\Delta_{\text{len}} = 0\)으로 고정한다 — “두 응답의 길이가 완전히 같았다면 승률이 얼마였을까?”라는 반사실적(counterfactual) 질문에 답하는 것이다.
\[\text{winrate}^{LC}(m, b) = 100 \cdot \mathbb{E}_x\Big[\text{logistic}\big(\theta_m - \theta_b + (\psi_m - \psi_b)\gamma_x\big)\Big]\]키를 재는데 신발 굽 높이가 자꾸 끼어드는 상황을 생각하면 된다. 굽 높이를 없앨 수는 없으니(응답을 강제로 같은 길이로 자를 수는 없다), 대신 “굽이 0이라면”을 회귀로 계산해서 순수한 키 차이만 남긴다. 이 회귀는 AlpacaEval 리더보드의 120개 이상 모델, 805개 지시문 데이터로 적합했다.
결과. Chatbot Arena 순위와의 스피어만 상관이 0.94 → 0.98로 올랐다. 그리고 길이 조작 공격에 대한 강건성도 직접 검증했다 — 베이스라인 모델(gpt4_1106_preview)에 “장황하게 답하라”는 프롬프트로 조작을 가하면:
| 지표 | 표준 win rate | LC win rate |
|---|---|---|
| 관찰된 승률 범위 | 22.9~64.3% (진폭 41.4%p) | 41.9~51.6% (진폭 9.7%p) |
| 정규화 표준편차 | 25% | 10% |
표준 AlpacaEval은 프롬프트 하나로 승률을 두 배 넘게 흔들 수 있었지만, LC는 진폭을 4분의 1 수준으로 줄인다. 완벽하진 않지만(여전히 9.7%p 흔들린다) 극적인 개선이다.
이 논문이 이 시리즈에서 갖는 의미는 명확하다. 지표의 편향은 손 놓고 있을 수밖에 없는 게 아니라, 그 편향의 원인을 회귀 항으로 모형화해서 통계적으로 걷어낼 수 있다. #4가 불균형 데이터에서 accuracy 대신 PR-AUC를 쓰자고 한 것과 같은 정신이다 — 지표가 잘못됐다고 버리는 대신, 무엇이 지표를 왜곡하는지 알아내 그 원인을 통계로 분리해낸다.
Arena-Hard / BenchBuilder (Li et al., UC Berkeley / LMSYS, arXiv 2406.11939)
Chatbot Arena는 매일 수천 표가 쌓이는 살아있는 로그다. Arena-Hard는 여기서 “어려운” 프롬프트를 자동으로 골라내는 파이프라인(BenchBuilder)을 만들고, 그렇게 골라낸 500개 프롬프트를 GPT-4 계열 judge로 자동 채점하는 벤치마크(Arena-Hard-Auto)를 내놓는다. 그런데 이 논문의 진짜 값어치는 벤치마크 그 자체가 아니라, “좋은 벤치마크란 무엇인가”를 정량화한 메타 지표 두 개에 있다.
BenchBuilder 파이프라인. Chatbot Arena에서 모은 약 20만 개의 사용자 쿼리를 BERTopic으로 토픽 모델링해 4,000개 이상의 클러스터로 묶는다. 각 클러스터를 구체성(specificity)·도메인 지식·복잡성·문제 해결·창의성·기술적 정확성·실세계 적용성이라는 7개 기준으로 채점하고, 평균 점수가 7점 만점에 6점 이상인 클러스터 250개만 남긴다. 그 250개 클러스터에서 각각 2개씩 프롬프트를 뽑아 총 500개 — 이것이 Arena-Hard-Auto v0.1이다. 채점 자체는 GPT-4 계열 judge가 각 모델의 응답을 고정된 베이스라인과 pairwise로 비교하고, Bradley-Terry MLE와 부트스트랩 신뢰구간으로 집계한다 — 앞서 Chatbot Arena가 정립한 바로 그 통계 기계를 그대로 재사용한다.
메타 지표 둘 — 이 논문의 핵심 기여.
- separability(변별력): 모델 쌍 중 신뢰구간이 서로 겹치지 않는, 즉 실제로 “이 모델이 저 모델보다 낫다”고 자신 있게 말할 수 있는 쌍의 비율.
- agreement(합치도): separability가 확보된 쌍들 중에서, 그 우열 순서가 Chatbot Arena의 순위와 같은 방향인 비율.
두 지표 모두 Chatbot Arena 상위 20개 모델을 기준으로 계산했다.
| 벤치마크 | separability | agreement |
|---|---|---|
| Arena-Hard-Auto | 87.4% | 90.8% |
| AlpacaEval 2.0 LC | 83.2% | 82.5% |
| MT-Bench | 22.6% | 26.6% |
MT-Bench의 separability가 22.6%라는 것은, 모델 쌍의 77.4%는 신뢰구간이 겹쳐서 “누가 더 낫다”고 말할 근거가 없다는 뜻이다. 문항이 80개뿐이라 통계적 잡음이 크기 때문이다(이 계산은 Experiments 절에서 직접 손으로 재현한다). Arena-Hard-Auto는 같은 500문항으로 이 비율을 87.4%까지 끌어올렸고, 순위가 Arena와 어긋나는 경우도 크게 줄였다.
의의. 이건 “벤치마크를 평가하는 벤치마크”다. #2가 지적한 구성타당도 문제 — “이 벤치가 정말 우리가 재고 싶은 걸 재고 있나?” — 를 이 논문은 처음으로 숫자 두 개(separability, agreement)로 정량화했다. 그리고 그 숫자를 만드는 재료가 바로 #15에서 다룰 신뢰구간이다. 신뢰구간이 겹치는지 안 겹치는지가 곧 “벤치마크 설계가 좋은가”를 판정하는 잣대로 쓰인 것이다 — 신뢰구간이 개별 모델의 불확실성을 표현하는 도구에서, 벤치마크 자체의 품질을 재는 도구로 격상된 셈이다.
비용은 논문 초록에 $20으로 적혀 있고, 이후 공개된 LMSYS 블로그의 비교표에는 $25로 언급된다(채점에 쓴 모델이 바뀐 데 따른 차이로 보인다) — 어느 쪽이든 사람 크라우드를 모으는 Arena 운영 비용에 비하면 무시할 만한 수준이다.
후속 연구. WildBench(Lin et al., AI2, ICLR 2025, arXiv 2406.04770)는 실제 사용자 로그 100만 건에서 1,024개 과제를 추려, 과제별 체크리스트를 곁들인 WB-Reward(세분화된 5단계 pairwise)와 WB-Score(단일 응답 채점) 두 지표를 제안한다. 특히 승자 응답이 패자보다 \(K\)자(기본값 500자) 이상 길면 그 판정을 강제로 무승부로 깎아버리는 길이 페널티를 걸어 verbosity bias를 규칙으로 원천 차단한다. 저자들은 Arena와의 상관이 WB-Reward 0.98, WB-Score 0.95로, Arena-Hard(0.91)와 AlpacaEval 2.0 LC(0.89)보다 높다고 보고한다. Arena-Hard-Auto 자체도 이후 v2.0으로 이어지며, 같은 separability·agreement 잣대로 스스로를 계속 검증하는 문화를 만들었다.
Experiments
벤치마크 한눈에 비교
| 벤치마크 | 판정 주체 | 문항 수 | 집계 방법 | separability | Arena와의 상관 |
|---|---|---|---|---|---|
| MT-Bench | GPT-4 judge (검증용 사람 대조 포함) | 80문항 × 2턴 | 1~10점 평균 / pairwise 승·무·패 | 22.6% | 스피어만 89.9% |
| Chatbot Arena | 사람 크라우드, 익명 pairwise | 24만+ 표, 50+ 모델 | Bradley-Terry MLE + 부트스트랩 CI | (기준 그 자체) | (기준 그 자체) |
| AlpacaEval 2.0 LC | GPT-4 judge, 베이스라인 대비 자동 | 805문항 | 길이 통제 로지스틱 회귀 승률 | 83.2% | 스피어만 0.98(자체 실험) / 91.9%(Arena-Hard 논문의 독립 재검증) |
| Arena-Hard-Auto | GPT-4 계열 judge, 베이스라인 대비 자동 | 500문항 | pairwise + Bradley-Terry MLE + 부트스트랩 CI | 87.4% | agreement 90.8% / 스피어만 93.2% |
AlpacaEval 2.0 LC의 상관 수치가 두 개 나오는 이유를 짚어둔다 — 0.98은 저자들이 자체 리더보드 전체 모델로 계산한 값이고, 91.9%는 Arena-Hard 논문이 Arena 상위 20개 모델만 따로 떼어 독립적으로 재검증한 값이다. 검증 대상 모델 집합이 다르면 상관계수도 달라진다 — 서로 다른 논문의 숫자를 나란히 놓을 때 흔히 놓치는 함정이다.
반례 — n=80에서 승률의 표준오차를 직접 계산해보기
MT-Bench는 80문항뿐이다. 이 좁은 표본이 통계적으로 얼마나 위험한지 직접 계산해보자. 두 모델을 80문항으로 pairwise 비교했다고 하자. 관찰된 승률 \(\hat{p}\)의 표준오차는 이항분포의 정규근사로 다음과 같다.
\[\text{SE}(\hat{p}) = \sqrt{\frac{p(1-p)}{n}}, \qquad n = 80\]| 가정 승률 \(p\) | \(\text{SE}(\hat{p})\) | 95% 신뢰구간 반폭 (\(1.96 \times \text{SE}\)) |
|---|---|---|
| 0.50 | 5.59%p | 11.0%p |
| 0.60 | 5.48%p | 10.7%p |
| 0.70 | 5.12%p | 10.0%p |
| 0.90 | 3.35%p | 6.6%p |
승률이 50대50에 가까울수록 표준오차가 가장 크고, 신뢰구간 반폭이 11%p에 달한다. 즉 80문항만으로는 두 모델의 승률 차이가 최소 10%p는 벌어져야 “우연이 아니다”라고 말할 자격이 생긴다. 그런데 MT-Bench 리더보드는 흔히 1~10점 척도에서 8.4점과 8.3점처럼 0.1점 차이로 모델을 줄 세운다. 이 0.1점 차이는 방금 계산한 잡음의 범위 안에 통째로 파묻힌다. 방금 손으로 재현한 이 숫자가, Arena-Hard 논문이 측정한 “MT-Bench separability 22.6%”의 다른 표현이다 — 모델 쌍의 77.4%가 신뢰구간이 겹쳐서 사실상 구별이 안 된다는 그 결과다. 표본을 몇 개나 더 모아야 이 잡음을 원하는 수준까지 줄일 수 있는지는 #17에서 검정력 계산으로 정면으로 다룬다.
위치 편향의 크기와 스왑의 효과
앞서 Method에서 본 대로 GPT-4의 위치 일관성은 65.0%다. 뒤집어 말하면 35%의 경우, 같은 두 응답이라도 어느 쪽을 먼저 보여주느냐에 따라 판정이 뒤집힌다. 위치 스왑 규칙(양쪽 순서 모두 물어 두 번 다 이겨야만 승리 인정, 하나라도 어긋나면 무승부)을 적용하면 이 35%의 불일치 케이스는 승리가 아니라 자동으로 무승부로 처리된다 — 편향이 승패를 완전히 결정하지 못하게 상한을 씌우는 방식이다. 다만 논문은 이 스왑 규칙을 적용했을 때 최종 일치율이 정확히 몇 %p 개선되는지는 별도로 표로 제시하지 않으므로, 그 정확한 개선폭은 추측하지 않고 “무승부로 흡수해 편향의 영향력에 상한을 씌운다”는 설계 의도까지만 서술한다. 반면 few-shot judge의 효과는 논문이 직접 수치를 준다 — 65.0%에서 77.5%로, 12.5%p의 뚜렷한 개선이다. 다만 API 호출이 4배로 늘어난다는 비용이 붙는다.
통계 요약
| 기법 | 정의 | 이 글에서 쓰인 곳 | 함정 |
|---|---|---|---|
| Elo 온라인 갱신 | \(R'=R+K(S-E)\), 경기마다 순차 갱신 | 초기 Chatbot Arena | 순서 의존적 — 같은 데이터를 다른 순서로 돌리면 다른 값이 나온다 |
| Bradley-Terry MLE | \(P(i \succ j)=\dfrac{1}{1+e^{-(\beta_i-\beta_j)}}\), 전체 데이터를 한 번에 적합 | Chatbot Arena, Arena-Hard-Auto | 참가자 강도가 정적이라는 가정이 필요 — LLM처럼 가중치가 고정된 대상에는 맞지만, 시간에 따라 실력이 변하는 대상에는 안 맞는다 |
| 부트스트랩 신뢰구간 | 재표본으로 추정량의 변동폭을 근사 | Arena·Arena-Hard의 CI, separability 계산 | 재표본 방식(피벗 vs 샌드위치)에 따라 구간 폭이 달라진다 → #15 |
| 길이 통제 로지스틱 회귀 | \(\tanh\)로 정규화한 길이차 항을 넣고, 예측 시 0으로 고정 | AlpacaEval 2.0 LC | 길이 외의 다른 교란 요인(서식·구조 등)은 여전히 못 잡는다 — WildBench가 규칙으로 별도 보완 |
| separability / agreement | 신뢰구간 비겹침 비율 / 상위 기준과의 순위 일치 비율 | Arena-Hard의 벤치마크 품질 검증 | 비교 기준(Arena)이 그 자체로 편향되면, 메타 지표도 그 편향을 그대로 물려받는다 |
| 위치 스왑(swap) | 양쪽 순서 모두 승리해야 승 인정 | MT-Bench 편향 완화 | 무승부 비율이 과도하게 늘어나 유효 표본이 줄어드는 부작용 |
Conclusion
개방형 평가의 역사를 한 줄로 요약하면 “참조가 없으면 비교로 간다”의 역사다. 절대 점수(BLEU 류) → LLM judge의 pairwise 판정(MT-Bench) → 사람 크라우드의 대규모 pairwise 투표(Chatbot Arena), 그리고 그 비교 결과를 모으는 통계 모형도 온라인 Elo에서 정적 Bradley-Terry로 옮겨갔다.
그런데 비교로 넘어간다고 문제가 사라지지 않는다. 이제는 판정자 자신의 편향이 새로운 무관 분산(nuisance variance)이 된다 — 순서(position), 길이(verbosity), 자기 계열(self-enhancement). 이 글에서 본 처방은 세 갈래다.
- 설계로 상쇄한다: 위치 스왑처럼, 편향이 만들어낼 수 있는 최악의 결과에 미리 상한을 씌운다.
- 통계로 보정한다: AlpacaEval 2.0 LC처럼, 편향의 원인을 회귀 항으로 명시적으로 모형화해 반사실적으로 제거한다. 지표의 결함은 버릴 대상이 아니라 #4처럼 분리해낼 대상이다.
- 판정자를 통계적으로 다룬다: judge가 완벽하지 않다는 걸 전제로, 그 불확실성 자체를 신뢰구간과 편향 보정 추정량 안에 담는다. 이 갈래는 #19에서 Prediction-Powered Inference로 이어받는다.
그리고 Arena-Hard가 남긴 메타적인 교훈 하나 — “이 벤치마크가 좋은가”라는 질문조차 신뢰구간과 상관계수로 답할 수 있다. #2의 구성타당도가 추상적인 우려에 머물지 않고, separability와 agreement라는 두 숫자로 검증 가능한 주장이 된 것이다. MT-Bench가 80문항으로 시작한 대화가, 결국 “벤치마크를 검증하는 벤치마크”에까지 이르렀다.
참고 문헌
- Zheng et al. (UC Berkeley), 2023. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (NeurIPS 2023 Datasets and Benchmarks Track).
- Chiang et al. (UC Berkeley / LMSYS), 2024. Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference (ICML 2024).
- Dubois et al. (Stanford), 2024. Length-Controlled AlpacaEval: A Simple Way to Debias Automatic Evaluators (COLM 2024).
- Li et al. (UC Berkeley / LMSYS), 2024. From Crowdsourced Data to High-Quality Benchmarks: Arena-Hard and BenchBuilder Pipeline.
- Lin et al. (AI2), 2024. WildBench: Benchmarking LLMs with Challenging Tasks from Real Users in the Wild (ICLR 2025).
- LMSYS Org, 2023. Chatbot Arena: New models & Elo system update.
- LMSYS Org, 2024. From Live Data to High-Quality Benchmarks: The Arena-Hard Pipeline.
LLM 평가 체계 시리즈
이 글은 LLM 평가 체계 시리즈의 아홉 번째 글이다.
1부. 평가란 무엇인가
- 측정으로서의 평가 — 구성개념·조작화·타당도·신뢰도
- 벤치마크는 무엇을 재고 있나 — 벤치 445편 구성타당도 리뷰
2부. 무엇을 숫자로 만드나 — 평가 metric
- 척도와 허용 연산 — Likert 평균을 내도 되는가
- 분류 지표 — accuracy의 함정부터 PR-AUC까지
- 생성 지표와 그 타당도 — BLEU에서 COMET까지
- 객관식 평가는 왜 흔들리나 — 위치 편향과 포맷 민감도
3부. LLM 벤치마크 지형도
- 지식과 추론 — MMLU 계열의 흥망 — MMLU·GPQA·BBH·HELM
- 검증 가능한 도메인 — 수학과 코드 — GSM8K·MATH·HumanEval·SWE-bench
- (현재 글) 개방형 대화 — MT-Bench에서 Arena까지 — judge 기반 벤치의 등장
- 능력의 다른 축 — 지시따르기·긴 문맥·사실성
- 한국어 벤치마크 — 번역이 아니라 원산, 그리고 문화 타당도
4부. 사람이 읽는다 — 정성평가와 일치도
- 사람 평가 설계 — 루브릭·Likert·pairwise·BWS
- 우연을 빼다 — κ 계열 — Cohen·Fleiss·weighted·Krippendorff
- κ의 역설 — 일치율 90%인데 κ가 0.21
5부. 차이는 진짜인가 — 정량평가의 통계
- 점수는 추정치다 — 이항비율 신뢰구간과 Wald의 실패
- 차이는 유의한가 — paired bootstrap·순열검정·McNemar
- 몇 개를 재야 하나 — 검정력·표본크기·다중비교
- LLM eval의 통계 실무 — 클러스터 SE·IQM·분산 분해
6부. 신뢰할 수 있는 평가 체계
- judge를 통계로 다루기 — 편향·Bradley-Terry·PPI
- 오염·재현성·효율 — 오염 검정·harness·IRT
- 안전 평가의 통계와 체계 설계 — 희귀사건·calibration·체크리스트
본 시리즈는 21편으로 구성된다.
Enjoy Reading This Article?
Here are some more articles you might like to read next: