지식과 추론 — MMLU 계열의 흥망

Created on August 24, 2026

2026   ·   evaluation   benchmark   mmlu   gpqa   big-bench   helm   paper   ·   paper

Measuring Massive Multitask Language Understanding (Hendrycks et al., UC Berkeley, ICLR 2021)

Introduction

#1에서 평가를 측정으로 봤다. 재고 싶은 것(구성개념, construct)이 있고, 그것을 실제로 잴 수 있는 절차(조작적 정의, operationalization)로 바꾸는 순간 둘 사이에 간극이 생긴다. #2는 그 간극이 벌어지는 두 가지 방식을 구분했다.

  1. 구성개념 부족(construct underrepresentation): 재려는 개념보다 조작화가 좁다. 재고 싶은 것의 일부만 재고 있다.
  2. 구성개념 무관 분산(construct-irrelevant variance): 점수가 재려는 개념과 무관한 이유로 흔들린다. 프롬프트 포맷, 정답지 오류, 운 좋은 추측 같은 것들이다.

이번 글은 이 두 개념을 들고 LLM 평가에서 가장 오래, 가장 널리 쓰인 벤치마크 계보를 따라간다 — MMLU다. 2021년 등장한 이 57과목 객관식 시험은 몇 년 만에 모델 카드의 첫 줄을 차지하는 “사실상의 표준”이 됐고, 동시에 그 표준이 재는 것이 정확히 무엇인지에 대한 의심도 함께 쌓였다. MMLU가 왜 표준이 됐는지, 어디서 깨졌는지, 그리고 그 깨진 자리를 GPQA·BIG-bench·HELM이 각각 어떤 방식으로 고쳤는지를 하나의 서사로 엮는다.

결론을 먼저 적는다. MMLU가 표준이 될 수 있었던 이유(넓은 커버리지, 쉬운 채점, few-shot 친화성)는 정확히 MMLU가 깨진 이유이기도 하다. “대규모 다중작업 언어 이해”라는 구성개념은 너무 넓어서, 그 조작화가 어디서 헐거워지는지 아무도 정확히 짚을 수 없었다. 후속 벤치는 이 문제를 두 갈래로 나눠 풀었다 — 난이도를 올려 천장을 다시 세우거나(GPQA, BIG-Bench Hard), 측정 자체를 정교하게 다듬거나(MMLU-Redux, MMLU-Pro, HELM). 이 둘은 서로 다른 병을 고치는 서로 다른 처방이라는 게 이 글의 핵심 주장이다.

객관식 문항이 프롬프트 순서·포맷에 얼마나 민감한지는 이미 #6에서 다뤘다. 이 글은 그것과 다른 층위를 본다 — 같은 포맷을 고정해도, 애초에 무엇을 묻는 문항을 얼마나 넓게/좁게 모았는지, 그 정답지가 얼마나 믿을 만한지의 문제다. 포맷의 문제와 내용의 문제는 둘 다 구성개념 무관 분산을 만들지만 원천이 다르다.

Background

구성개념 하나, 조작화 여러 개

“지식”이나 “추론 능력”은 손에 잡히지 않는다. 사람 뇌 속에 있는 것을 직접 열어볼 수 없으니, 우리는 대신 관찰 가능한 대리 지표(proxy)를 설계한다 — 시험 문제를 풀게 하고 정답률을 센다. 이 대리 지표가 얼마나 원래 구성개념을 잘 대표하느냐가 구성타당도(construct validity)다.

문제는 같은 구성개념도 조작화하는 방법이 여러 가지라는 점이다. “지식”을 재는 방법만 해도 다음처럼 갈린다.

조작화 예 장점 대가
4지선다 객관식 MMLU 채점이 결정적(exact match), 비용이 거의 0 추측으로 바닥 점수를 확보, 정답지 오류가 곧바로 점수 오류가 됨
단답형 SimpleQA 추측 성공률이 낮음 채점에 정규화·판정 로직 필요
서술형 에세이 채점 표현력·응용력까지 봄 judge가 필요, judge 자체가 새 잡음원
코드/증명 실행 HumanEval 채점이 프로그램이라 완전히 객관적 “지식”이 아니라 “검증 가능한 태스크 수행”으로 구성개념이 좁아짐 (→ #8)

이 글에서 다루는 벤치마크는 전부 첫 번째 줄, 즉 다지선다 객관식을 골랐다. 채점이 싸고 결정적이기 때문이다. 그런데 바로 그 선택이 이 벤치마크들의 흥망을 관통하는 하나의 실이 된다.

다지선다의 바닥 — 추측이라는 구성개념 무관 분산

\(n\)지선다 문항에서 아무 지식 없이 무작위로 찍었을 때 정답 확률은 다음과 같다.

\[P(\text{correct} \mid \text{random guess}) = \frac{1}{n}\]

\(n\)이 4면 바닥이 25%, \(n\)이 10이면 바닥이 10%다. 이 바닥은 모델의 지식과 무관하게 항상 깔려 있는 점수이므로, 정의상 구성개념 무관 분산이다. 문항이 조금이라도 소거법에 걸리면(예: 선택지 하나가 명백히 말이 안 됨) 실제 바닥은 더 올라간다. MMLU-Pro가 선택지를 4개에서 10개로 늘린 이유 중 하나가 바로 이 바닥을 깎아내리는 것이다 — 뒤에서 자세히 본다.

이 글에서 쓸 두 축

각 벤치마크를 다음 네 단계로 해부한다.

  1. 어떤 구성개념을 잡았나 — 무엇을 재려 했는가.
  2. 어떻게 조작화했나 — 문항을 어떻게 모으고 채점했는가.
  3. 어디서 깨졌나 — 구성개념 부족인가, 구성개념 무관 분산인가, 혹은 둘 다인가.
  4. 후속 벤치가 무엇을 고쳤나 — 같은 구성개념을 더 좁혔는가, 잡음을 줄였는가.

Method

MMLU — 사실상의 표준이 된 벤치 (Hendrycks et al. 2021)

구성개념: “대규모 다중작업 언어 이해(Massive Multitask Language Understanding)”. 이름부터 구성개념이 넓다는 것을 숨기지 않는다 — 세상의 거의 모든 지식 영역을 한 번에 재겠다는 선언이다.

조작화: STEM, 인문학, 사회과학, 기타 전문 분야를 아우르는 57개 과목, 총 15,908문항(테스트 14,079문항, 검증 1,540문항, few-shot 개발용 과목당 5문항)의 4지선다 객관식이다. 결정적인 설계 선택은 문항을 새로 만들지 않았다는 점이다 — 초등 수학부터 미국사, 법학, 의학, 세계종교까지 기존 연습 시험·자격시험·교재에서 문항을 그대로 가져왔다. 크라우드워커가 새로 작성한 문항이 아니라, 이미 검증된 실제 시험 문제라는 뜻이다.

왜 사실상의 표준이 됐나: 세 가지 조건이 동시에 맞아떨어졌다.

  • 폭넓은 커버리지: 57과목이니 어떤 모델이든 최소 몇 과목에서는 약점이 드러난다. 단일 도메인 벤치보다 “종합적인 능력”을 주장하기 좋았다.
  • 채점의 용이성: 4지선다는 exact-match로 채점된다. judge도, 사람 평가자도 필요 없다. 비용이 사실상 0에 가깝다.
  • few-shot 친화성: 파인튜닝 없이 프롬프트에 몇 개의 예시만 넣으면 바로 측정할 수 있다. GPT-3 시대에 갓 부상한 in-context learning과 정확히 궁합이 맞았다.

발표 당시 가장 큰 GPT-3(175B)는 무작위 추측보다 약 20%p 높은 평균 정확도(4지선다 무작위 기준선 25% 대비 약 44~45%)를 기록했다. 반면 벤치마크 저자들이 설정한 인간 전문가 기준선은 89.8%였다 — 당시로서는 아득한 격차였다. 이 격차가 이후 3년의 프론티어 경쟁에서 극적으로 좁혀진다. GPT-4(2023.3)가 86.4%, 그리고 Gemini Ultra(2023.12)가 90.04%로 처음 인간 전문가 기준선을 넘어섰다.

그 대가: 종합병원을 하나 지어놓고 “이 병원 하나로 모든 질병을 진단한다”고 말하는 셈이다. 넓게 펼쳐놓은 만큼, 정작 어느 과가 부실한지 짚어내기가 어렵다. 게다가 문항을 새로 만들지 않고 기존 시험지에서 가져왔기 때문에, 원 출처의 오탈자·모호성·시대에 뒤떨어진 정답까지 그대로 딸려 왔다 — 이게 다음 절의 씨앗이다.

MMLU가 깨진 지점 — 정답지 자체가 흔들린다

MMLU의 첫 균열은 포맷이 아니라 내용에서 났다. 문항 하나하나를 사람이 다시 읽어보니, 정답으로 표시된 선택지가 틀렸거나, 여러 선택지가 동시에 맞거나, 질문 자체가 무엇을 묻는지 모호한 경우가 적지 않았다.

이건 #6이 다룬 “같은 문항을 순서만 바꿔도 정답률이 흔들린다”는 문제와 다른 층위다. 저건 포맷을 바꾸면 점수가 바뀌는 문제고, 이건 문항 자체가 잘못돼 있어 정답을 맞혀도 오답 처리되는 문제다. 둘 다 모델의 실제 지식과 무관하게 점수를 흔든다는 점에서 구성개념 무관 분산이지만, 원천이 완전히 다르다. 전자는 통계로 상쇄할 수 있어도(여러 순서로 평균), 후자는 정답지 자체를 다시 만들지 않으면 상쇄되지 않는다.

MMLU-Redux — 정답지를 다시 채점하다 (Gema et al. 2024)

Are We Done with MMLU? (Gema et al., University of Edinburgh, NAACL 2025)

구성개념: MMLU와 동일하다. 새 구성개념을 제안하는 게 아니라, 기존 조작화의 신뢰도를 검증한다.

조작화: 57개 과목 전체에서 5,700문항을 골라 전문가가 오류 분류 체계(taxonomy)를 만들어 하나하나 수작업으로 재주석했다. “정답이 틀렸다”, “질문이 답을 결정하기에 정보가 부족하다”, “복수 정답이 가능하다” 같은 오류 유형을 나눠 표시했다.

결과 — 어디서 깨졌나: 재주석된 문항의 평균 오류율은 6.49%였다. 과목별 편차가 컸는데, 최악은 바이러스학(virology)으로 57%의 문항에 오류가 있었다. 즉 이 과목에서는 절반 넘는 문항의 정답지를 믿을 수 없었다는 뜻이다. 이건 교과서적인 구성개념 무관 분산이다 — 모델이 아무리 바이러스학을 잘 알아도, 정답지가 틀렸으면 점수는 그 지식과 무관하게 깎인다.

후속 교정: MMLU-Redux는 새 벤치를 만드는 대신 재주석된 부분집합을 공개해, 리더보드가 원한다면 이 문항들을 걸러내거나 다시 채점할 수 있게 했다. 벤치마크 자체를 바꾸는 대신 “이 벤치마크로 만든 순위를 어디까지 믿어도 되는가”라는 질문을 정량화한 셈이다.

MMLU-Pro — 선택지를 넓히고 추측을 봉쇄하다 (Wang et al. 2024)

MMLU-Pro: A More Robust and Challenging Multi-Task Language Understanding Benchmark (Wang et al., University of Waterloo, NeurIPS 2024)

구성개념: MMLU의 “지식”보다 추론(reasoning) 쪽으로 무게중심을 옮긴다. 단순 암기로 맞힐 수 있는 문항을 줄이고, 다단계로 생각해야 답이 나오는 문항 비중을 늘린다.

조작화: 원본 MMLU에서 지나치게 쉽거나 오류가 확인된 문항을 걸러내 재사용하고, STEM 웹사이트·TheoremQA·SciBench에서 5,222문항을 더해 총 12,032문항, 14개 분야로 재구성했다. 그리고 결정적으로 선택지를 4개에서 10개로 늘렸다.

왜 10개인가. 앞서 본 대로 4지선다의 무작위 추측 바닥은 25%다. 선택지를 10개로 늘리면 이 바닥이 10%로 내려간다 — 추측이라는 구성개념 무관 분산 자체를 구조적으로 줄이는 설계다. 게다가 늘어난 오답 선택지들도 그럴듯하게 만들어, 명백히 말이 안 되는 선택지를 지우는 소거법만으로는 못 풀게 했다.

결과: 정확도가 MMLU 대비 16~33%p 떨어졌다 — 벤치가 다시 어려워졌다는 뜻이다. 24종의 서로 다른 프롬프트 스타일로 테스트한 결과, 프롬프트에 따른 점수 편차(민감도)가 MMLU의 4~5%에서 2%로 줄었다. 그리고 원본 MMLU에서는 Chain-of-Thought(CoT)를 써도 큰 이득이 없거나 오히려 손해였던 것과 대조적으로, MMLU-Pro에서는 CoT를 쓴 답변이 직접 답변보다 확실히 나았다 — 추론을 요구하는 문항이 실제로 늘었다는 방증이다.

정리: MMLU-Redux가 “정답지” 문제(개별 문항의 결함)를 고쳤다면, MMLU-Pro는 “추측·포맷”이라는 또 다른 구성개념 무관 분산을 구조적으로 줄였다. 두 후속작 모두 MMLU와 같은 57과목이라는 틀 자체는 건드리지 않았다 — 즉 구성개념 부족 문제는 그대로 남았다.

GPQA — “구글이 못 푸는” 질문을 설계하다 (Rein et al. 2023)

GPQA: A Graduate-Level Google-Proof Q&A Benchmark (Rein et al., NYU, COLM 2024)

구성개념: MMLU가 놓친 것을 정면으로 겨눈다 — 웹 검색이나 얕은 패턴 매칭으로는 풀리지 않는, 대학원 수준의 과학 추론이다. 오픈북 시험을 상상해보자. 책을 펼쳐 봐도, 심지어 인터넷을 다 뒤져봐도 답이 그대로 나오지 않는 문제라야 “진짜 이해”를 잰다는 발상이다.

조작화: 생물학·물리학·화학 박사 또는 박사과정 전문가가 4지선다 문항을 직접 작성하고, 자기 전문 분야 밖의 다른 전문가가 검증했다. 세 가지 부분집합을 뒀다.

부분집합 문항 수 용도
Extended 546 가장 넓은 범위
Main 448 대부분의 실험에 권장
Diamond 198 양쪽 전문가가 모두 맞히고, 숙련된 비전문가 다수가 틀린 최고난도 문항만 추린 것

왜 이런 설계를 했나: 오염(모델이 학습 중에 정답을 그대로 봤을 가능성)과 검색으로 풀리는 문제를 배제하려는 의도다. 검증 단계에서 박사(또는 박사과정) 전문가는 65%(사후에 명백한 실수를 제외하면 74%)를 맞혔다. 반면 숙련된 비전문가는 평균 30분 넘게 인터넷에 무제한으로 접근했는데도 겨우 34%밖에 맞히지 못했다. 검색이 통하지 않는다는 뜻에서 “구글-프루프(Google-proof)”라는 이름이 붙었다.

결과: 논문 발표 시점(2023.11) 기준 GPT-4는 main set에서 약 39%를 기록했다 — 비전문가보다 조금 나은 수준이었다. 그런데 채 1년이 지나기 전, 2024년 9월 OpenAI의 o1이 Diamond 세트에서 77.3%(zero-shot)/78.0%(consensus)를 기록해, OpenAI가 인용한 Diamond 세트의 PhD 전문가 기준선 69.7%를 처음으로 넘어섰다.

구성개념 관점: GPQA는 MMLU의 구성개념 부족을 정확히 겨냥한 재설계다. MMLU의 57과목에는 검색으로 바로 풀리는 사실 확인형 문항도, 진짜 심층 추론이 필요한 문항도 섞여 있어 “지식”이라는 라벨 아래 서로 다른 난이도의 것들이 뭉쳐 있었다. GPQA는 그중 “검색으로도 안 풀리는” 부분집합만 좁혀서 재구성했다 — 구성개념을 넓히는 대신 더 정확하게 좁힌 사례다.

BIG-bench와 BBH — 넓게 모으고, 어려운 것만 남기다

Beyond the Imitation Game: Quantifying and Extrapolating the Capabilities of Language Models (Srivastava et al., TMLR 2023)

Challenging BIG-Bench Tasks and Whether Chain-of-Thought Can Solve Them (Suzgun et al., ACL Findings 2023)

구성개념(BIG-bench): “지금 언어모델이 무엇을 못 하는지”를 최대한 넓게 커버한다. MMLU처럼 기존 시험지를 재활용하지 않고, 연구 커뮤니티가 자유롭게 “이건 LM이 절대 못 풀 것”이라 생각하는 과제를 제안하는 방식이다.

조작화: 450명의 저자, 132개 기관이 참여한 크라우드소싱으로 204개 과제를 모았다. 논리추론, 사회적 편향, 물리 상식, 언어유희, 다국어 등 극도로 다양한 태스크가 섞여 있다.

어디서 깨졌나: 태스크를 자유 제안 방식으로 모으다 보니 난이도·품질 편차가 컸다. 어떤 과제는 초기 모델도 쉽게 풀었고, 어떤 과제는 채점 기준 자체가 모호했다. 204개를 한 점수로 뭉치면 “능력”과 “특정 과제의 우연한 특이성”이 섞여버린다.

후속 교정 — BBH: Suzgun et al.(2022)은 204개 중 당시 모델 성능이 사람 평균 평가자를 넘지 못한 23개 과제만 추려 BIG-Bench Hard(BBH)를 만들었다. “어려운 부분집합만 남기기”라는 전략이다. 높이뛰기에 비유하면, 지금 선수들이 아무도 못 넘는 높이로 바를 다시 맞추는 것과 같다.

결과: Chain-of-Thought 프롬프팅을 적용하자 PaLM은 23개 중 10개에서, Codex(code-davinci-002)는 17개에서 사람 평균 평가자를 넘어섰다. 벤치가 발표된 지 반년도 안 돼 절반 넘는 과제가 다시 뚫린 것이다.

전략의 한계: 높이뛰기 바를 “지금 선수가 못 넘는 높이”로 정의하면, 선수가 좋아질 때마다 바를 다시 올려야 한다 — 목표가 고정되지 않고 계속 움직이는 골대(moving goalposts)다. 구성개념 관점에서 보면 BBH는 “무엇이 어려운 추론인가”를 독립적으로 정의한 게 아니라 “지금 모델이 어디서 지는가”로 사후적으로 정의했다. 그래서 구성개념 자체가 그 시점의 모델 성능에 종속돼 시간이 지나면 표류(drift)한다.

HELM — 점수 하나가 아니라 행렬로 (Liang et al. 2022)

Holistic Evaluation of Language Models (Liang et al., Stanford CRFM, TMLR 2023)

구성개념: 지금까지 본 벤치마크들은 전부 “정확도”라는 단일 축을 잰다. HELM은 다르게 묻는다 — 신뢰할 수 있는 언어모델 활용이라는 구성개념은 정확도 하나로 환원되지 않는다. 교정(calibration), 강건성(robustness), 공정성(fairness), 편향(bias), 유해성(toxicity), 효율성(efficiency)까지 함께 봐야 한다는 것이다. 이 글은 여기서 #2가 제기한 문제의 처방편을 만난다.

조작화: HELM 이전에는 각 모델이 서로 다른 벤치 부분집합만 골라 보고했다 — 평균적으로 핵심 시나리오의 17.9%만 평가됐고, 어떤 모델 쌍은 겹치는 시나리오가 하나도 없었다. HELM은 먼저 시나리오(use case) × 지표(metric)의 분류체계(taxonomy)를 만들고, 커버리지 기준으로 대표 부분집합을 골랐다. 그 결과가 핵심 시나리오 16개 + 표적 시나리오 26개 = 총 42개 시나리오, 그리고 7개 지표(accuracy, calibration, robustness, fairness, bias, toxicity, efficiency)다.

건강검진에 비유하면 이해가 쉽다. 지금까지의 벤치마크는 혈압 하나만 재고 “건강하다/아니다”를 판정한 셈이다. HELM은 혈압·혈당·콜레스테롤·간수치를 한꺼번에 재는 종합건강검진표를 만든다. 혈압이 정상이어도 간수치가 나쁘면 “건강하다”고 말할 수 없는 것처럼, 정확도가 높아도 독성이 크거나 교정이 나쁘면 “신뢰할 수 있다”고 말할 수 없다.

결과: 30개 모델을 이 틀로 평가해 핵심 시나리오 커버리지를 96.0%까지 끌어올렸다. 42개 시나리오 중 21개는 그전까지 주류 LM 평가에 쓰인 적 없는 시나리오였다.

구성개념 관점: HELM은 “단일 정확도 점수”라는 조작화 자체가 구성개념 부족이라고 정면으로 지적한다. 정확도만 보고하면 신뢰성·공정성·독성·효율성이라는 구성개념의 다른 축이 통째로 빠진 채 보이지 않는다. 앞서 본 GPQA·BBH가 “같은 유형의 점수를 어떻게 더 어렵게 만들까”를 고민했다면, HELM은 “애초에 점수 하나로 뭉치는 게 맞는가”를 되묻는다.

Experiments

한눈에 보는 계보

벤치 발표 연도 형식 구성개념 알려진 실패 후속 교정
MMLU 2021 (ICLR) 4지선다, 57과목 대규모 다중작업 지식 정답 오류(구성개념 무관 분산), 넓지만 얕음(구성개념 부족) MMLU-Redux, MMLU-Pro, GPQA
MMLU-Redux 2024 (NAACL 2025) 재주석 5,700문항 MMLU와 동일(신뢰도 검증) 재주석 자체도 표본(전체 검증 아님) 리더보드의 재채점 관행
MMLU-Pro 2024 (NeurIPS) 10지선다, 12,032문항 MMLU + 추론 강화 여전히 57과목 틀 안(구성개념 부족은 잔존) 지속적 문항 갱신 필요
GPQA 2023 (COLM 2024) 4지선다, 최대 546문항 검색으로 안 풀리는 대학원 과학 추론 문항 수가 적어 신뢰구간이 넓음(→ #15) 규모를 늘린 후속 오염-저항 벤치들
BIG-bench 2022 (TMLR) 204개 태스크 LM이 아직 못 하는 것 전반 태스크 간 품질·난이도 편차 BBH(부분집합 정제)
BBH 2022 (ACL Findings 2023) 23개 태스크 “사람도 겨우 하는” 추론 모델이 좋아지면 재포화(움직이는 골대) 반년 만에 10~17/23 재돌파
HELM 2022 (TMLR) 42시나리오 × 7지표 신뢰할 수 있는 LM 활용 전반 여전히 시나리오 선택 자체가 저자 판단에 의존 후속 유해성·안전 벤치(레드팀 시리즈로 이어짐)

포화 곡선 — 난이도 에스컬레이션

객관식 지식·추론 벤치의 계보를 “인간 기준선을 얼마 만에 추월했는가”로 정리하면 다음과 같다.

벤치 발표 인간 기준선 발표 시점 프론티어 성능 추월/재조정 시점 소요 기간
GLUE 2018 (ICLR 2019) 87.1 - 2019.7, 88.4 약 15개월
SuperGLUE 2019.5 (NeurIPS) 89.8 71.5 (BERT++) 2021.1, DeBERTa 90.3 약 20개월
MMLU 2020.9 / ICLR 2021 89.8 약 44 (GPT-3) 2023.12, Gemini Ultra 90.04 약 3년
MMLU-Pro 2024.6 새 기준선 없음(재조정) MMLU 대비 16~33%p 하락 (기준선 재설정형이 아니라 난이도 재조정형) -
GPQA-Diamond 2023.11 69.7 (PhD) 약 39 (GPT-4, main set) 2024.9, o1 77~78 약 10개월
HLE 2025.1 전문가 설계, 매우 높음 3~9%대 (GPT-4o/o1/DeepSeek-R1) 확인된 추월 시점 없음 -

패턴이 뚜렷하다. GLUE에서 SuperGLUE로, MMLU에서 GPQA로 갈수록 발표부터 인간 기준선 추월까지 걸리는 시간이 짧아진다. 15개월 → 20개월 → 3년(다만 이 3년은 GPT-3 시대의 완만한 스케일링 곡선을 관통한 기간이다) → 10개월. GPQA가 10개월 만에 뚫린 건 벤치가 약해서라기보다, o1 계열의 추론 모델 이후 능력 향상 속도 자체가 가팔라졌기 때문이기도 하다. 그래서 HLE 같은 최신 벤치는 애초에 인간 전문가 기준선을 훨씬 웃도는 여유(headroom)를 두고 설계됐다 — 발표 시점 최고 모델들의 정확도가 한 자릿수~10%대에 머문 이유다.

곁가지로, 지식·추론 축과 별개로 상식(commonsense) 축에서도 같은 패턴이 보인다. HellaSwag(Zellers et al., ACL 2019)는 사람 정확도 95.6% 대비 발표 당시 SOTA가 48% 미만이었지만, 2024년경 프론티어 모델이 사람 기준선을 따라잡아 그해 6월 Hugging Face Open LLM Leaderboard v2에서 “포화됐다”는 이유로 퇴출됐다. WinoGrande(Sakaguchi et al., arXiv 2019)도 사람 정확도 94.0% 대비 발표 당시 최고 모델이 59.4~79.1%에 머물렀지만 이후 빠르게 좁혀졌다. 두 벤치 모두 이 글의 계보(지식·추론)와는 다른 구성개념(상식·대명사 해소)을 잡았기 때문에 여기서는 깊이 다루지 않는다.

핵심 반례 — 순위 차이가 잡음보다 작다

MMLU 리더보드에서는 흔히 1~2%p 차이로 모델 순위를 매긴다. “이 모델이 저 모델보다 MMLU에서 1.5점 높으니 더 낫다”는 식의 서술이 모델 카드와 기술 리포트에 넘쳐난다.

그런데 MMLU-Redux가 밝힌 평균 오류 문항 비율은 6.49%였다. 부등식으로 정리하면 이렇다.

\[\Delta_{\text{ranking}} \approx 1\text{-}2\%p \ \ll \ \epsilon_{\text{Redux}} = 6.49\%\]
  • \(\Delta_{\text{ranking}}\): 리더보드에서 순위를 가르는 데 쓰이는 점수 차이.
  • \(\epsilon_{\text{Redux}}\): 재주석으로 확인된 정답지 오류율.

오류 문항이 특정 모델에 체계적으로 유리하거나 불리하게 작용하지 않는다고 가정해도, 오류율(6.49%)이 순위 차이(1~2%p)보다 훨씬 크다는 사실 자체가 문제다. 오류 문항의 재현·재채점 여부에 따라 관측된 순위가 뒤집힐 수 있는 여지가, 애초에 순위를 가르는 근거보다 크다는 뜻이다. “1등이 2등보다 낫다”는 결론이 잡음 안에 파묻혀 있을 수 있다.

이 반례가 정확히 가리키는 질문은 이거다 — 점수 차이가 진짜인지 어떻게 아는가? 이 질문에는 이 벤치마크 자체를 다시 설계하는 것만으로는 답할 수 없다. 관측된 점수를 추정치로 보고 신뢰구간을 씌우고(#15), 두 모델의 차이가 통계적으로 유의한지 검정하고([#16], #17), 몇 문항을 더 재야 그 차이를 신뢰 있게 구분할 수 있는지 계산해야 한다. 이 시리즈 5부가 그 답을 다룬다.

통계 요약

이 글에서 마주친 “실패”를 구성개념 부족과 구성개념 무관 분산으로 분류하면 다음과 같다.

현상 유형 설명
MMLU 57과목이 각각 얕게 다뤄짐 구성개념 부족 “다중작업 언어이해” 중 응용·생성·다단계추론이 조작화에서 빠짐
MMLU 정답 오류·모호 문항(Redux 평균 6.49%) 구성개념 무관 분산 모델의 실제 지식과 무관하게 점수가 오염됨
MMLU 4지선다 무작위 추측 바닥(25%) 구성개념 무관 분산 지식 없이도 확보되는 점수가 0이 아님
MMLU 프롬프트·선택지 순서 민감도(→ #6) 구성개념 무관 분산 같은 지식, 다른 포맷 → 다른 점수
GPQA 이전 벤치가 검색·오염으로 풀림 구성개념 무관 분산 학습 중 목격한 답의 재현이 “새로운 추론”과 혼동됨
BIG-bench 태스크 간 난이도·품질 편차 구성개념 부족 + 무관 분산 혼재 “능력”과 “과제의 우연한 특이성”이 한 점수에 섞임
BBH가 모델 향상 후 재포화 구성개념 부족(정의가 시점에 종속) “어려움”을 독립적으로 정의하지 않고 사후적으로 정의해 표류
단일 정확도 점수만 보고 구성개념 부족 교정·강건성·공정성·독성·효율성이 통째로 누락(→ HELM 처방)

같은 표를 다르게 읽으면, MMLU-Redux와 MMLU-Pro는 구성개념 무관 분산을 줄이는 처방이고 GPQA와 BBH는 구성개념을 재정의(주로 좁히거나 초점을 옮기는 방식)해 부족을 메우는 처방이며, HELM은 “정확도라는 조작화 자체가 부족했다”는 더 근본적인 구성개념 부족을 지적하는 처방이다.

Conclusion

MMLU 계열의 역사가 남기는 교훈은 하나로 요약된다. 구성개념을 넓게 잡을수록 조작화가 헐거워진다. “대규모 다중작업 언어 이해”는 처음부터 감당하기 벅찬 크기의 구성개념이었다. 너무 넓었기 때문에 무엇이 부족한지 콕 집어 말하기 어려웠고, 그 결과 정답지 오류라는 초보적인 구성개념 무관 분산조차 발표 후 3년이 지나서야(MMLU-Redux, 2024) 정량적으로 드러났다.

후속 벤치는 이 문제를 두 갈래로 풀었다.

  1. 난이도를 올려 천장을 다시 세운다 — GPQA, BIG-Bench Hard, 그리고 뒤에서 언급한 HLE. 모델이 벤치를 뚫었으니 더 어려운 문제로 다시 겨눈다. 벤치가 이미 좁게 잘 정의된 구성개념을 재는데, 모델이 좋아져서 변별력을 잃은 상황(포화)에 대한 처방이다.
  2. 측정 자체를 정교하게 다듬는다 — MMLU-Redux, MMLU-Pro, HELM. 벤치의 범위나 난이도는 그대로 두고, 조작화 안에 섞여 있던 잡음(정답 오류, 추측, 단일 지표로의 환원)을 걷어낸다. 애초에 조작화 자체가 헐거웠던 상황에 대한 처방이다.

이 둘은 서로 다른 병을 고친다는 점을 분명히 해둘 필요가 있다. 난이도 상승 전략은 문항이 이미 깨끗한데 모델이 너무 잘하는 경우에 맞고, 측정 정교화 전략은 문항 자체가 지저분한 경우에 맞다. 둘을 섞어 쓰면(예: 오류투성이인데 어렵기만 한 벤치) 여전히 무엇을 재고 있는지 알 수 없다.

한계도 분명하다. 난이도 escalation은 결국 사람도 거의 못 푸는 문제(HLE)로 향하는데, 이 지점에서는 “이게 대체 무슨 능력을 재는 것인가”라는 질문이 다시 모호해질 위험이 있다 — HLE 자체의 구성개념도 “전문가조차 막히는 다양한 질문”이라는, MMLU 못지않게 넓은 정의이기 때문이다. 반대로 측정 정교화 전략은 잡음은 줄이지만 벤치가 재는 구성개념의 폭 자체는 넓히지 못한다 — MMLU-Redux는 여전히 MMLU가 고른 57과목이라는 틀 안에서만 작동한다.

수학과 코드처럼 정답을 프로그램으로 검증할 수 있는 도메인은 이 두 문제(정답지 오류, judge 편향) 자체가 구조적으로 다르게 나타난다. 다음 편 #8에서 그 차이를 본다. 그리고 GPQA가 정면으로 겨눴던 “오염” 문제는 #20에서 통계적으로 검출하는 방법까지 다룬다.

참고 문헌

LLM 평가 체계 시리즈

이 글은 LLM 평가 체계 시리즈의 일곱 번째 글이다.

1부. 평가란 무엇인가

  1. 측정으로서의 평가 — 구성개념·조작화·타당도·신뢰도
  2. 벤치마크는 무엇을 재고 있나 — 벤치 445편 구성타당도 리뷰

2부. 무엇을 숫자로 만드나 — 평가 metric

  1. 척도와 허용 연산 — Likert 평균을 내도 되는가
  2. 분류 지표 — accuracy의 함정부터 PR-AUC까지
  3. 생성 지표와 그 타당도 — BLEU에서 COMET까지
  4. 객관식 평가는 왜 흔들리나 — 위치 편향과 포맷 민감도

3부. LLM 벤치마크 지형도

  1. (현재 글) 지식과 추론 — MMLU 계열의 흥망 — MMLU·GPQA·BBH·HELM
  2. 검증 가능한 도메인 — 수학과 코드 — GSM8K·MATH·HumanEval·SWE-bench
  3. 개방형 대화 — MT-Bench에서 Arena까지 — judge 기반 벤치의 등장
  4. 능력의 다른 축 — 지시따르기·긴 문맥·사실성
  5. 한국어 벤치마크 — 번역이 아니라 원산, 그리고 문화 타당도

4부. 사람이 읽는다 — 정성평가와 일치도

  1. 사람 평가 설계 — 루브릭·Likert·pairwise·BWS
  2. 우연을 빼다 — κ 계열 — Cohen·Fleiss·weighted·Krippendorff
  3. κ의 역설 — 일치율 90%인데 κ가 0.21

5부. 차이는 진짜인가 — 정량평가의 통계

  1. 점수는 추정치다 — 이항비율 신뢰구간과 Wald의 실패
  2. 차이는 유의한가 — paired bootstrap·순열검정·McNemar
  3. 몇 개를 재야 하나 — 검정력·표본크기·다중비교
  4. LLM eval의 통계 실무 — 클러스터 SE·IQM·분산 분해

6부. 신뢰할 수 있는 평가 체계

  1. judge를 통계로 다루기 — 편향·Bradley-Terry·PPI
  2. 오염·재현성·효율 — 오염 검정·harness·IRT
  3. 안전 평가의 통계와 체계 설계 — 희귀사건·calibration·체크리스트

본 시리즈는 21편으로 구성된다.



Enjoy Reading This Article?

Here are some more articles you might like to read next:

  • 안전 평가의 통계와 체계 설계 — 희귀사건과 calibration, 스물한 편의 마지막 체크리스트
  • 오염·재현성·효율 — 이 점수는 무엇을 재고 있나
  • judge를 통계로 다루기 — 편향, Bradley-Terry, PPI
  • LLM eval의 통계 실무 — 클러스터 SE, 분산 분해, IQM
  • 몇 개를 재야 하나 — 검정력, 표본크기, 다중비교