벤치마크는 무엇을 재고 있나 — 구성타당도의 실패
Measuring what Matters: Construct Validity in Large Language Model Benchmarks (Bean et al., University of Oxford, NeurIPS 2025 Datasets and Benchmarks Track)
Introduction
#1에서 잣대 두 개를 세웠다. 벤치마크 점수는 두 가지 방식으로 망가진다.
- 구성개념 부족(construct underrepresentation): 벤치마크가 재고 싶다는 능력의 일부만 표본으로 뽑고, 그 좁은 표본에 대한 점수를 마치 능력 전체에 대한 점수인 것처럼 말한다.
- 구성개념 무관 분산(construct-irrelevant variance): 능력과 아무 상관 없는 요인 — 선택지 순서, 프롬프트 포맷, 사전학습 데이터에 이미 낀 문항 — 이 점수를 흔든다.
이 두 잣대는 추상적으로 들으면 당연한 소리다. “당연히 벤치마크는 재려는 걸 재야지.” 문제는 이 당연한 기준을 실제로 들이대 본 사람이 거의 없었다는 점이다. 이번 글이 다루는 첫 번째이자 중심 논문은 바로 그 작업을 체계적으로 했다. Bean 외 29명의 전문가 리뷰어가 ICML·ICLR·NeurIPS·ACL·NAACL·EMNLP에 실린 벤치마크 논문 445편을 하나하나 코드북에 맞춰 채점했다. 결론부터 말하면: 정의를 제대로 밝힌 논문이 78.2%, 통계적 유의성 검정을 한 논문은 16.0%뿐이었고, 자기 벤치마크가 타당하다는 근거를 제시한 논문은 절반(53.4%)에 그쳤다.
즉 “우리는 X를 잰다”는 문장 자체가 없거나(구성개념 부족의 극단형), 있어도 그 정의가 47.8%는 논쟁적이며, 점수 차이가 우연인지 아닌지 검증한 논문은 여섯 편 중 한 편도 안 된다. #1이 이론으로 세운 우려가 과장이 아니라 업계 표준 관행이라는 뜻이다.
이 글은 다섯 편의 논문으로 이 주장을 뒷받침한다.
- Bean et al. (2025) — 445편 체계 리뷰. 이 글의 척추.
- Raji et al. (2021) — “범용 능력을 잰다”는 주장 자체를 해부한다. GLUE·ImageNet 사례.
- Bowman & Dahl (2021) — NLU 벤치마크가 만족해야 할 네 가지 기준과, 현실이 그 기준을 어떻게 못 지키는지.
- Pacchiardi et al. (2024) — 단순 n-gram만으로 벤치마크 절반 가까이를 통계적으로 유의하게 예측한다. 구성개념 무관 분산의 가장 선명한 실증.
- Liang et al. (2022), HELM — 진단이 아니라 처방. 단일 점수 대신 시나리오 × 지표 행렬로 가는 설계.
마지막에는 알려진 벤치마크 문제들을 #1의 두 용어로 분류한 표를 만들고, 이 시리즈의 어느 편이 각 문제를 더 깊이 다루는지 연결한다.
Background
벤치마크 하나의 타당도를 점검하려면 정확히 네 가지를 물어야 한다. 이 네 질문이 이번 글에서 다루는 모든 논문이 공유하는 뼈대다.
| 질문 | 무엇을 확인하나 | 실패하면 생기는 일 | #1의 용어 |
|---|---|---|---|
| 구성개념이 명시됐나? | “우리가 재는 X는 정확히 무엇인가”에 조작적 정의가 있는가, 그 정의에 합의가 있는가 | 점수가 무엇을 뜻하는지부터 불명확 | 구성개념 부족 |
| 문항이 그 구성개념을 대표하나? | 표집(sampling) 전략이 개념 공간 전체를 대표하는가, 아니면 손에 잡히는 것만 편의적으로 모았는가 | 좁은 슬라이스에 대한 점수를 전체 능력에 대한 점수로 과대 해석 | 구성개념 부족 |
| 무관한 요인이 점수를 움직이나? | 선택지 순서, 프롬프트 포맷, 사전학습 데이터 중복(오염), 표층 어휘 단서 같은 것이 점수에 섞여 드는가 | 능력이 늘지 않아도 점수가 오르내림 — 순위가 잡음으로 결정됨 | 구성개념 무관 분산 |
| 외부 기준과 상관하나? | 사람 평가, 실제 사용 환경, 다른 독립적 벤치마크와 점수가 함께 움직이는가 (기준/수렴 타당도) | 벤치마크 점수가 오르는데 실세계 유용성은 그대로 | 둘 다 관여 |
일상 비유를 하나 붙이자. 다이어트 앱이 “건강 점수”를 보여준다고 하자. 그런데 그 점수가 사실은 체중계 숫자 하나로만 계산된다면 — 이것이 구성개념 부족이다. “건강”이라는 구성개념은 체력·수면·혈압·정신건강 등 여러 하위 요소로 이뤄지는데, 체중 하나만 표본으로 뽑아 전체를 대표한다고 우기는 셈이다. 그런데 이 체중 숫자마저 아침에 물을 얼마나 마셨는지, 화장실을 다녀왔는지에 따라 하루 안에 1~2kg씩 출렁인다면 — 이것이 구성개념 무관 분산이다. 진짜 건강 상태는 그대로인데 측정과 무관한 잡음이 숫자를 흔든다.
벤치마크에서는 이 두 문제가 따로 오지 않고 대개 함께 온다. 정의가 흐릿한 벤치마크일수록 무엇이 “무관한 요인”인지 판단할 기준 자체가 없어서, 무관 분산을 걸러낼 방법도 없다. 아래 다섯 편의 논문은 각각 이 문제의 다른 단면을 비춘다.
Method
Measuring what Matters — 445편이 말해주는 것 (Bean et al., NeurIPS 2025)
무엇을 어떻게 리뷰했나
이 논문의 힘은 규모와 절차의 투명성에서 나온다. 저자들은 2018~2024년 ICML·ICLR·NeurIPS와 2020~2024년 ACL·NAACL·EMNLP 프로시딩스에서 시작해 다음 단계를 거쳤다.
- 46,114편 — 대상 학회의 전체 논문.
- 키워드 필터링(“benchmark” AND “LLM” 또는 “language model”) → 2,189편.
- GPT-4o mini로 주제·실증성·모달리티 기준 자동 스크리닝(사람 검증 대비 F1 84%) → 522편.
- 29명 전문가 리뷰어의 수작업 필터링(주제·실증성·모달리티·참신성) → 445편 최종 포함.
이 절차 자체가 이 시리즈가 강조하는 원칙의 실천이다 — 벤치마크(여기서는 “논문 445편”이라는 표본)를 고를 때도 편의표집이 아니라 명시적 기준과 검증된 자동화를 썼다고 밝히는 것.
각 논문은 코드북으로 네 영역을 채점받았다. Phenomenon(무엇을 재려 하는가), Task(그것을 어떤 과제로 조작화했는가), Metric(어떻게 점수를 매기는가), Claims(그 점수로 무엇을 주장하는가). 바로 위 Background 표의 네 질문과 정확히 대응한다.
핵심 수치
Phenomenon(구성개념 정의) 관련 수치부터 보자.
| 항목 | 수치 |
|---|---|
| 측정 현상에 대한 정의를 제공한 벤치마크 | 78.2% |
| 정의 중 널리 합의된 정의 | 52.2% |
| 정의 중 논쟁적(contested) 정의 | 47.8% |
| 구성개념을 합성물(composite)로 정의(하위요소 존재) | 61.2% |
| 가장 흔한 대상 현상 | reasoning 18.5%, alignment 8.1%, code generation 5.7% |
즉 정의가 아예 없는 벤치마크가 21.8%고, 정의가 있어도 그중 절반 가까이(47.8%)는 “무엇을 잰다는 건지” 연구자마다 다르게 이해할 수 있는 개념이다. alignment 계열 벤치마크가 특히 그렇다 — “harmlessness” 같은 개념은 애초에 합의된 정의가 없다.
Task(표집·과제 설계) 관련 수치는 다음과 같다.
| 항목 | 수치 |
|---|---|
| 완전한 실세계 과제를 사용한 벤치마크 | 10% 미만 |
| 인위적으로 구성된(constructed) 과제 사용 | 40.7% (그중 28.5%는 전적으로) |
| 단일 출처에서만 문항을 가져온 경우 | 33.6% |
| 기존 벤치마크 데이터를 재사용 | 42.6% |
| LLM으로 문항을 생성 | 31.2% |
| 편의표집(convenience sampling)을 일부라도 사용 | 27.0% (전적으로 사용 12.3%) |
| 무작위·계층 표집을 일부라도 사용 | 17.1% |
| 합성 데이터로 규모를 늘림 | 47.5% |
편의표집 — “일단 손에 있는 데이터로 만들자” — 이 39.3%(12.3% + 27.0%)에 관여한다는 게 핵심이다. 개념 공간 전체를 대표하도록 설계된 표집이 아니라, 접근성이 좋은 데이터를 가져다 쓴 것이다. 저자들이 드는 예시가 인상적이다 — 계산기를 못 쓰는 시험(AIME 등)에서 문항을 재사용하면, 그 시험의 숫자들은 애초에 암산하기 쉽게 골라진 숫자다. 그 문항만으로는 LLM이 큰 수를 다룰 때 실제로 얼마나 취약한지 알 수 없다.
문항을 어떤 응답 포맷으로 요구하는지도 갈렸다.
| 응답 포맷 | 일부 사용 | 전적으로 사용 |
|---|---|---|
| 자유 응답(free response) | 46.4% | 17.8% |
| 객관식(multiple choice) | 40.0% | 18.5% |
| 단답형(short free response) | 38.5% | 13.2% |
| 구조화 응답(JSON 등) | 21.1% | 8.6% |
객관식이 전체 벤치마크의 40%에 관여한다는 점을 기억해 두자. 객관식은 채점하기는 쉽지만 #6에서 볼 위치 편향·포맷 민감도가 파고들 여지도 그만큼 크다 — 채점의 편의성과 구성개념 무관 분산이 정확히 트레이드오프 관계에 있다.
Metric·Claims 관련 수치는 이렇다.
| 항목 | 수치 |
|---|---|
| 정확 일치(exact match) 채점을 일부라도 사용 | 81.3% |
| 불확실성 추정 또는 통계 검정을 사용 | 16.0% |
| construct validity 근거를 제시(Claims 영역) | 53.4% |
| 다른 유사 벤치마크와 비교 | 35.2% |
| 사람 기준선(human baseline) 제공 | 32.4% |
여기 두 숫자가 이 논문 전체에서 가장 중요하다고 본다. 통계 검정 16.0%와 타당도 근거 제시 53.4%. 여섯 벤치마크 중 다섯은 “이 점수 차이가 우연이 아니다”라는 근거 없이 리더보드 순위를 매겼고, 절반에 가까운 벤치마크는 “이 점수가 실제로 우리가 주장하는 걸 잰다”는 근거조차 안 남겼다.
실패 유형을 조직하는 여덟 개 권고
저자들은 이 관찰들을 진단에서 멈추지 않고 여덟 개의 실행 가능한 권고로 정리했다. 각 권고에는 체크리스트가 딸려 있다.
| # | 권고 | 핵심 체크 항목 |
|---|---|---|
| 1 | 현상을 정의하라 | 조작적 정의를 제공하고, 범위와 제외 대상을 명시하고, 하위요소가 있으면 따로 측정 |
| 2 | 그 현상만 측정하라 | 무관한 부차 과제를 통제하고, 포맷 제약의 영향을 평가하고, 자동 파싱을 검증 |
| 3 | 대표성 있는 데이터셋을 구성하라 | 표집 전략을 명시하고, 품질을 검증하고, 알려진 LLM 민감성(입력 순열 등)을 시험 항목에 포함 |
| 4 | 재사용 데이터셋의 한계를 인정하라 | 원본 대비 변경 사항과 성능 차이를 보고 |
| 5 | 오염에 대비하라 | 오염 탐지 테스트, held-out 세트, 사전 노출 가능성 조사 |
| 6 | 모델 비교에 통계적 방법을 써라 | 표본 크기와 검정력을 근거로 제시, 불확실성 추정치 보고, 평가자 인구통계 기술 |
| 7 | 오류 분석을 수행하라 | 실패 유형이 목표 구성개념과 무관한 교란 변수와 상관하는지 확인 |
| 8 | 구성타당도를 정당화하라 | 실세계 적합성 근거, 과제·지표 선택의 근거, 한계와 설계 트레이드오프 논의 |
저자들은 이 체크리스트를 GSM8K에 직접 적용해 시범을 보인다. GSM8K는 “초등 수준 산수 문제로 비형식적 추론 능력을 테스트한다”고 스스로 정의(1번 통과)하지만, 답을 구하는 과정에서 산수 계산 자체가 추론과 뒤섞이는 문제(2번 미흡)가 있고, 오류 분석이 따로 없다(7번 미흡)는 식으로 8개 항목 중 무엇을 지키고 무엇을 놓쳤는지 하나씩 짚는다. 이 체크리스트가 이 시리즈 전체가 벤치마크를 평가할 때 쓰는 암묵적 기준이라고 보면 된다.
리뷰 자체의 신뢰도 — 68.1%
한 가지 짚고 넘어갈 게 있다. “이 벤치마크가 구성개념을 정의했는가”, “표집이 대표성이 있는가” 같은 판단 자체도 결국 사람이 내리는 라벨링이다. Bean et al.은 이 점을 의식해 코드북의 30개 필드 전부에 대해 이중 코딩(dual coding)을 하고 리뷰어 간 일치도를 직접 보고했다. 이진·다범주 문항에는 Brennan-Prediger Kappa(BPK)를 썼는데, 이진 문항 기준으로는 다음과 같이 단순화된다.
\[BPK = 2 P_o - 1\]- \(P_o\): 두 리뷰어가 실제로 일치한 비율(관측 일치율).
- 우연 수준 응답을 균등분포로 가정하고 그 우연 성분을 빼는 방식이라, 라벨이 한쪽으로 쏠려도(불균형해도) Cohen의 \(\kappa\)보다 덜 왜곡된다. (이 왜곡 문제는 #14에서 정면으로 다룬다.)
결과는 30개 필드 평균 percent agreement 68.1%, 평균 BPK 0.524 — “중간 정도의 일관성”이다. task_face_validity·metric_access처럼 구조적이고 객관적인 필드는 95%를 넘는 높은 일치를 보인 반면, task_ecology·dataset_sampling_method처럼 해석이 필요한 필드는 일치도가 뚜렷이 낮았다.
이 숫자가 주는 함의는 이중적이다. 논문 저자들의 리뷰 절차 자체가 투명하게 검증됐다는 점에서는 신뢰를 더하지만, 동시에 “이 벤치마크가 타당한가”를 판단하는 것조차 전문가 사이에서 완벽히 합의되지 않는 어려운 문제라는 걸 보여준다. 구성타당도 평가는 한 번에 명쾌하게 끝나는 체크가 아니라, 그 자체로 측정 오차를 안고 있는 판단이라는 뜻이다.
저자들의 결론
논문은 “벤치마크를 버려라”고 말하지 않는다. 대신 이렇게 맺는다 — “measuring what matters”는 연구 공동체가 구성타당도를 우선순위에 두는 의식적이고 지속적인 노력을 요구한다. 이 문장이 이 시리즈 전체, 그리고 이번 글의 결론과 정확히 같은 방향을 가리킨다.
AI and the Everything in the Whole Wide World Benchmark (Raji et al., 2021)
Bean et al.의 참고문헌 3번이 바로 이 논문이다. Bean et al.이 445편에 걸친 통계적 실태 조사라면, Raji et al.은 “범용 능력”이라는 주장 그 자체를 해부하는 이론적 논증이다.
Common Task Framework와 그 오용
논문 제목의 유래는 세서미 스트리트 그림책이다. 괴물 그로버가 “이 세상 모든 것을 다 보여준다”는 박물관에 가는데, 방마다 “벽에서 발견할 수 있는 것들의 방”, “당근의 방” 같은 자의적이고 유한한 전시물만 있다. 그로버는 마지막 문을 열면 “이 세상 모든 것”이 정말 나올 줄 알았지만, 문을 열자 그냥 바깥세상이 나온다. 저자들은 이것이 오늘날 AI 벤치마크가 저지르는 것과 같은 오류라고 말한다.
핵심은 Common Task Framework(CTF)의 역사다. CTF는 1980년대 IBM의 Fred Jelinek이 음성 인식·기계 번역처럼 실용적이고 범위가 명확한 과제를 위해 만든 틀이다. 구성 요소는 세 가지뿐이다.
- 특징 측정치와 클래스 라벨이 딸린 공개 학습 데이터셋.
- 그 학습 데이터에서 예측 규칙을 추론하는 공통 과제를 수행하는 참가자들.
- 참가자들이 제출한 예측 규칙을 채점하는 심판(scoring referee).
이 틀 덕분에 “6개월에 한 번” 갱신되던 비교가 “매시간” 가능해졌다. 중요한 것은 CTF가 처음부터 “이 벤치마크가 실제 과제(음성 인식이면 음성 인식)를 정확히 반영하는가”만 검증하면 되는, 범위가 명확한 도구로 설계됐다는 점이다.
문제는 GLUE나 ImageNet 같은 후속 벤치마크가 이 틀을 “범용 언어 이해”, “범용 시각 이해”라는 무한히 넓은 목표에까지 확장해 적용했다는 것이다. CTF는 애초에 좁고 명확한 과제(음성 인식은 정확히 음성 인식이다)를 검증하기 위한 도구였는데, “언어 이해 전반”처럼 정의 자체가 안 끝나는 목표에 CTF의 형식만 빌려 쓰면서 마치 그 목표를 실제로 측정하는 것처럼 포장됐다.
GLUE와 ImageNet — 두 사례 연구
- ImageNet: 창시자들이 “이미지 세계의 가장 포괄적이고 다양한 커버리지”라고 소개했고, Fei-Fei Li는 훗날 이를 “모든 사물의 세계를 지도로 그리려는 시도”라고 회고했다. 당대 Caltech-101/256 같은 벤치마크보다 카테고리 수는 20배, 이미지 수는 100배였다. 이 압도적 규모가 “일반적인 시각 지능”의 대리물이라는 인식을 굳혔다.
- GLUE/SuperGLUE: “범용 언어 이해 기술을 위한 평가 프레임워크”를 표방한다. 사람은 한 언어를 배우면 그 지식을 어떤 과제에도 쓸 수 있다는 전제에서, 여러 과제에 걸친 전이 성능을 재면 그 “범용성”을 테스트한다고 주장한다. 그러나 GLUE 9개 과제 전부에서 리더보드 성능이 사람 수준에 근접·초과하자, SuperGLUE는 제출된 과제 대부분을 제외해야 했다 — BERT가 이미 크라우드워커 다수결 수준을 넘어섰기 때문이다.
두 사례 모두 같은 패턴이다. 벤치마크는 유한하고 구체적인 데이터·지표·관행의 조합인데, 그 결과에 대한 주장은 “범용”, “일반적” 같은 무한히 넓은 단어로 확장된다. 이것이 정확히 구성개념 부족이다 — 표본(데이터셋)이 구성개념(“일반 언어 이해”)의 극히 일부만 대표하는데, 그 일부에 대한 점수를 전체에 대한 점수로 판다.
임의로 선택된 과제 — 왜 하필 이 카테고리들인가
저자들은 한 걸음 더 들어가 “그 표본이 애초에 어떻게 골라졌는가”를 묻는다. Grover가 방문한 박물관의 방들(“소음이 너무 커서 생각을 할 수 없는 것들의 방”, “작은 홀”)처럼, 이들 “범용” 벤치마크가 포함하는 하위 과제 목록도 특정 인지 이론에 근거해 체계적으로 설계된 게 아니라 당장 손에 있던 것들의 잡동사니에 가깝다.
- UCI Repository: Kiri Wagstaff는 커뮤니티가 즐겨 쓰던 Iris·Adult·Wine·Breast Cancer 분류 데이터셋을 두고 이렇게 지적한다 — “수많은 ML 연구자들이 최고의 붓꽃(iris) 분류기를 쫓아다녔지만, 그 노력이 식물학이나 균류학 분야에 어떤 영향을 줬는지는 알 수 없다.” 그 분야 과학자들이 실제로 필요로 하거나 관심 갖는 문제가 아니었다는 것이다.
- ImageNet: 레이블 카테고리가 WordNet의 12개 “하위트리”(포유류·조류·어류·파충류·양서류·차량·가구·악기·지질구조·도구·꽃·과일)에서 거의 그대로 가져온 것이다. WordNet은 애초에 이미지 분류를 위해 만들어진 어휘 체계가 아니다 — 다른 목적으로 만들어진 분류 체계를 그대로 가져다 썼을 뿐, “시각 이해에 어떤 카테고리가 중요한가”라는 질문에 답하려는 설계는 없었다.
이 두 사례가 보여주는 것은, “표본이 대표성 있는가”를 묻기 이전에 “대체 무엇의 표본인가”조차 불분명한 경우가 많다는 점이다. Bean et al.의 코드북으로 보면 이는 Phenomenon 단계(구성개념 정의)에서부터 이미 실패한 경우에 해당한다.
결론
Raji et al.의 결론은 담백하다. “열린 세계, 보편적이고 중립적인 데이터셋은 존재하지 않는다.” 벤치마크가 쓸모없다는 게 아니라, 벤치마크의 가치는 “범용성”이라는 거짓 주장의 힘이 아니라 어떤 시스템이 왜 작동하고 왜 작동하지 않는지 이해하게 해주는 정도에서 나와야 한다는 것이다. 이 논문은 이 시리즈의 #7과 #9에서 다룰 “MMLU가 정말 지식과 추론을 재는가”, “Arena가 정말 종합 능력을 재는가” 같은 질문의 이론적 기반이 된다.
What Will it Take to Fix Benchmarking in Natural Language Understanding? (Bowman & Dahl, NAACL 2021)
Raji et al.이 “범용성” 주장을 공격한다면, Bowman & Dahl은 더 좁게 정의된 NLU 벤치마크조차 만족 못 하는 최소 기준을 제시한다. 저자는 NYU의 Samuel Bowman과 Google Research의 George Dahl이다.
문제의식 — 벤치마크가 포화했다
GLUE는 9개 과제 전부에서 사람 수준에 근접·도달했고, SQuAD 2 리더보드도 사람 주석자 성능을 넘어선 지 오래다. 그런데 정작 이 고득점 모델들은 McCoy et al. (2019), Ribeiro et al. (2020) 같은 후속 연구가 만든 아주 간단한 테스트 케이스에서 어이없이 무너진다. 즉 벤치마크는 “다 풀렸다”고 말하는데, 모델의 실제 언어 이해는 그 수준에 한참 못 미친다.
이 간극에 대한 당시 유행하던 해법이 적대적 필터링(adversarial filtering) — DynaBench 같은 접근으로, 기존 모델이 틀리는 예시만 골라 데이터셋을 짜는 방식이다. Bowman & Dahl은 이 해법 자체를 비판한다. 적대적으로 수집한 데이터는 “현재 모델이 특정 방식으로 틀린다”는 사실만 포착할 뿐, 그 모델과 다르게(더 낫지 않게) 틀리는 신모델도 쉽게 리더보드 정상에 오르게 만든다. 다르게 실패하는 것과 더 잘하는 것은 다르다. 이는 연구자들이 진짜 개선 대신 “우연히 다른 실수를 하는 모델”을 만들도록 유도하는 역유인이 된다.
네 가지 기준
논문의 핵심은 NLU 벤치마크가 만족해야 할 네 가지 기준이다.
| # | 기준 | 무엇이 필요한가 |
|---|---|---|
| 1 | 벤치마크에서 좋은 성능은 그 과제에 대한 강건한 도메인 내 성능을 함의해야 한다 | 데이터셋 설계와 수집 방법론에 대한 더 많은 연구 |
| 2 | 벤치마크 예시는 정확하고 모호함 없이 주석되어야 한다 | 오류 예시를 제거하고 모호한 예시를 제대로 처리할 만큼 철저한 검증 |
| 3 | 벤치마크는 충분한 통계적 검정력을 제공해야 한다 | 데이터셋이 훨씬 더 어렵거나 훨씬 더 커야 함 |
| 4 | 벤치마크는 시스템의 그럴듯하게 유해한 사회적 편향을 드러내야 하고, 편향된 시스템 개발을 유인해서는 안 된다 | 보조적인 편향 평가 지표의 개발과 사용을 더 잘 장려해야 함 |
이 네 기준을 #1의 두 용어에 대응시키면 이렇다. 기준 1과 2는 “벤치마크 문항이 정말로 그 과제를 대표하고 정확히 라벨링됐는가” — 구성개념 부족과 구성개념 무관 분산(잘못된 라벨이라는 잡음) 양쪽에 걸린다. 기준 3은 이 시리즈 #17이 통계적으로 다룰 “몇 개를 재야 하나”의 원형이다. 기준 4는 안전성 평가(#21)로 이어지는 다리다.
저자들의 처방
저자들은 적대적 데이터 수집을 전면 대체할 해법으로 세 가지를 제안한다. (1) 크라우드워커와 도메인 전문가를 함께 쓰는 하이브리드 데이터 수집, (2) 더 큰 규모의 데이터 검증, (3) 벤치마크에 딸린 보조 편향 지표 데이터셋. 핵심 메시지는 “정적 IID 평가를 포기할 필요는 없다 — 다만 그 안에서 네 기준을 실제로 지켜야 한다”는 것이다. 이는 이후 #20에서 볼 LiveBench류의 “동적 벤치마크로 아예 갈아타자”는 흐름과 대비되는, 온건하지만 더 근본적인 처방이다.
Leaving the barn door open for Clever Hans (Pacchiardi et al., 2024)
앞의 세 논문이 “벤치마크가 무엇을 대표하는가”를 물었다면, 이 논문은 “모델이 정답을 맞히는 데 실제로 그 능력이 필요했는가”를 직접 실험으로 검증한다. 저자는 케임브리지대 Leverhulme Centre for the Future of Intelligence의 Lorenzo Pacchiardi, Marko Tešić, Lucy Cheke와 발렌시아 공대의 José Hernández-Orallo다.
Clever Hans 효과란
20세기 초 독일에 “영리한 한스”라는 말이 있었다. 산수 문제를 발굽으로 두드려 맞혔는데, 알고 보니 한스는 산수를 하는 게 아니라 조련사의 미세한 자세 변화 — 정답 숫자에 가까워지면 조련사가 자기도 모르게 긴장을 풀던 것 — 를 읽고 있었다. 과제를 푸는 데 필요하다고 여겨진 능력과 실제로 쓰인 단서가 다른 것, 이것이 Clever Hans 효과다. 저자들은 LLM 벤치마크에서 같은 일이 벌어지는지 검증한다.
방법 — n-gram만으로 정답을 맞힐 수 있나
19개의 객관식 LLM 벤치마크(BIG-Bench 계열의 Fantasy Reasoning·Causal Judgment·bAbI Task 16, CommonsenseQA 2.0, ANLI, CLadder, ProntoQA, LegalBench의 여러 과제 등)를 대상으로, 모델을 전혀 쓰지 않고 문항 텍스트에서 뽑은 표층 특징만으로 로지스틱 회귀 분류기를 학습시켰다.
- 특징: 단어·토큰 단위 유니그램·바이그램을 TF, TF-IDF, 이진 존재 여부로 표현한 열두 벡터에, 가독성·다양성 지표(Flesch Reading Ease, Gunning Fog Index, SMOG Index, Yule’s K)를 더한 열세 개 특징 벡터.
- 평가 지표: Cohen의 \(\kappa\). 우연 수준 예측이면 0에 가깝고, 완전히 일치하면 1에 가까운 값이다(\(\kappa\)의 정확한 유도와 해석은 #13에서 다룬다). 이 지표를 쓴 이유는 벤치마크마다 선택지 수가 달라 우연 수준(chance level) 정확도 자체가 다르기 때문이다 — 우연을 보정한 지표가 필요했다.
- 모델: 11개 모델 패밀리에 걸친 44개 LLM의 인스턴스 단위 응답도 함께 수집해, “n-gram이 잘 맞히는 문항에서 LLM도 유독 잘 맞히는가”를 검증했다.
결과 — 절반 가까이가 뚫린다
19개 벤치마크 중 9개(약 47%)가 단순 특징만으로 작지만 탐지 가능한 수준(κ > 0.2) 이상의 일치를 보였다. Corporate Lobbying, SpaceNLI 같은 벤치마크는 κ가 0.6을 넘어 “상당한 일치”(considerable agreement, Landis & Koch 1977의 관습적 기준) 수준까지 갔다. 즉 지문을 읽고 법적·공간적 추론을 하지 않아도, 문항에 어떤 단어가 몇 번 등장하는지만 세도 절반에 가까운 확률로 정답을 맞힐 수 있다는 뜻이다.
더 나아가 이 논문은 “그래서 실제 LLM도 이 지름길을 쓰는가”를 통계적으로 검증했다. 각 모델 패밀리에 대해 “n-gram 분류기가 맞힌 문항 부분집합에서 LLM 정확도가 더 높은가”를 단측 대응표본 t-검정으로 봤고, 다중비교 보정(Benjamini-Hochberg)까지 거쳤다.
| 모델 패밀리 | p-value | 보정 p-value | 패밀리 내 모델 수 |
|---|---|---|---|
| Meta | 0.0073 | 0.0594 | 4 |
| OpenAI | 0.0108 | 0.0594 | 18 |
| Mistral AI | 0.0273 | 0.0895 | 2 |
| Writer | 0.0325 | 0.0895 | 2 |
| Anthropic | 0.0719 | 0.1582 | 4 |
OpenAI·Meta·Mistral AI·Writer 계열에서 보정 p-value가 0.1 미만 — n-gram이 맞히는 문항에서 이들 모델도 유의하게 더 잘 맞힌다는, 중간 정도의 증거가 나왔다. 저자들은 이 효과가 “작지만 뚜렷하다”고 표현한다 — 모델이 순전히 표층 단서에만 의존한다는 증거는 아니지만, 표층 단서를 어느 정도 활용하고 있다는 신호는 충분하다는 뜻이다.
일상 비유로 옮기면 이렇다. 수능 국어 모의고사를 오래 풀다 보면 “지문을 다 안 읽어도 3번 선택지가 유독 자주 정답이더라” 같은 경험칙이 생긴다. 이 경험칙으로 문제를 맞혔다고 해서 그 학생이 그 지문을 진짜로 이해한 건 아니다. Pacchiardi et al.의 실험은 정확히 이 “3번 경험칙”이 LLM 벤치마크에도 있는지, 그리고 모델이 그 경험칙을 실제로 쓰고 있는지를 정량적으로 확인한 것이다.
함의
이 결과는 #1이 정의한 구성개념 무관 분산의 교과서적 사례다. 벤치마크가 재려는 것은 “추론 능력”인데, 점수의 상당 부분이 “이 문항 텍스트에 어떤 단어가 몇 번 나오는가”라는, 추론과 아무 상관 없는 요인으로 설명된다. 저자들의 표현을 빌리면 — 완전히 통제된 벤치마크라면 문항의 한두 단어짜리 특징으로 정답을 예측할 수 있어서는 안 된다. 그런데 실제로는 절반 가까이가 그렇게 뚫린다. 이 논문의 처방은 명확하다. 자극(문항)의 무작위화·다양화·균형화가 AI 평가의 표준 관행이 되어야 한다 — 이는 뒤에서 볼 #6의 선택지 셔플, #20의 오염 회피 설계와 정확히 같은 방향의 요구다.
HELM — Holistic Evaluation of Language Models (Liang et al., TMLR 2023)
앞의 네 논문이 진단이었다면, HELM은 진단에 대한 설계상의 응답이다. Stanford CRFM(Percy Liang 외 다수 공저, 2022년 arXiv 공개, TMLR 2023년 게재)이 내놓은 이 벤치마크는 애초에 “단일 점수로 모델을 줄 세운다”는 관행 자체를 문제 삼는다.
단일 점수가 왜 구성타당도를 해치는가
지금까지 본 모든 실패 — 정의되지 않은 구성개념, 편의표집, 좁은 과제 — 는 결국 하나의 습관에서 증폭된다. 벤치마크 점수를 하나의 스칼라로 압축해 리더보드에 올리는 습관이다. 스칼라 하나는 “이 모델이 전반적으로 낫다”는 착시를 주지만, 그 하나의 숫자 뒤에는 서로 다른 능력·서로 다른 실패 양상이 뭉개져 있다.
HELM의 답은 압축하지 말고 행렬로 펼치는 것이다.
| 구성 요소 | 규모 |
|---|---|
| 시나리오(scenario) — task × domain 조합 | 핵심(core) 16개, 전체 42개(그중 26개는 기존 LM 평가에서 다뤄진 적 없던 시나리오) |
| 지표(metric) | 핵심 7개 — accuracy, calibration, robustness, fairness, bias, toxicity, efficiency |
| 평가 모델 | 30개(공개·제한 접근·비공개 모델 포함) |
| 가능한 조합 | 시나리오 × 지표가 원칙적으로 모두 계산되도록 설계(총 4,939개 model-scenario 실행) |
| 발견 | 상위 수준 발견 25개 |
핵심은 모든 시나리오에 모든 지표를 적용하려 시도한다는 점이다. 기존 관행이었다면 “정확도 벤치마크”와 “독성(toxicity) 벤치마크”를 서로 다른 논문에서 따로 발표했을 텐데, HELM은 같은 시나리오에 대해 정확도뿐 아니라 공정성·독성·효율성까지 나란히 보고한다. 그 결과 이전에는 평균적으로 핵심 시나리오의 17.9%만 평가되던 것이, HELM 이후 96.0%까지 커버리지가 올라갔다.
이 “커버리지”라는 발상 자체가 중요하다. 개별 논문이 각자 원하는 시나리오·지표 조합만 골라 보고하면, 독자는 보고되지 않은 조합에서 무슨 일이 벌어지는지 알 길이 없다 — 이것도 일종의 편의표집이다(내게 유리한 지표만 보고). HELM은 이 선택적 보고의 여지를 시스템적으로 없애, “보고 안 된 것”이 곧 “결측”임을 누구나 확인할 수 있게 만들었다.
이것이 구성타당도의 실천인 이유
HELM은 “어느 것이 최고의 모델인가”라는 질문 자체를 재정의한다. accuracy 하나가 아니라 accuracy-robustness-fairness-toxicity가 각각 다른 순위를 만들 수 있다는 것을 명시적으로 드러낸다. 즉 “종합 1위”라는 말을 할 수 없게, 혹은 그 말을 할 때 어떤 축에서 1위인지 반드시 명시하게 만드는 설계다.
이는 정확히 #1과 이번 글이 말하는 구성개념 부족의 해법이다 — “언어 모델 능력”이라는 하나의 거대한 구성개념을 하나의 지표로 뭉개지 말고, 그 구성개념이 실제로 여러 하위 요소(정확도만이 아니라 견고성·공정성·효율성)로 이뤄진다는 것을 점수 구조 자체에 반영한다. Bean et al.의 8개 권고 중 1번(“현상에 하위요소가 있으면 따로 측정하라”)을 시나리오 × 지표 행렬이라는 구체적 아키텍처로 구현한 사례가 HELM이다.
(짧게) It Takes Two to Tango (Subramonian et al., Findings of ACL 2023)
마지막으로 짧게 하나 더. Arjun Subramonian, Xingdi Yuan, Hal Daumé III, Su Lin Blodgett의 이 논문(arXiv 2305.09022)은 구성타당도 실패를 두 층위로 더 정밀하게 쪼갠다.
- 과제 개념화(task conceptualization)의 불일치 — 같은 이름의 과제(“coreference resolution”, “질의응답”)를 연구자마다 다르게 정의한다.
- 성능 측정의 조작화(operationalization) 불일치 — 같은 개념화 안에서도 그것을 어떤 지표·데이터셋으로 잴지가 갈린다.
8개 과제에 대한 문헌 메타분석과 실무자 설문을 함께 진행한 결과, 두 층위 모두에서 불일치가 만연했다. 이는 Bean et al.의 “47.8%가 논쟁적 정의”라는 수치, 그리고 Raji et al.의 “범용성” 비판을 한 단계 더 세밀한 분류법으로 재확인한다. 이 논문의 기여는 문제를 지적하는 데서 그치지 않고, 벤치마크 저자가 자기 설계의 개념화·조작화 선택을 문서화하도록 요구하는 프레임워크를 제시한다는 데 있다 — Bean et al.의 8번 권고(“구성타당도를 정당화하라”)와 같은 방향이다.
Experiments
지금까지 다룬 다섯(+1) 편이 공통으로 가리키는 결론은 하나다 — 벤치마크 실패는 몇 개의 개별 버그가 아니라, #1의 두 축(구성개념 부족 / 구성개념 무관 분산)으로 정리되는 반복 패턴이다. 이 시리즈 후반부에서 각각 더 깊이 다룰 알려진 벤치마크 문제들을 이 두 축으로 분류하면 다음과 같다.
| 알려진 문제 | 구성개념 부족 | 구성개념 무관 분산 | 이 시리즈에서 | 근거 |
|---|---|---|---|---|
| “범용 능력”이라는 과잉 주장 (GLUE, ImageNet) | ✓ | #1, #7, #9 | Raji et al. (2021) | |
| 정의되지 않았거나 논쟁적인 구성개념(47.8%) | ✓ | 본 글 | Bean et al. (2025) | |
| 편의표집으로 개념 공간을 대표 못 함(39.3%) | ✓ | 본 글 | Bean et al. (2025) | |
| MMLU 정답 오류·모호 문항(전체 약 6.49%, 일부 과목은 최대 57%) | ✓ | #7 | Gema et al., MMLU-Redux (2024) | |
| 선택지 위치·순서 편향 | ✓ | #6 | Zheng et al. (2024), Pezeshkpour & Hruschka (2023) | |
| 프롬프트 포맷 민감도(같은 과제, 포맷만 바꿔 최대 76점p 차이) | ✓ | #6 | Sclar et al., FormatSpread (2024) | |
| 표층 n-gram 단서로 정답 예측(19개 중 9개, κ > 0.2) | ✓ | 본 글 | Pacchiardi et al. (2024) | |
| 훈련 데이터 오염 | ✓ | #20 | Oren et al. (2023) 등 | |
| 소규모 문항 수로 인한 넓은 신뢰구간(MT-Bench 80문항) | ✓ | #9, #17 | Zheng et al., MT-Bench (2023) | |
| judge의 verbosity·self-enhancement 편향 | ✓ | #19 | Zheng et al., MT-Bench (2023) |
표를 읽는 법을 짚어두자. 왼쪽 열(구성개념 부족)에 속하는 문제들은 대체로 “설계 단계”의 실패다 — 애초에 무엇을 잴지 불명확했거나, 잴 대상을 좁게 표집했다. Bean et al.의 권고 1~4번(정의·측정 범위·표집·재사용 인정)이 이 열을 겨냥한다. 오른쪽 열(구성개념 무관 분산)에 속하는 문제들은 “실행·채점 단계”의 실패다 — 개념 정의는 멀쩡해도 채점 과정에서 잡음이 섞여 든다. Bean et al.의 권고 2, 5~7번(무관 요인 통제·오염 대비·통계 검정·오류 분석)이 여기 대응한다.
주목할 점은 한 벤치마크 안에 두 문제가 동시에 있는 경우가 흔하다는 것이다. 예를 들어 alignment 벤치마크는 “harmlessness”라는 정의부터 논쟁적인데(구성개념 부족), 동시에 judge 채점의 verbosity 편향까지 겹친다(구성개념 무관 분산). Bean et al.이 “거의 모든 논문이 적어도 한 영역에서 약점을 보였다”고 말한 게 바로 이런 중첩 때문이다.
Conclusion
이 글이 하려던 말은 “벤치마크를 버리자”가 아니다. Raji et al.도, Bowman & Dahl도, Bean et al.도 모두 같은 지점에서 멈춘다 — 벤치마크는 유용하다. 문제는 벤치마크가 감당할 수 없는 만큼 넓은 주장을 그 벤치마크에 얹는 것이다.
정리하면,
- 규모의 확인: 445편 체계 리뷰(Bean et al., 2025)가 구성개념 정의 결여(21.8%), 통계 검정 부재(84.0%), 타당도 근거 부재(46.6%)가 최상위 학회에서도 예외가 아니라 다수라는 것을 보였다.
- 왜 이런 일이 반복되나: “범용성”이라는 주장은 CTF라는 좁은 과제용 틀을 무한히 넓은 목표에 잘못 확장한 결과이고(Raji et al.), 이를 막을 최소 기준(강건성·주석 정확도·통계적 검정력·편향 노출)조차 대부분 못 지킨다(Bowman & Dahl).
- 가장 선명한 증거: 문항의 단어 몇 개만 세도 벤치마크 절반 가까이가 뚫린다(Pacchiardi et al.) — 구성개념 무관 분산이 이론이 아니라 관측 가능한 현상이라는 실증이다.
- 그래서 무엇을 해야 하나: 단일 점수를 시나리오 × 지표 행렬로 펼치는 것(HELM)이 처방의 한 축이고, Bean et al.의 8개 권고 체크리스트가 설계 단계의 처방이다.
벤치마크를 고르거나 만들 때 던질 세 줄 질문
이 글에서 나온 모든 논증을 실무 체크리스트 세 줄로 압축하면 이렇다.
- 이 점수가 재는 구성개념을 한 문장으로 말할 수 있는가? 말할 수 없다면(정의 21.8% 결여, 47.8% 논쟁적) 그 점수로 어떤 주장도 정당화할 수 없다.
- 점수 차이가 우연이 아니라는 근거가 있는가? 통계 검정을 한 벤치마크는 16.0%뿐이다. 신뢰구간이나 유의성 검정 없이 리더보드 순위를 그대로 믿지 말 것.
- 그 문항을 안 풀고도 정답을 맞힐 방법이 있는가? 선택지 순서, 프롬프트 포맷, 문항의 표층 단어만으로 위태로울 만큼(19개 중 9개, κ > 0.2) 정답이 새어 나간다.
세 질문 중 하나라도 “모르겠다”면, 그 벤치마크의 점수는 겉으로 보이는 것보다 훨씬 좁은 주장만 지지한다고 보는 게 안전하다.
앞으로 이 시리즈가 갈 방향도 이 결론에서 나온다. “주장의 범위를 점수가 실제로 지지하는 만큼으로 줄이는 것” — 이것이 구성타당도 문제의 실질적 해법이다. 이 줄이는 작업에는 두 가지 도구가 필요하다. 하나는 HELM처럼 다지표로 펼쳐 보고하는 것이고, 다른 하나는 벤치마크 자체를 평가하는 메타 지표다. #9에서 볼 Arena-Hard의 separability(모델을 신뢰구간으로 갈라내는 비율)와 agreement(사람 선호와의 일치율)가 그 메타 지표의 실례다 — “이 벤치마크가 정말 쓸모 있는 벤치마크인가”라는 질문에, 감이 아니라 숫자로 답하려는 시도다. 구성타당도는 한 번 확인하고 끝내는 체크박스가 아니라, 벤치마크가 살아 있는 동안 계속 재점검해야 하는 지속적 작업이라는 것 — 이것이 이 글이 남기는 핵심이다.
참고 문헌
- Bean et al. (University of Oxford), 2025. Measuring what Matters: Construct Validity in Large Language Model Benchmarks (NeurIPS 2025 Datasets and Benchmarks Track).
- Raji, Bender, Paullada, Denton, Hanna (Mozilla Foundation / UC Berkeley 외), 2021. AI and the Everything in the Whole Wide World Benchmark (NeurIPS 2021 Datasets and Benchmarks Track).
- Bowman & Dahl (NYU / Google Research), 2021. What Will it Take to Fix Benchmarking in Natural Language Understanding? (NAACL 2021).
- Pacchiardi, Tešić, Cheke, Hernández-Orallo (University of Cambridge), 2024. Leaving the barn door open for Clever Hans: Simple features predict LLM benchmark answers (arXiv 2410.11672).
- Liang et al. (Stanford CRFM), 2022. Holistic Evaluation of Language Models (TMLR 2023).
- Subramonian, Yuan, Daumé III, Blodgett, 2023. It Takes Two to Tango: Navigating Conceptualizations of NLP Tasks and Measurements of Performance (Findings of ACL 2023).
- Gema et al., 2024. Are We Done with MMLU? — MMLU-Redux, arXiv 2406.04127.
- Sclar, Choi et al., 2024. Quantifying Language Models’ Sensitivity to Spurious Features in Prompt Design (FormatSpread), ICLR 2024.
- Zheng, Zhou, Meng, Zhou, Huang, 2024. Large Language Models Are Not Robust Multiple Choice Selectors (ICLR 2024 Spotlight).
- Cronbach & Meehl (1955), Messick (1995/1998) — construct validity의 고전적 정본. #1 참고.
LLM 평가 체계 시리즈
이 글은 LLM 평가 체계 시리즈의 두 번째 글이다.
1부. 평가란 무엇인가
- 측정으로서의 평가 — 구성개념·조작화·타당도·신뢰도
- (현재 글) 벤치마크는 무엇을 재고 있나 — 벤치 445편 구성타당도 리뷰
2부. 무엇을 숫자로 만드나 — 평가 metric
- 척도와 허용 연산 — Likert 평균을 내도 되는가
- 분류 지표 — accuracy의 함정부터 PR-AUC까지
- 생성 지표와 그 타당도 — BLEU에서 COMET까지
- 객관식 평가는 왜 흔들리나 — 위치 편향과 포맷 민감도
3부. LLM 벤치마크 지형도
- 지식과 추론 — MMLU 계열의 흥망 — MMLU·GPQA·BBH·HELM
- 검증 가능한 도메인 — 수학과 코드 — GSM8K·MATH·HumanEval·SWE-bench
- 개방형 대화 — MT-Bench에서 Arena까지 — judge 기반 벤치의 등장
- 능력의 다른 축 — 지시따르기·긴 문맥·사실성
- 한국어 벤치마크 — 번역이 아니라 원산, 그리고 문화 타당도
4부. 사람이 읽는다 — 정성평가와 일치도
- 사람 평가 설계 — 루브릭·Likert·pairwise·BWS
- 우연을 빼다 — κ 계열 — Cohen·Fleiss·weighted·Krippendorff
- κ의 역설 — 일치율 90%인데 κ가 0.21
5부. 차이는 진짜인가 — 정량평가의 통계
- 점수는 추정치다 — 이항비율 신뢰구간과 Wald의 실패
- 차이는 유의한가 — paired bootstrap·순열검정·McNemar
- 몇 개를 재야 하나 — 검정력·표본크기·다중비교
- LLM eval의 통계 실무 — 클러스터 SE·IQM·분산 분해
6부. 신뢰할 수 있는 평가 체계
- judge를 통계로 다루기 — 편향·Bradley-Terry·PPI
- 오염·재현성·효율 — 오염 검정·harness·IRT
- 안전 평가의 통계와 체계 설계 — 희귀사건·calibration·체크리스트
본 시리즈는 21편으로 구성된다.
Enjoy Reading This Article?
Here are some more articles you might like to read next: