측정으로서의 평가 — 구성개념, 조작화, 타당도, 신뢰도
Introduction
“이 모델은 MMLU 87.3점이다.” 이 한 문장 안에는 서로 다른 두 가지가 겹쳐 있다.
하나는 관측(observation)이다. 14,042개 객관식 문항 중 모델이 정답과 일치하는 선택지를 고른 비율이 87.3%였다는, 그 자체로는 논쟁의 여지가 없는 산술이다. 다른 하나는 추론(inference)이다. “그러니 이 모델은 지식이 많다” 또는 “그러니 이 모델은 추론을 잘한다”는 해석이다. 문제는 이 문장을 말하고 듣는 순간 둘을 거의 구별하지 않는다는 점이다. 숫자는 확정적이고 해석은 잠정적인데, 숫자의 확정성이 해석에도 그대로 옮겨붙는다.
이 간극에 이름을 붙이고 다루는 학문이 측정론(measurement theory), 그중에서도 심리측정학(psychometrics)이다. 20세기 내내 심리학·교육학은 “지능”, “불안”, “적성” 같은 손에 잡히지 않는 대상을 시험 점수라는 숫자로 바꾸는 작업을 해왔고, 그 과정에서 반복해서 틀리고 반복해서 고쳐온 개념 체계를 갖고 있다. LLM 평가는 지금 그 역사를 같은 순서로 반복하는 중이다. “코딩 능력”, “추론 능력”, “정렬(alignment)” 같은 구성개념을 벤치마크 점수 하나로 바꾸면서, 심리측정학이 70년 전에 마주친 것과 똑같은 질문에 부딪힌다 — 이 점수는 정말 내가 재고 싶었던 것을 재고 있는가, 그리고 이 점수는 다시 재도 같은 값이 나오는가.
이 시리즈는 21편에 걸쳐 벤치마크 지형도, 사람 평가, 통계적 유의성, judge의 신뢰성까지 다룬다. 그 모든 논의가 공유할 어휘 — 구성개념(construct), 조작화(operationalization), 타당도(validity), 신뢰도(reliability) — 를 이 글에서 먼저 세운다. 결론을 먼저 요약하면 다음과 같다.
- 점수는 구성개념 → 조작적 정의 → 측정 모형 → 점수로 이어지는 사슬의 마지막 고리이며, 각 단계에서 정보가 버려진다.
- 타당도는 시험이라는 도구의 속성이 아니라, 그 점수를 어떻게 해석하고 쓰는지에 대한 속성이다.
- 신뢰도는 안정성이고, 타당도의 필요조건이지 충분조건이 아니다. 안정적으로 틀린 것을 잴 수 있다.
- 이 둘의 관계는 감쇠(attenuation) 정리로 정량화된다. 결론 한 줄: 신뢰도는 타당도의 상한이다.
비유를 하나 들자. 체온계로 “행복도”를 재려 한다고 하자. 체온계 자체는 흠 잡을 데 없이 정밀하다 — 같은 사람을 같은 조건에서 열 번 재면 열 번 다 같은 숫자가 나온다(신뢰도가 높다). 그런데 그 숫자는 행복도와 아무 상관이 없다(타당도가 없다). 심리측정학이 한 세기 동안 씨름해온 문제가 바로 이것이다 — “정밀하게 재는 것”과 “재고 싶은 것을 재는 것”은 서로 다른 축이라는 사실. LLM 평가에서도 이 두 축을 구별하지 못하면, 재현 가능하다는 이유만으로 벤치마크 점수를 곧이곧대로 믿게 된다.
Background
측정의 사슬
“코딩 능력이 좋다”는 문장에서 “HumanEval pass@1 67.0%”라는 숫자까지는 하나의 직선이 아니라 네 단계짜리 사슬이다.
| 단계 | 정의 | 코딩 능력 예시 |
|---|---|---|
| 구성개념 (construct) | 직접 관찰할 수 없는, 이론적으로 존재를 가정한 속성 | “코딩 능력” — 문제를 이해하고, 정확하고, 읽기 쉽고, 유지보수 가능한 코드를 작성하는 능력 |
| 조작적 정의 (operationalization) | 구성개념을 관찰 가능한 과제·문항으로 바꾼 것 | HumanEval의 164개 자기완결형 Python 함수 작성 문제 |
| 측정 모형 (measurement model) | 응답을 점수로 바꾸는 채점 규칙 | 생성된 코드가 hidden unit test를 통과하는지 여부(pass/fail), \(k\)개 샘플 중 하나라도 통과하면 성공으로 집계하는 pass@\(k\) |
| 점수 (score) | 최종적으로 보고되는 숫자 | pass@1 = 67.0% |
이 표를 왼쪽에서 오른쪽으로 읽을 때마다 정보가 버려진다는 것이 핵심이다.
- 구성개념 → 조작적 정의: “코딩 능력”이라는 넓은 개념 중 “자기완결형 함수를 처음부터 작성하는 능력”만 남고, 가독성·유지보수성·보안성·기존 코드베이스 이해·대규모 리팩토링 능력은 통째로 빠진다. 이렇게 구성개념의 일부가 조작화 과정에서 아예 대표되지 못하는 것을 뒤에서 다룰 논문(Jacobs & Wallach, 2021)은 구성개념 부족(construct underrepresentation)이라 부른다.
- 조작적 정의 → 측정 모형: 문항은 정해졌지만, 채점 규칙에도 가정이 숨어 있다. 테스트 케이스가 허술하면 실제로는 틀린 코드가 우연히 통과할 수 있고, 프롬프트 포맷(docstring 스타일, 함수 시그니처 표기)이 바뀌면 같은 능력의 모델도 다른 점수를 받는다. 이렇게 구성개념과 무관한 요인이 점수를 흔드는 것을 같은 논문은 구성개념 무관 분산(construct-irrelevant variance)이라 부른다.
- 측정 모형 → 점수: 164개 문항 각각의 성공·실패 패턴, 어떤 유형에서 강하고 약한지, 실패가 논리 오류인지 문법 오류인지 — 이 모든 분포 정보가 “67.0%”라는 스칼라 하나로 뭉개진다.
구성개념 부족과 구성개념 무관 분산, 이 두 용어는 이 시리즈 21편 내내 재사용할 것이다. 전자는 “재야 할 것을 덜 재는” 문제고, 후자는 “재지 말아야 할 것까지 재는” 문제다. 방향이 반대라는 점을 기억해두자.
Method
타당도: 검사가 아니라 해석의 속성
“이 벤치마크는 타당한가?”라는 질문은 사실 잘못된 질문이다. 타당도는 검사(test) 자체의 속성이 아니라, 그 점수로부터 끌어내는 해석과 그 해석에 근거한 쓰임의 속성이다. 저울을 예로 들면 이해하기 쉽다. 저울은 그 자체로 “타당”하거나 “부당”하지 않다. 저울로 몸무게를 재고 “이 사람의 체중은 70kg다”라고 해석하는 것은 타당하다. 그런데 같은 저울 눈금으로 “이 사람의 행복도”를 해석하겠다고 하면, 부당한 것은 저울이 아니라 그 해석이다.
같은 논리로 HumanEval은 “코드를 문제 설명으로부터 처음부터 생성하는 능력”에 대한 해석에는 타당할 수 있어도, “이 모델을 실제 소프트웨어 엔지니어로 배치해도 되는가”라는 해석에는 타당하지 않을 수 있다. 벤치마크가 문제가 아니라, 벤치마크 점수를 어디까지 밀어붙여 해석하느냐가 문제다.
1954년 APA 기술위원회 보고서(Technical Recommendations for Psychological Tests and Diagnostic Techniques)는 타당도를 예측·동시·내용·구성 네 범주로 공식화했고, 이후 실무에서는 이를 세 갈래로 묶어 불렀다.
| 타당도 종류 | 정의 | LLM 평가 예시 |
|---|---|---|
| 내용 타당도 (content validity) | 문항 집합이 구성개념이 다루는 영역을 얼마나 골고루 대표하는가 | MMLU 57개 과목이 “일반 지식”이라는 구성개념을 대표하는가 |
| 기준 타당도 (criterion validity) | 점수가 외부의 독립적인 기준(criterion)과 얼마나 일치하는가. 동시에 측정하면 동시 타당도(concurrent), 미래를 예측하면 예측 타당도(predictive) | 벤치마크 점수가 실제 사용자 만족도(외부 기준)를 예측하는가 |
| 구성 타당도 (construct validity) | 점수가 이론적으로 가정한 구성개념 그 자체를 얼마나 잘 반영하는가 | “MMLU 점수가 높다”가 정말 “지식이 많다”를 뜻하는가 |
이 세 갈래 중 구성 타당도는 애초부터 골칫거리였다. 내용 타당도와 기준 타당도는 “무엇과 비교할지”가 비교적 명확하다(교과과정, 실제 성과). 그런데 “지능”, “불안” 같은 구성개념은 비교할 외부 기준 자체가 존재하지 않는다 — 애초에 그 구성개념을 재기 위해 시험을 만드는 것이기 때문이다. Cronbach와 Meehl(1955)이 정면으로 다룬 것이 바로 이 문제이며, 자세한 내용은 아래 논문 요약에서 다룬다. 그리고 Messick(1995)은 이 세 갈래 자체를 인위적인 구분으로 보고, 모든 타당도를 구성 타당도 하나의 우산 아래로 통합한다.
신뢰도: 고전 검사 이론과 \(X = T + E\)
타당도가 “무엇을 재는가”의 문제라면, 신뢰도는 “얼마나 안정적으로 재는가”의 문제다. 고전 검사 이론(Classical Test Theory, CTT)은 이를 다음과 같이 분해한다.
\[X = T + E\]- \(X\): 관측 점수(observed score). 실제로 측정해서 얻는 값 — 예를 들어 어떤 모델이 어느 날 벤치마크에서 받은 점수.
- \(T\): 참값(true score). 같은 조건에서 무한히 반복 측정했을 때 관측 점수의 기댓값, \(T = E[X]\). “그 모델이 그 구성개념에서 실제로 갖는 값”에 대한 이상화된 개념이다.
- \(E\): 오차(error). 무작위 요인으로 인한 편차. \(E[E] = 0\)이고 \(\mathrm{Cov}(T, E) = 0\)을 가정한다 — 참값과 오차는 서로 독립이다.
이 분해에서 신뢰도(reliability coefficient)를 정의한다.
\[\rho_{XX'} = \frac{\sigma_T^2}{\sigma_X^2} = 1 - \frac{\sigma_E^2}{\sigma_X^2}\]- \(\sigma_T^2\): 참값의 분산. “진짜 차이” — 예를 들어 서로 다른 모델들이 실제로 갖는 능력 차이에서 오는 분산.
- \(\sigma_X^2\): 관측 점수의 총분산. \(\sigma_X^2 = \sigma_T^2 + \sigma_E^2\) (참값과 오차가 독립이므로 분산이 그대로 더해진다).
- \(\sigma_E^2\): 오차 분산. 우연·노이즈로 인한 변동.
직관은 이렇다. 관측된 전체 분산 중 “진짜 신호”가 차지하는 비율이 신뢰도다. \(\rho_{XX'} = 1\)이면 오차가 전혀 없는 것이고, \(\rho_{XX'} = 0\)이면 관측값이 전부 노이즈다. 신뢰도는 표기법이 특이한데, \(XX'\)는 “같은 검사를 두 번(또는 두 가지 방식으로) 측정했을 때 그 둘 사이의 상관”이라는 역사적 정의에서 온 것이다 — 실제로 신뢰도를 추정하는 가장 오래된 방법이 반복 측정 \(X\)와 \(X'\)의 상관계수를 구하는 것이었기 때문이다.
신뢰도는 하나로 정의되지 않는다. 무엇을 반복하느냐에 따라 종류가 갈린다.
| 종류 | 무엇을 반복하는가 | LLM 평가 맥락 | 함정 |
|---|---|---|---|
| 재검사 신뢰도 (test-retest) | 같은 검사를 시간차를 두고 다시 실시 | 같은 벤치마크를 다시 돌려 같은 점수가 나오는가 | greedy decoding이면 사실상 항상 1.0 — 결정론적 재현일 뿐 능력의 안정성을 보장하지 않는다 |
| 평행양식 신뢰도 (parallel-forms) | 같은 구성개념을 재는 다른 문항 집합으로 재측정 | HumanEval 대신 LiveCodeBench의 다른 문항으로 재도 비슷한 점수가 나오는가 | 문항 집합을 바꾸는 순간 오염·과적합이 드러나는 경우가 많다 |
| 내적일관성 (internal consistency) | 같은 검사 안의 문항들 사이의 일관성 (split-half, Cronbach \(\alpha\)) | 벤치마크 문항들 사이 응답 패턴이 서로 얼마나 일치하는가 | 문항 수가 많아지면 내용과 무관하게 값이 오른다(아래 참조) |
| 평가자간 신뢰도 (inter-rater) | 같은 대상을 여러 평가자(사람 또는 judge)가 채점 | 사람 평가자 또는 LLM judge 두 명이 같은 응답에 비슷한 점수를 매기는가 | 평가자 정의가 불명확하면 애초에 같은 것을 재고 있지 않을 수 있다 (κ 계열은 #13~#14) |
이 네 종류 중 어느 것도 서로를 대체하지 않는다는 점이 중요하다. 재검사 신뢰도가 1.0이어도 평행양식 신뢰도는 무너질 수 있다 — 이 현상은 Experiments 절에서 직접 다룬다.
Cronbach \(\alpha\)와 그 함정
내적일관성을 정량화하는 가장 흔한 지표가 Cronbach \(\alpha\)다.
\[\alpha = \frac{k}{k-1}\left(1 - \frac{\sum_{i=1}^{k} \sigma_i^2}{\sigma_X^2}\right)\]- \(k\): 문항(또는 채점 요소) 수.
- \(\sigma_i^2\): \(i\)번째 문항 점수의 분산.
- \(\sigma_X^2\): 문항들을 합산한 총점의 분산.
직관: 문항들이 서로 강하게 상관되어 있을수록(=같은 것을 재고 있을수록) 개별 문항 분산의 합보다 총점 분산이 훨씬 커진다 — 오차는 서로 상쇄되지 않고 진짜 신호는 누적되기 때문이다. 이 초과분의 비율이 \(\alpha\)다.
평균 문항간 상관 \(\bar{r}\)로 다시 쓰면 함정이 더 잘 보인다(Spearman-Brown 예측 공식의 변형이다).
\[\alpha = \frac{k\bar{r}}{1 + (k-1)\bar{r}}\]이 형태의 미덕은 문항의 질(\(\bar{r}\))과 문항의 수(\(k\))가 분리돼 있다는 것이다. 그래서 각각이 어떻게 기여하는지 미분으로 바로 확인할 수 있다. \(\bar{r} = r\)로 두고 분모를 \(1 - r + kr\)로 정리한 뒤 \(k\)로 미분한다.
\[\frac{d\alpha}{dk} = \frac{r(1-r+kr) - kr \cdot r}{(1-r+kr)^2} = \frac{r - r^2 + kr^2 - kr^2}{(1-r+kr)^2} = \frac{r(1-r)}{(1-r+kr)^2}\]\(kr^2\)이 상쇄되어 분자에 \(r(1-r)\)만 남는다. 여기서 두 가지가 곧바로 따라온다.
- \(0 < r < 1\)이면 분자는 양수고 분모는 제곱이라 항상 양수다 → \(\alpha\)는 \(k\)에 대해 엄격히 단조증가한다.
- \(r = 0\)이면 분자가 0이 되어 \(\alpha\)는 \(k\)와 무관하게 0에 머문다. “\(\bar{r}\)이 조금이라도 양수인 한”이라는 조건이 여기서 나온다.
극한도 확인해두자. 분자·분모를 \(k\)로 나누면
\[\lim_{k \to \infty} \frac{kr}{1-r+kr} = \lim_{k \to \infty} \frac{r}{\frac{1-r}{k} + r} = \frac{r}{r} = 1\]즉 평균 상관이 아무리 작아도 문항을 무한히 늘리면 \(\alpha\)는 1로 간다. 문항의 질과 무관하게 말이다.
토이 예제: 문항 수만 늘려서 \(\alpha\) 부풀리기
숫자로 직접 확인해보자. 평균 문항간 상관을 \(\bar{r} = 0.30\)으로 고정한 채(=문항의 내용적 다양성은 전혀 달라지지 않은 채) 문항 수 \(k\)만 두 배씩 늘려간다.
| 문항 수 \(k\) | 계산 | \(\alpha\) |
|---|---|---|
| 4 | \(\dfrac{4 \times 0.30}{1 + 3 \times 0.30}\) | 0.632 |
| 8 | \(\dfrac{8 \times 0.30}{1 + 7 \times 0.30}\) | 0.774 |
| 16 | \(\dfrac{16 \times 0.30}{1 + 15 \times 0.30}\) | 0.873 |
| 32 | \(\dfrac{32 \times 0.30}{1 + 31 \times 0.30}\) | 0.932 |
문항이 4개일 때는 “그럭저럭”으로 보이던 \(\alpha = 0.632\)가, 같은 유형의 문항을 8배로 늘리는 것만으로 \(\alpha = 0.932\)까지 오른다. 그런데 이 표 어디에도 “문항이 구성개념을 더 폭넓게 대표하게 됐다”는 정보는 없다 — \(\bar{r} = 0.30\)이라는 문항간 유사도는 처음부터 끝까지 그대로다.
평균 상관이 아주 낮아도 통과한다
\(\bar{r}\)을 더 낮춰보면 문제의 규모가 드러난다.
| \(\bar{r}\) | k=4 | k=8 | k=16 | k=32 | k=64 | k=128 |
|---|---|---|---|---|---|---|
| 0.05 | 0.174 | 0.296 | 0.457 | 0.627 | 0.771 | 0.871 |
| 0.10 | 0.308 | 0.471 | 0.640 | 0.780 | 0.877 | 0.934 |
| 0.20 | 0.500 | 0.667 | 0.800 | 0.889 | 0.941 | 0.970 |
| 0.30 | 0.632 | 0.774 | 0.873 | 0.932 | 0.965 | 0.982 |
평균 문항간 상관이 0.05 — 사실상 서로 무관한 문항들 — 이어도 128문항이면 \(\alpha = 0.871\)이다. 관습적 해석 기준으로는 “good”에 해당한다.
거꾸로 “\(\alpha \ge 0.7\)“이라는 흔한 관문을 통과하는 데 필요한 문항 수를 풀어보자. \(\alpha\)에 대해 \(k\)를 정리하면
\[k^{*} = \frac{(1-\bar{r})\,\alpha}{\bar{r}\,(1-\alpha)}\]| \(\bar{r}\) | 0.02 | 0.05 | 0.10 | 0.20 | 0.30 |
|---|---|---|---|---|---|
| 필요 문항 \(k^*\) | 114 | 44 | 21 | 9 | 5 |
문항을 충분히 늘리기만 하면 어떤 \(\bar{r}\)에서도 관문을 통과한다. 그래서 “우리 벤치마크는 \(\alpha\)가 0.9를 넘는다”는 문장은, 문항 수를 함께 밝히지 않으면 정보량이 0이다.
실제 벤치마크에 대입하면 결론이 잔인해진다. MMLU 테스트셋은 약 14,042문항이다. 문항들이 거의 서로 무관한 \(\bar{r} = 0.01\)을 가정해도
\[\alpha = \frac{14042 \times 0.01}{1 + 14041 \times 0.01} = \frac{140.42}{141.41} = 0.993\]즉 “MMLU는 내적일관성이 높다”는 문장은 아무것도 말해주지 않는다. 문항이 많으니 그렇게 될 수밖에 없다.
그런데 이것은 \(\alpha\)의 버그가 아니다
중요한 구분이다. \(\alpha\)는 애초에 총점(composite)의 신뢰도를 추정하는 지표이고, 문항을 늘리면 총점 신뢰도는 정말로 올라간다. 메커니즘은 앞서 본 총점 분산 분해에 있다.
- 총점 분산의 공분산항은 \(k(k-1)\)개 — 즉 \(k^2\)에 비례해 늘어난다. 여기가 문항들이 공유하는 신호다.
- 분산항은 \(k\)개 — 즉 \(k\)에 비례해 늘어난다. 여기에 각 문항의 오차가 들어 있다.
- 신호가 \(k^2\)로, 오차가 \(k\)로 자라니 그 비율은 1에 수렴한다.
문항을 늘리면 개별 문항의 오차가 서로 상쇄되므로 총점은 실제로 더 안정적이 된다. \(\alpha\)는 자기 일을 정확히 하고 있는 것이다.
함정은 \(\alpha\)를 다른 것의 증거로 쓰는 데 있다. 두 양을 구분하면 명확해진다.
| 양 | 실제로 재는 것 | \(k\)에 의존하는가 |
|---|---|---|
| \(\bar{r}\) | 문항 수준 응집성 — 문항들이 같은 것을 재는가 | 불변 |
| \(\alpha\) | 총점의 신뢰도 — 합산 점수가 안정적인가 | 단조증가 |
그래서 “\(\alpha\)가 0.9니 이 벤치마크는 하나의 능력을 일관되게 잰다”는 추론은 성립하지 않는다. \(\alpha\)는 단일차원성(unidimensionality)의 증거가 될 수 없다. Sijtsma (2009)가 정확히 이 점을 못 박는다 — “It can be shown easily that alpha is unrelated to the internal structure of the test.”
그래서 무엇을 보아야 하나
- \(\bar{r}\)을 \(\alpha\)와 함께 보고한다. \(k\)에 불변인 양이라 문항 수를 늘려 부풀릴 수 없다.
- 단일차원성을 주장하려면 인자분석이나 문항반응이론(IRT)을 쓴다. #20의 IRT가 이 자리를 메운다 — 문항마다 변별도 \(a\)를 추정하므로 “이 문항이 실제로 능력 차이를 갈라내는가”를 문항 단위로 볼 수 있다. 변별도가 0인 문항은 아무리 많아도 정보량이 0인데, \(\alpha\)는 그것을 구분하지 못한다.
- \(\alpha\)는 문항 적재량이 같다는 가정(tau-equivalence) 아래서만 신뢰도의 하한이다. 그 가정이 깨지면 McDonald의 \(\omega_t\)나 greatest lower bound 같은 대안을 쓴다.
- 소척도를 하나로 합치는 근거로 \(\alpha\)를 쓰지 않는다. MMLU의 57개 과목을 단일 점수로 합산하는 것이 정당한지는 \(\alpha\)가 답해주지 않는다.
도함수에서 부수적으로 하나 더 읽을 수 있다. \(d\alpha/dk\)의 분모가 \(k^2\)에 비례하므로 문항당 이득은 급격히 줄어든다(\(\bar{r} = 0.30\)일 때 \(k=4\)에서 0.058, \(k=128\)에서 0.00014). 그런데도 누적하면 1에 도달한다 — 걸음이 계속 작아지는데 목적지에는 닿는 구조다. 실무적으로는 어느 지점을 넘으면 문항을 늘려도 \(\alpha\)만 오르고 재는 대상은 전혀 나아지지 않는다는 뜻이다.
정리하면 이것이 함정이다. 벤치마크 문항 수를 100개에서 1,000개로 늘리면 \(\alpha\)는 거의 항상 오른다. 그런데 새로 추가한 900개가 기존 100개와 거의 동일한 유형이라면, 늘어난 것은 내용의 폭이 아니라 같은 것을 반복 측정하는 횟수뿐이다. 높은 \(\alpha\)는 “이 벤치마크가 일관되게 무언가를 잰다”는 것만 보장하고, “그 무언가가 구성개념을 폭넓게 대표한다”는 것은 전혀 보장하지 않는다. 내적일관성은 높으면서 내용 타당도는 좁은, 겉보기에만 그럴듯한 벤치마크가 이렇게 만들어진다.
타당도 × 신뢰도: 2×2 표
타당도와 신뢰도는 서로 독립인 두 축이다. 양궁 과녁에 비유하면 직관적이다 — 화살이 과녁 중심(재고 싶은 진짜 구성개념) 근처에 모이는가가 타당도, 화살들이 서로 가까이 모이는가(어디를 겨누든)가 신뢰도다.
| 타당도 높음 | 타당도 낮음 | |
|---|---|---|
| 신뢰도 높음 | 이상적. 화살이 중심 근처에 촘촘히 모인다 | 가장 위험. 화살이 중심에서 벗어난 한 지점에 촘촘히 모인다 |
| 신뢰도 낮음 | 평균은 중심 근처지만 개별 관측은 믿을 수 없다. 화살이 중심 주변에 넓게 흩어진다 | 최악. 화살이 중심에서 벗어난 채 넓게 흩어진다 |
네 칸 중 가장 다루기 까다로운 것은 “신뢰도 높고 타당도 낮음” 칸이다. 왜 이 칸이 가장 위험한가 — 안정성이 정당성으로 오인되기 때문이다. 벤치마크 점수가 매번 똑같이 나오면(재현된다는 사실 자체가), 사람들은 그 안정감을 “이 점수를 믿어도 된다”는 신호로 착각한다. 그런데 재현성은 오차가 작다는 것만 말해줄 뿐, 그 점수가 재고 싶었던 구성개념을 재고 있다는 것은 전혀 말해주지 않는다. 안정적으로 잘못된 곳을 겨누는 저격수가 이 칸에 해당한다. Goodhart의 법칙(“측정이 목표가 되면 좋은 측정이길 멈춘다”)이 실제로 작동하는 자리도 바로 여기다 — 오염되거나 과적합된 벤치마크는 반복 실행해도 거의 항상 같은 높은 점수를 내놓지만(신뢰도 높음), 더 이상 원래 재려던 구성개념을 재지 못한다(타당도 낮음).
반대편 “신뢰도 낮고 타당도 높음” 칸도 실무에서 놓치기 쉽다. 이 칸은 평균적으로는 옳지만 개별 관측은 믿을 수 없는 상황이다. 예를 들어 LLM judge 한 명에게 응답 하나를 단 한 번만 채점하게 하면, 그 판정은 편향되지 않았을 수 있어도(타당도는 있어도) 같은 응답을 다시 채점시켰을 때 다른 점수가 나올 만큼 들쭉날쭉하다(신뢰도가 낮다). 이 경우 단일 관측값 하나를 근거로 “이 모델이 저 모델보다 낫다”고 결론 내리는 것은 위험하다 — 평균을 내면 참값에 수렴하지만, 표본 하나로는 그 평균에 얼마나 가까운지조차 알 수 없기 때문이다. 이 문제는 판정 하나에 신뢰구간을 붙이는 문제로 이어지며, #15 신뢰구간와 #19 judge 통계에서 정식으로 다룬다.
감쇠(attenuation) 정리 — 신뢰도는 타당도의 상한
이제 타당도와 신뢰도를 하나의 식으로 묶는다. 이 시리즈에서 가장 자주 인용하게 될 결과다.
두 측정값 \(X\)(예: 자동 평가 지표)와 \(Y\)(예: 사람 평가 점수)가 각각 CTT 분해를 따른다고 하자.
\[X = T_X + E_X, \qquad Y = T_Y + E_Y\]오차는 참값과, 그리고 서로 다른 측정의 오차끼리도 독립이라고 가정한다(\(\mathrm{Cov}(E_X, T_Y) = \mathrm{Cov}(E_X, E_Y) = 0\) 등). 이제 관측값 사이의 상관 \(r_{XY}\)를 유도해보자.
\[\mathrm{Cov}(X, Y) = \mathrm{Cov}(T_X + E_X,\ T_Y + E_Y) = \mathrm{Cov}(T_X, T_Y)\]오차 항이 전부 사라지고 참값끼리의 공분산만 남는다. 여기에 \(\rho_{T_X T_Y} = \mathrm{Cov}(T_X, T_Y) / (\sigma_{T_X}\sigma_{T_Y})\)를 대입하고, \(\sigma_{T_X} = \sigma_X\sqrt{\rho_{XX'}}\), \(\sigma_{T_Y} = \sigma_Y\sqrt{\rho_{YY'}}\)(신뢰도 정의를 재배열한 것)를 쓰면
\[r_{XY} = \frac{\mathrm{Cov}(X,Y)}{\sigma_X \sigma_Y} = \frac{\rho_{T_X T_Y}\, \sigma_{T_X} \sigma_{T_Y}}{\sigma_X \sigma_Y} = \rho_{T_X T_Y}\sqrt{\rho_{XX'}\,\rho_{YY'}}\]이것이 감쇠 정리(attenuation theorem)다.
- \(\rho_{T_X T_Y}\): 두 구성개념의 참값 사이 상관. 오차 없이 완벽하게 측정했을 때 \(X\)가 재려는 구성개념과 \(Y\)가 재려는 구성개념이 실제로 얼마나 관련 있는지를 나타낸다.
- \(\rho_{XX'}, \rho_{YY'}\): 각각의 신뢰도. 둘 다 \([0, 1]\) 구간에 있다.
- \(r_{XY}\): 우리가 실제로 관측하는, 오차가 섞인 상관.
\(\sqrt{\rho_{XX'}\rho_{YY'}} \le 1\)이므로 항상 \(\lvert r_{XY} \rvert \le \lvert \rho_{T_X T_Y} \rvert\)다. 즉 관측 상관은 참값 상관보다 절대 크지 않다 — 오차는 상관관계를 깎을지언정 만들어내지 않는다. 뒤집어 말하면, 두 구성개념이 완벽히 같은 것이라 해도(\(\rho_{T_X T_Y} = 1\)) 관측할 수 있는 최대 상관은 \(\sqrt{\rho_{XX'}\rho_{YY'}}\)를 절대 넘지 못한다. 신뢰도가 낮은 측정끼리는, 아무리 같은 것을 재고 있어도 낮은 상관밖에 관측되지 않는다. 이것이 “신뢰도는 타당도의 상한이다”라는 문장의 정확한 의미다 — 여기서 타당도는 관측 가능한 형태로는 \(r_{XY}\)(예: 자동 지표와 사람 평가 사이의 일치도)로 근사되는데, 그 상한이 두 신뢰도의 기하평균으로 못박혀 있다.
감쇠 보정
관측된 \(r_{XY}\)에서 오차의 영향을 역산해 참값 상관을 복원할 수 있다.
\[\hat{\rho}_{T_X T_Y} = \frac{r_{XY}}{\sqrt{\rho_{XX'}\,\rho_{YY'}}}\]신뢰도로 나눠주는 것뿐이므로, 신뢰도가 1보다 작은 한 보정값은 원래 관측값보다 항상 크거나 같다. 뒤에 나올 수치 예제가 이 보정이 결론을 어떻게 뒤집는지 직접 보여준다.
다만 이 보정에는 명확한 한계가 있다. 신뢰도 추정치 자체가 부정확하면, 보정값이 1을 넘어갈 수 있다 — 상관계수는 정의상 \([-1, 1]\)을 벗어날 수 없으므로, \(\hat{\rho} > 1\)은 통계적으로 불가능한 결과이며 “신뢰도 추정이 잘못됐다”는 경고 신호로 읽어야 한다. 감쇠 보정은 신뢰도 추정의 오차에 그대로 노출되는, 추정치의 추정치라는 사실을 기억해둘 필요가 있다.
Cronbach & Meehl (1955) — 법칙적 관계망
Construct Validity in Psychological Tests (Cronbach & Meehl, Psychological Bulletin 52(4), 1955)
1954년 APA 기술위원회 보고서가 예측·동시·내용·구성 타당도라는 네 범주를 처음 공식화했고, 위원회 위원장이 Cronbach였다. 그 이듬해 Cronbach와 Meehl은 네 범주 중 가장 다루기 까다로웠던 구성 타당도를 이론적으로 정교화한 논문을 내놓는다. 이 논문이 오늘날까지 인용되는 이유는 구성 타당도가 필요한 상황을 명확히 규정했기 때문이다.
- 적절한 기준(criterion)이 존재하지 않을 때. 기준 타당도는 외부의 독립적인 잣대가 있어야 성립하는데, “지능”이나 “불안” 같은 구성개념에는 그런 잣대 자체가 없다.
- 조작적 정의만으로는 불충분할 때. 저자들은 “배고픔”을 그저 “마지막 식사 이후 경과 시간”으로 정의하는 방식에 저항한다 — 그런 정의는 손쉽지만, 우리가 실제로 이해하고 싶은 배고픔이라는 현상의 풍부함을 놓친다.
여기서 저자들이 도입하는 핵심 장치가 법칙적 관계망(nomological network)이다. 정의는 이렇다 — 구성개념은 홀로 정의되지 않는다. 구성개념은 (1) 관찰 가능한 속성들 사이의 관계, (2) 이론적 구성개념과 관찰 가능한 것들 사이의 관계, (3) 서로 다른 이론적 구성개념들 사이의 관계, 이 세 종류의 “법칙”이 얽혀 만드는 그물망 속에서만 의미를 갖는다. “무언가를 과학적으로 명확히 한다는 것은 그것이 관여하는 법칙들을 제시하는 것”이라는 것이 저자들의 표현이다.
이 관점이 낳는 결론은 날카롭다. 구성 타당도 검증은 이론 검증과 분리되지 않는다. 어떤 시험 점수가 “지능”이라는 구성개념을 재는지 확인하려면, 그 점수가 관계망 속 다른 예측들 — 나이가 들면서 어떻게 변하는지, 다른 지능 검사와 얼마나 상관되는지, 학업 성취를 예측하는지, 무관해야 할 것(예: 키)과는 무관한지 — 을 실제로 만족하는지 전부 확인해야 한다. 만약 예측이 어긋나면, 시험이 나쁜 것인지 이론이 틀린 것인지조차 시험 하나만으로는 구별할 수 없다.
이를 LLM 평가로 옮기면 이렇다. “MMLU가 추론 능력을 잰다”는 주장은 MMLU 점수 하나로 검증되지 않는다. MMLU가 다른 독립적인 추론 벤치마크와 상관관계를 보이는지, chain-of-thought 프롬프팅 같은 이론적으로 추론을 돕는다고 알려진 개입에 예측된 방향으로 반응하는지, 훈련 데이터 오염처럼 구성개념과 무관한 요인으로도 점수가 오르지는 않는지 — 이 관계망 전체가 뒷받침될 때 비로소 “MMLU는 추론을 잰다”는 해석이 타당해진다. 이 시리즈 #2가 바로 이 질문, 즉 벤치마크들이 이 관계망 검증에서 실제로 어디까지 성공했고 어디서 실패했는지를 다룬다.
Messick (1995) — 타당도의 여섯 국면
Validity of Psychological Assessment (Messick, American Psychologist 50(9), 1995)
Messick은 앞서 본 삼분법(내용·기준·구성 타당도)을 인위적인 구분으로 본다. 그의 주장은 급진적이다 — 타당도는 하나이며, 그것은 구성 타당도다. 내용 타당도와 기준 타당도로 불리던 것들은 사실 구성 타당도를 뒷받침하는 서로 다른 증거의 종류일 뿐이라는 것이다. 이 통합된 구성 타당도 안에서 Messick은 여섯 개의 뚜렷한 국면(aspect)을 구분한다.
| 국면 | 묻는 질문 | LLM 평가로 옮기면 |
|---|---|---|
| 내용(content) | 과제가 구성개념이 다루는 영역을 제대로 커버하는가 | MMLU 57개 과목이 “일반 지식”의 대표 표본인가, 특정 시험 문화권에 치우쳐 있는가 |
| 실질(substantive) | 응시자가 실제로 사용하는 사고 과정이, 그 영역에서 이론적으로 가정하는 과정과 일치하는가 | 모델이 정말 “추론”해서 정답을 고르는가, 아니면 선택지 표면 패턴을 이용하는가(#6에서 다룰 위치 편향이 그 증거) |
| 구조(structural) | 채점 체계가 구성개념 내부의 구조(하위 요인들의 관계)를 반영하는가 | 57개 과목 점수를 단순 평균해 하나의 스칼라로 합치는 것이 과목 간 난이도·상관 구조를 무시하지는 않는가 |
| 일반화가능성(generalizability) | 결과가 평가자·과제·시점 같은 조건을 바꿔도 재현되는가 | 프롬프트 포맷·선택지 순서를 바꿔도 같은 순위가 나오는가(#6 FormatSpread) |
| 외적(external) | 다른 측정치들과의 수렴·판별 증거가 예상대로 나타나는가 | MMLU 점수가 다른 독립적 추론 벤치와 상관되는가, 관련 없어야 할 속성(응답 길이 등)과는 무관한가 |
| 결과(consequential) | 점수의 해석과 사용이 낳는 의도된·의도되지 않은 결과는 무엇인가 | 리더보드 순위가 벤치마크에 맞춘 학습 데이터 큐레이션을 유발하는가(#20 오염) |
여섯 국면 중 마지막 결과 타당도가 유독 이질적이라는 점을 짚어야 한다. 앞의 다섯은 모두 “이 점수가 구성개념을 정확히 반영하는가”를 묻는다. 그런데 결과 타당도는 방향이 다르다 — “이 측정을 실제로 쓰면 세상에 무슨 일이 벌어지는가”를 묻는다. Messick의 논리는 이렇다. 측정은 단지 세상을 있는 그대로 반영하는 데서 그치지 않고, 측정이 쓰이는 순간 세상에 구조를 되먹임한다. 학교가 표준화 시험 점수로 교사를 평가하면, 교사는 “시험에 나올 것만” 가르치게 된다(“teaching to the test”). 그 결과 점수는 오르지만, 애초에 시험이 재려 했던 “교육의 질”이라는 구성개념과 점수 사이의 관계 자체가 왜곡된다. 즉 측정의 결과가 다시 그 측정이 재는 대상을 바꿔버린다.
이 자리가 바로 Goodhart의 법칙(“어떤 지표가 목표가 되면 그 지표는 더 이상 좋은 지표가 아니게 된다”)이 측정론 안에 정식으로 편입되는 지점이다. Goodhart의 법칙은 종종 통계 바깥의 경구처럼 인용되지만, Messick의 틀에서는 그렇지 않다 — 그것은 결과 타당도라는, 타당도의 여섯 국면 중 하나가 무너지는 구체적인 메커니즘이다. LLM 평가에서는 리더보드 순위를 올리기 위해 벤치마크와 유사한 데이터로 학습하는 관행, 혹은 judge가 선호하는 형식에 맞춰 응답을 최적화하는 관행이 전부 이 결과 타당도의 실패 사례다. 이 주제는 #20 오염·재현성에서 정량적으로 다시 다룬다.
Jacobs & Wallach (2021) — 구성개념 부족과 구성개념 무관 분산
Measurement and Fairness (Jacobs & Wallach, University of Michigan / Microsoft Research, FAccT 2021)
이 논문은 심리측정학의 측정 모형을 계산 시스템의 공정성(fairness) 문제로 옮겨온다. 저자들의 출발점은 이렇다 — 사회경제적 지위, 교사 효과성, 재범 위험 같은 계산 시스템이 다루는 많은 대상은 관찰 불가능한 이론적 구성개념이며, 직접 잴 수 없으므로 관찰 가능한 속성(그리고 다른 구성개념)으로부터 측정 모형(measurement model)을 통해 추론(=조작화)할 수밖에 없다. 그리고 공정성 관련 피해의 상당수는 이론적 이해와 조작화 사이의 불일치에서 직접 발생한다는 것이 이 논문의 핵심 주장이다.
논문은 이를 다루기 위해 두 개념을 공정성 지향적으로 재정의한다.
- 구성개념 신뢰도(construct reliability): 통계학의 정밀도(precision)에 대응. 비슷한 입력이 다른 시점에 주어져도 비슷한 출력이 나오는가를 묻는다.
- 구성개념 타당도(construct validity): 통계학의 불편성(unbiasedness)에 대응. 측정이 실제로 의미 있고 유용한가를 묻는다.
저자들은 여러 학문 전통(정치학·교육학·심리학)을 통합해 구성 타당도를 일곱 개 국면으로 정리한다 — 안면(face) 타당도, 내용(content) 타당도(다시 그 구성개념의 논쟁성·실질적 타당도·구조적 타당도라는 세 하위 요소로 나뉜다), 수렴(convergent) 타당도, 판별(discriminant) 타당도, 예측(predictive) 타당도, 가설(hypothesis) 타당도, 결과(consequential) 타당도다. Messick의 여섯 국면과 겹치면서도, 안면·수렴·판별·가설 타당도를 별도로 세워 더 세분화한 형태다.
논문이 든 사례들이 구체적으로 보여주는 두 종류의 실패가 있는데, 이는 원래 Messick(1989)이 구분한 두 가지 타당도 위협과 정확히 대응한다.
- 구성개념 부족(construct underrepresentation): 측정이 구성개념의 중요한 면을 놓치는 것. 논문이 드는 SAS EVAAS(교사 효과성 부가가치 모형) 사례가 그렇다 — 이 모형은 “교사 효과성이 학생의 시험 점수만으로 완전히 포착된다”고 가정하지만, 실제 교사 효과성은 그보다 훨씬 넓은 개념이다. 같은 교사가 2년 연속 100점 만점에 6점, 96점이라는 극단적으로 다른 점수를 받은 실제 사례(Weapons of Math Destruction에서 인용)가 이 조작화의 부실함을 드러낸다.
- 구성개념 무관 분산(construct-irrelevant variance): 측정이 구성개념과 무관한 요인에 의해 흔들리는 것. 논문이 드는 COMPAS(재범 위험 평가) 사례가 그렇다 — COMPAS는 “2년 내 경범죄 또는 중범죄로 체포”를 재범의 대리 지표로 쓰는데, 체포 기록은 실제 범죄뿐 아니라 치안 활동의 인종적 편향도 함께 반영한다. 재범이라는 구성개념과 무관한 분산(치안 편향)이 점수에 섞여 들어간 것이다.
Background 절에서 이미 이 두 용어를 코딩 능력 사례에 적용해봤다. HumanEval이 가독성·유지보수성을 놓치는 것이 구성개념 부족, 허술한 테스트 케이스나 프롬프트 포맷이 점수를 흔드는 것이 구성개념 무관 분산이다. 이 대응관계를 기억해두면 이후 시리즈 전체에서 “이 벤치마크는 어디서 깨졌는가”를 이 두 축으로 분류할 수 있다.
논문 후반부는 한 걸음 더 나아가 공정성(fairness) 자체를 구성개념으로 다룬다. 저자들은 공정성이 맥락마다, 심지어 서로 충돌하는 방식으로 여러 이론적 이해를 갖는 본질적으로 경합적인 구성개념(essentially contested construct)이라고 주장한다 — 개인 공정성과 집단 공정성, error-rate balance와 predictive parity처럼, 표면적으로는 같은 “공정성”을 조작화한 것 같지만 실은 서로 다른, 때로는 동시에 만족할 수 없는 이론적 이해를 조작화한 것이다. 이 지적은 LLM 평가에도 그대로 옮겨온다. “도움이 됨(helpfulness)”, “안전함(safety)”, “정렬(alignment)” 같은 구성개념 역시 평가자·조직·문화마다 다른, 때로는 충돌하는 이해를 갖는 경합적 구성개념이다. 이 시리즈가 다루지 않는 안전성 평가 전반의 체계 설계는 #21에서, 그리고 이 블로그의 Red-Teaming·RLHF Reward 설계 시리즈에서 별도로 다룬다.
Experiments
코딩 능력의 사슬: HumanEval pass@1 다시 따라가기
앞서 Background에서 스케치한 사슬을, 검증된 수치와 함께 다시 따라가 본다.
| 단계 | 구체적 내용 | 무엇이 버려지는가 |
|---|---|---|
| 구성개념 | “코딩 능력” | — |
| 조작적 정의 | HumanEval — Chen et al.(2021, OpenAI)이 만든 164개 자기완결형 Python 함수 작성 문제, docstring이 문제 설명 | 구성개념 부족: 가독성·유지보수성·보안성·다중 파일 협업·기존 코드베이스 이해가 전부 범위 밖 |
| 측정 모형 | 생성 코드가 hidden unit test를 통과하는지로 채점, pass@\(k\)로 집계 | 구성개념 무관 분산: 테스트 커버리지가 허술하면 실제로 틀린 코드가 통과로 채점된다 |
| 점수 | 예: GPT-4의 HumanEval pass@1 = 88.4% | 문항별 성공·실패 분포 정보가 스칼라 하나로 소실 |
세 번째 단계의 “구성개념 무관 분산”은 추측이 아니라 실측으로 확인된다. Liu et al.(2023)의 EvalPlus/HumanEval+는 원래 HumanEval의 테스트 케이스가 문항당 평균 몇 개에 불과해 정답 여부를 제대로 검증하지 못한다는 점을 지적하고, LLM 기반 시드 생성과 타입 인식 뮤테이션으로 테스트 케이스를 약 80배 증강했다. 그 결과 여러 모델의 pass@1이 큰 폭으로 떨어졌는데, 대표적으로 GPT-4의 HumanEval pass@1은 88.4%에서 HumanEval+에서는 76.2%로 하락했다. 12.2%p라는 하락폭은 원래 채점 규칙이 “정답으로 인정한” 코드 중 상당수가 사실은 허술한 테스트 커버리지 덕분에 통과했을 뿐, 진짜 정답은 아니었다는 뜻이다. 이것이 정확히 구성개념 무관 분산이 숫자로 드러난 사례다 — 코딩 능력 자체는 그대로인데, 채점 규칙의 결함이라는 무관한 요인 때문에 점수가 부풀어 있었다.
신뢰도는 높은데 타당도는 낮은 경우: greedy decoding의 함정
temperature = 0의 greedy decoding으로 같은 모델에 같은 164개 문항을 반복해서 채점하면 어떻게 될까. 생성 과정이 완전히 결정론적이므로, 같은 가중치·같은 프롬프트에 대해 매번 정확히 같은 토큰이 나오고 결과적으로 재검사 신뢰도는 사실상 1.0이다. 열 번을 다시 돌려도 열 번 다 같은 pass@1이 나온다.
이 안정성을 근거로 “이 점수는 믿을 만하다”고 말하고 싶어지지만, 여기서 물어야 할 질문은 따로 있다 — 같은 164개 문항을 반복해서 통과하는 것과 코딩 능력이라는 구성개념을 다르게 표집한 다른 문항 집합에서도 비슷한 점수를 받는 것은 전혀 다른 신뢰도다. 후자가 바로 평행양식 신뢰도다. 오염(contamination)되었거나 HumanEval류 문제 형식에 과적합된 모델은 전자(재검사 신뢰도)에서는 완벽한 점수를 받으면서도, 후자에서는 무너진다 — 시점 기반으로 문항을 새로 수집해 오염을 원천 차단하는 LiveCodeBench 같은 벤치마크(#8·#20에서 자세히 다룬다)로 옮기는 순간 점수가 크게 흔들리는 패턴이 반복해서 보고되는 이유다.
결론은 이렇다. 한 벤치마크를 반복 실행해서 얻는 안정성은 신뢰도의 가장 약한 형태다. 재검사 신뢰도만 확인하고 안심하는 것은, 곧 위에서 본 2×2 표의 “신뢰도 높고 타당도 낮음” 칸으로 걸어 들어가는 가장 흔한 경로다.
감쇠 보정 수치 예제
이제 감쇠 정리를 실제 숫자로 굴려본다. 상황을 이렇게 설정하자.
- 자동 평가 지표 \(X\): 예를 들어 생성 요약과 참조 요약 사이의 임베딩 유사도 기반 지표.
- 사람 평가 \(Y\): 크라우드워커들이 매긴 요약 품질 점수의 평균.
- 관측된 상관: \(r_{XY} = 0.55\).
- 자동 지표의 신뢰도 \(\rho_{XX'} = 0.95\) — 같은 입력에는 항상 같은 값을 내놓는 결정론적 계산이지만, 참조문 선택이나 토크나이저 차이 같은 잔여 변동을 감안해 1.0이 아닌 0.95로 잡는다.
- 사람 라벨의 신뢰도 \(\rho_{YY'} = 0.60\) — 평가자마다 기준이 달라 합의도가 낮은, 흔히 관찰되는 수준.
감쇠 보정을 적용한다.
\[\hat{\rho}_{T_X T_Y} = \frac{r_{XY}}{\sqrt{\rho_{XX'}\,\rho_{YY'}}} = \frac{0.55}{\sqrt{0.95 \times 0.60}} = \frac{0.55}{\sqrt{0.57}} = \frac{0.55}{0.755} \approx 0.73\]관측된 상관 0.55만 보면 “이 자동 지표는 사람과 절반 정도만 일치하는, 그저 그런 지표”라는 결론을 내리기 쉽다. 그런데 감쇠를 걷어내면 참값 수준의 일치도는 0.73으로 올라간다. 결론이 뒤집힌다 — “지표가 나쁜 것”이 아니라 “사람 라벨이 시끄러웠던 것”이다. 지표를 폐기하고 새 지표를 개발하는 대신, 사람 라벨링 프로토콜의 신뢰도를 높이는(평가자 수를 늘리거나 루브릭을 명확히 하는) 쪽이 훨씬 효율적인 개선일 수 있다는 실무적 함의가 여기서 나온다.
이 보정의 불안정성도 같은 숫자로 확인할 수 있다. 만약 사람 라벨 신뢰도를 \(\rho_{YY'} = 0.30\)으로 (실제보다 낮게) 잘못 추정했다면,
\[\hat{\rho}_{T_X T_Y} = \frac{0.55}{\sqrt{0.95 \times 0.30}} = \frac{0.55}{\sqrt{0.285}} = \frac{0.55}{0.534} \approx 1.03\]상관계수가 정의역 \([-1, 1]\)을 벗어나는 불가능한 값이 나온다. 이는 감쇠 보정이 신뢰도 추정치의 오차에 그대로 노출되는 “추정치의 추정치”라는 사실을 정확히 보여준다. 실무에서 \(\hat{\rho} > 1\)이 나온다면 지표나 관계가 이상한 것이 아니라, 신뢰도 추정 자체(대개 표본이 작거나 평가자 수가 부족한 경우)를 먼저 의심해야 한다.
통계 요약
| 개념 | 수식 | 의미 | 함정 · 주의 |
|---|---|---|---|
| CTT 분해 | \(X = T + E\) | 관측 점수 = 참값 + 오차 | 모든 신뢰도 정의의 출발점. \(T\), \(E\)의 독립성이 전제 |
| 신뢰도 | \(\rho_{XX'} = \dfrac{\sigma_T^2}{\sigma_X^2}\) | 총분산 중 참값 분산이 차지하는 비율 | \([0,1]\) 구간의 값. 검사 자체가 아니라 특정 표본·조건에서만 성립 |
| Cronbach \(\alpha\) | \(\alpha = \dfrac{k}{k-1}\left(1 - \dfrac{\sum \sigma_i^2}{\sigma_X^2}\right)\) | 내적일관성의 근사치 | 문항 수 \(k\)가 커지면 내용의 다양성과 무관하게 \(\alpha\)가 오른다 |
| 평균 문항간 상관 \(\bar{r}\) | \(\alpha = \dfrac{k\bar{r}}{1+(k-1)\bar{r}}\) 에서 역산 | 문항 수준 응집성 — \(k\)에 불변 | \(\alpha\) 단독 보고 대신 이 값을 함께 볼 것 |
| 감쇠 정리 | \(r_{XY} = \rho_{T_X T_Y}\sqrt{\rho_{XX'}\rho_{YY'}}\) | 관측 상관은 참값 상관을 신뢰도만큼 깎아 낸다 | 신뢰도는 관측 가능한 타당도(상관)의 상한이다 |
| 감쇠 보정 | \(\hat{\rho} = \dfrac{r_{XY}}{\sqrt{\rho_{XX'}\rho_{YY'}}}\) | 오차를 역산해 참값 수준 상관을 복원 | 신뢰도 추정이 부정확하면 \(\hat{\rho} > 1\)이라는 불가능한 값이 나올 수 있다 |
기억할 한 문장: 신뢰도는 타당도의 상한이다.
Conclusion
이 글이 세운 어휘를 한 번 더 정리한다. 점수는 구성개념 → 조작적 정의 → 측정 모형 → 점수라는 사슬의 끝이며, 각 단계에서 정보가 버려진다 — 구성개념이 조작화 과정에서 대표되지 못하면 구성개념 부족, 무관한 요인이 점수에 섞이면 구성개념 무관 분산이다. 타당도는 검사가 아니라 해석의 속성이며, 신뢰도는 안정성으로서 타당도의 필요조건이지 충분조건이 아니다. 이 둘의 정량적 관계가 감쇠 정리 — 신뢰도는 관측 가능한 타당도(상관)의 상한이라는 것 — 다.
한계도 분명히 해둘 필요가 있다. 이 글에서 쓴 심리측정학 틀은 애초에 “사람 개개인을 반복해서 재는 상황”에서 발전했다. 이를 LLM 평가로 그대로 가져올 때 흔들리는 가정이 최소 세 가지 있다.
- 모집단이 무엇인가. 고전 검사 이론은 “같은 대상(사람)이 여러 문항·시행에 반응”하는 구조를 전제한다. LLM 평가에서는 반대 방향의 셋업도 흔하다 — 문항 집합은 고정되고 모델이 바뀐다. 문항의 모집단인지, 모델의 모집단인지, 아니면 둘 다인지에 따라 신뢰도·타당도 추정 자체가 다르게 정의돼야 한다.
- 참값(\(T\)) 가정이 성립하는가. 사람의 “참 지능”이라는 개념도 그 자체로 논쟁적이지만, “이 모델의 참 코딩 능력”이라는 개념은 더 흔들린다 — 같은 모델이라도 프롬프트, 디코딩 온도, few-shot 예시에 따라 근본적으로 다른 성능 분포를 낸다. 무엇을 고정한 채 “참값”을 정의할지가 명확하지 않다.
- 문항 간 독립 가정. Cronbach \(\alpha\)를 비롯한 다수의 신뢰도 추정은 문항이 서로 (조건부) 독립임을 전제한다. 그러나 공유된 사전학습 데이터로 인한 오염, 또는 in-context 정보의 공유는 이 독립성을 구조적으로 깨뜨린다.
그럼에도 이 틀을 계속 쓰는 이유는 단순하다 — 대안이 “숫자를 그대로 믿는 것”뿐이기 때문이다. 가정이 완벽하게 들어맞지 않는다고 해서 측정론을 버리면, 남는 것은 벤치마크 점수를 아무 비판 없이 받아들이는 것뿐이다.
이 글에서 세운 어휘가 앞으로 어떻게 쓰이는지 미리 지도를 그려두면 이렇다. 구성개념 부족·구성개념 무관 분산이라는 두 축은 3부(#7~#11)에서 실제 벤치마크마다 어디서 깨졌는지를 분류하는 틀로 쓰인다. 신뢰도의 네 종류 — 특히 재검사 신뢰도와 평행양식 신뢰도의 구별 — 는 4부(#12~#14)의 평가자간 일치도(κ) 논의와 5부(#15~#18)의 신뢰구간·검정력 논의로 이어진다. 그리고 감쇠 정리는 6부 #19에서 judge 점수와 사람 라벨 사이의 관계를 다룰 때 다시 정확히 같은 형태로 등장한다. 이 시리즈는 이 틀을 LLM 평가에 조심스럽게, 그러나 명시적으로 적용하며 나아간다. 다음 글 #2 벤치마크는 무엇을 재고 있나는 이 사전을 들고, 실제 벤치마크들이 구성 타당도를 구체적으로 어디서 잃는지를 본다.
참고 문헌
측정론 고전
- Cronbach, L. J., & Meehl, P. E., 1955. Construct Validity in Psychological Tests. Psychological Bulletin, 52(4), 281~302. (전문: psychclassics.yorku.ca)
- Messick, S., 1995. Validity of Psychological Assessment: Validation of Inferences from Persons’ Responses and Performances as Scientific Inquiry into Score Meaning. American Psychologist, 50(9), 741~749. (동일 논문의 ETS 리포트판 전문: ETS Research Report RR-94-45, ERIC ED380496)
- 이 글이 인용한 두 문장 — “Validity is an overall evaluative judgment of the degree to which empirical evidence and theoretical rationales support the adequacy and appropriateness of interpretations and actions based on test scores or other modes of assessment” / “Validity is not a property of the test or assessment as such, but rather of the meaning of the test scores.” — 은 위 리포트판에서 대조했다.
- 구성개념 부족과 구성개념 무관 분산의 원전은 Messick, S., 1989. “Validity.” In R. L. Linn (Ed.), Educational Measurement (3rd ed.), 13~103. Macmillan. 1995년 논문도 두 용어를 같은 뜻으로 쓴다.
- Spearman, C., 1904. The Proof and Measurement of Association Between Two Things. American Journal of Psychology, 15(1), 72~101. (JSTOR stable 1412159, 스캔 PDF: gwern.net) — 감쇠 보정의 원전.
- Cronbach, L. J., 1951. Coefficient Alpha and the Internal Structure of Tests. Psychometrika, 16(3), 297~334.
- Sijtsma, K., 2009. On the Use, the Misuse, and the Very Limited Usefulness of Cronbach’s Alpha. Psychometrika, 74(1), 107~120. — \(\alpha\)가 검사의 내부 구조와 무관하다는 것, 즉 단일차원성의 증거가 될 수 없다는 것을 정리한 논문.
- Lord, F. M., & Novick, M. R., 1968. Statistical Theories of Mental Test Scores. Addison-Wesley. — 고전 검사 이론의 정본.
- Nunnally, J. C., & Bernstein, I. H., 1994. Psychometric Theory (3rd ed.). McGraw-Hill. — “신뢰도는 타당도의 필요조건이나 충분조건은 아니다”의 표준 인용처.
규범 문서
- AERA, APA, & NCME, 2014. Standards for Educational and Psychological Testing. Washington, DC: American Educational Research Association. — 현행 표준의 공식 정의: “Validity refers to the degree to which evidence and theory support the interpretations of test scores for proposed uses of tests.”
측정론을 ML로 옮긴 연구
- Jacobs, A. Z., & Wallach, H., 2021. Measurement and Fairness. FAccT ‘21, 375~385. (ACM DL)
이 글이 사례로 쓴 벤치마크
- Chen, M. et al. (OpenAI), 2021. Evaluating Large Language Models Trained on Code. arXiv 2107.03374. — HumanEval, 164문항.
- Liu, J. et al., 2023. Is Your Code Generated by ChatGPT Really Correct? Rigorous Evaluation of Large Language Models for Code Generation. NeurIPS 2023. — EvalPlus / HumanEval+.
LLM 평가 체계 시리즈
이 글은 LLM 평가 체계 시리즈의 첫 번째 글이다.
1부. 평가란 무엇인가
- (현재 글) 측정으로서의 평가 — 구성개념·조작화·타당도·신뢰도
- 벤치마크는 무엇을 재고 있나 — 벤치 445편 구성타당도 리뷰
2부. 무엇을 숫자로 만드나 — 평가 metric
- 척도와 허용 연산 — Likert 평균을 내도 되는가
- 분류 지표 — accuracy의 함정부터 PR-AUC까지
- 생성 지표와 그 타당도 — BLEU에서 COMET까지
- 객관식 평가는 왜 흔들리나 — 위치 편향과 포맷 민감도
3부. LLM 벤치마크 지형도
- 지식과 추론 — MMLU 계열의 흥망 — MMLU·GPQA·BBH·HELM
- 검증 가능한 도메인 — 수학과 코드 — GSM8K·MATH·HumanEval·SWE-bench
- 개방형 대화 — MT-Bench에서 Arena까지 — judge 기반 벤치의 등장
- 능력의 다른 축 — 지시따르기·긴 문맥·사실성
- 한국어 벤치마크 — 번역이 아니라 원산, 그리고 문화 타당도
4부. 사람이 읽는다 — 정성평가와 일치도
- 사람 평가 설계 — 루브릭·Likert·pairwise·BWS
- 우연을 빼다 — κ 계열 — Cohen·Fleiss·weighted·Krippendorff
- κ의 역설 — 일치율 90%인데 κ가 0.21
5부. 차이는 진짜인가 — 정량평가의 통계
- 점수는 추정치다 — 이항비율 신뢰구간과 Wald의 실패
- 차이는 유의한가 — paired bootstrap·순열검정·McNemar
- 몇 개를 재야 하나 — 검정력·표본크기·다중비교
- LLM eval의 통계 실무 — 클러스터 SE·IQM·분산 분해
6부. 신뢰할 수 있는 평가 체계
- judge를 통계로 다루기 — 편향·Bradley-Terry·PPI
- 오염·재현성·효율 — 오염 검정·harness·IRT
- 안전 평가의 통계와 체계 설계 — 희귀사건·calibration·체크리스트
본 시리즈는 21편으로 구성된다.
Enjoy Reading This Article?
Here are some more articles you might like to read next: