Introduction

리더보드 한 줄을 보자. 모델 A는 MMLU 87.3, 모델 B는 87.1. 소수점 둘째 자리까지 나온 숫자라 둘의 우열이 명백해 보인다. 그런데 이 0.2%p 차이가 “진짜 차이”인지, 문항을 다르게 뽑았으면 뒤집혔을 “잡음”인지 이 표는 아무 말도 하지 않는다. 표에는 오차 막대가 없다.

이 글의 주장은 하나다. 정확도(accuracy)는 점추정치(point estimate)이고, 점추정치에는 반드시 표본오차가 딸려 있다. MMLU 문항 14,042개는 “있을 수 있는 모든 MMLU류 문항”이라는 초모집단(super-population)에서 우리가 어쩌다 골라 쓰게 된 하나의 표본일 뿐이다. 문항을 다시 뽑아 v2 세트를 만들었다면, 같은 모델의 점수는 87.3이 아니라 87.1이나 87.6이 나왔을 수 있다. 모의고사를 한 번 봐서 87점을 받았다고 해서 그 학생의 “진짜 실력”이 정확히 87.0이라고 믿는 사람은 없다. 문제가 조금만 달랐어도 점수는 흔들렸을 것이다. 벤치마크 점수도 똑같다.

이 시리즈 #6의 결론이 이 글의 출발점이다. 그 글은 “프롬프트를 하나 고정하는 것은, 가능한 프롬프트(순서·포맷·지시문 문구)의 분포에서 표본 크기 1을 뽑는 것과 다르지 않다”고 했고, “표본에서 얻은 값에는 표본오차가 따르고, 점수는 점추정치가 아니라 구간으로 보고되어야 한다”는 말로 이 글에 다리를 놓았다. 이제 그 다리를 건너 실제로 그 구간을 계산하는 법을 본다.

문항 표집이라는 축 하나만 놓고 보면, 정확도는 통계학에서 가장 오래되고 가장 단순한 대상이다 — 이항비율(binomial proportion). 동전을 \(n\)번 던져 앞면이 \(X\)번 나오면 \(\hat{p} = X/n\)이 그 동전의 앞면 확률 추정치다. 이항비율의 신뢰구간을 어떻게 계산하느냐는 100년 가까이 다뤄진 문제이고, 답이 하나가 아니다. 그런데 머신러닝 커뮤니티가 실무에서 거의 예외 없이 쓰는 방법 — accuracy에 표준오차를 곱해 “±” 붙이는 방법 — 은 하필 가장 나쁜 선택이다. 이 글은 그 방법(Wald 구간)이 왜, 어디서 무너지는지 정확히 짚고, 대안(Wilson, Clopper-Pearson, Agresti-Coull, Jeffreys)이 각각 무엇을 다르게 하는지, 그리고 이 문제를 체계적으로 정리한 Brown, Cai & DasGupta (2001)가 실제로 무엇을 권고했는지를 본다.

결론을 먼저 요약하면 이렇다.

Wald 구간(가장 흔히 쓰이는 “±” 공식)은 \(\hat{p}\)가 0이나 1에 가깝거나 \(n\)이 작을 때 체계적으로 실패한다. 안전 평가나 AIME류 소규모 벤치가 정확히 이 조건에 해당한다.
Wilson score 구간이 사실상의 기본값이어야 한다. 계산이 조금 더 복잡할 뿐, 거의 모든 상황에서 Wald보다 낫다.
Clopper-Pearson은 “정확한(exact)” 방법이지만 지나치게 보수적이다. 안전·규제 맥락처럼 구간이 넓어도 괜찮은 곳에서 쓴다.
벤치마크 문항 수가 곧 오차 막대의 폭을 결정한다. MT-Bench(80문항)에서 2%p 차이는 잡음이다 — 뒤에서 숫자로 보인다.

Background

accuracy는 이항비율이다

모델이 벤치마크 문항 \(n\)개를 풀어 \(x\)개를 맞혔다고 하자. 각 문항의 정답 여부를 독립적인 베르누이 시행으로 본다면,

\[X \sim \text{Binomial}(n, p)\]

\(p\): 모델의 진짜 정답률 — 초모집단 전체에서의 정답률. 우리가 알고 싶은, 그러나 절대 직접 관측할 수 없는 값.
\(X\): 문항 \(n\)개 중 실제로 맞힌 개수. 확률변수다.
\(n\): 표본 크기, 즉 벤치마크 문항 수.

우리가 리더보드에 적는 숫자는 \(p\)가 아니라 그 추정치다.

\[\hat{p} = \frac{X}{n}\]

\(\hat{p}\)는 \(p\)의 불편추정량(unbiased estimator)이다 — 즉 \(\mathbb{E}[\hat{p}] = p\). 하지만 불편이라는 것은 “평균적으로 맞다”는 뜻일 뿐, 한 번의 실현값(realization)이 \(p\)와 정확히 같다는 보장은 아니다. 그 흔들림의 크기가 표준오차다.

\[SE(\hat{p}) = \sqrt{\frac{p(1-p)}{n}}\]

\(p\)를 모르니 실제로는 \(\hat{p}\)로 대체한 추정된 표준오차를 쓴다.

\[\widehat{SE} = \sqrt{\frac{\hat{p}(1-\hat{p})}{n}}\]

이 \(\widehat{SE}\)가 이 글 전체에서 반복해서 나오는 재료다. \(n\)이 커지면 분모가 커져 \(\widehat{SE}\)가 줄어든다 — 문항을 많이 풀수록 추정이 안정된다는, 당연하지만 정확히 이 공식이 보장하는 사실이다. 그리고 \(\hat{p}(1-\hat{p})\)는 \(\hat{p}=0.5\)에서 최대이고 \(\hat{p}=0\) 또는 \(1\)에서 0이 된다 — 극단적인 정답률일수록 (같은 \(n\)에서는) \(\widehat{SE}\)가 작아 보인다는 뜻인데, 뒤에서 볼 것처럼 이게 바로 함정의 근원이다.

초모집단이라는 렌즈

문항 집합을 보는 관점에는 두 가지가 있다.

고정된 시험지 관점: MMLU의 14,042문항이 그 자체로 유일하게 존재하는 “그 시험”이다. 이 관점에서는 그 시험지에 대한 점수는 이미 확정된 사실이고, 표집 오차라는 개념 자체가 성립하지 않는다.
초모집단 관점: MMLU의 14,042문항은 “제작 가능했던 모든 MMLU류 문항”이라는 (무한하고 관측 불가능한) 초모집단에서 뽑힌 하나의 표본이다.

이 글, 그리고 이 시리즈 전체가 후자를 택한다. 이유는 단순하다 — 우리가 실제로 하고 싶은 말이 “이 특정 14,042문항에 대한 점수”가 아니라 “이 모델이 MMLU가 대표하려는 지식 영역에서 얼마나 잘하는가”이기 때문이다. 고정된 시험지 관점에서는 “다른 문항 집합에서도 이 결론이 성립하는가”라는 질문 자체를 던질 수 없다. 초모집단 관점을 택해야만 그 질문에 신뢰구간이라는 도구로 답할 수 있다. Miller (2024, Anthropic)의 Adding Error Bars to Evals가 명시적으로 취한 관점이 이것이고, LLM 평가 실무에 적용하는 절차는 #18에서 이어받는다.

독립성이라는 전제

위 이항 모형이 성립하려면 문항 \(n\)개의 정답 여부가 서로 독립이어야 한다. 문항 하나를 맞히는 것이 다른 문항을 맞힐 확률에 영향을 주지 않는다는 뜻이다. 이 가정이 이 글에서 다루는 모든 구간 추정법의 바닥에 깔려 있고, 실제로는 종종 깨진다. 어떻게 깨지는지, 그리고 그때 무엇을 해야 하는지는 이 글 뒤쪽 “이 구간이 담지 않는 것”에서 다시 짚는다.

Method

이제 \(\hat{p}\) 하나로부터 “\(p\)가 있을 것 같은 범위”를 만드는 다섯 가지 방법을 본다. 모두 같은 목표 — 95% 신뢰수준의 구간 \([\hat{p}_{lo}, \hat{p}_{hi}]\) — 를 노리지만, 방법마다 그 구간이 실제로 95%를 담는지(커버리지)가 크게 다르다.

Wald 구간

가장 익숙한 형태다. 논문이든 사내 대시보드든 “accuracy 87.3% ± 1.2%”라고 쓰여 있으면, 그 뒤에 숨어 있는 계산은 거의 항상 이것이다.

\[\hat{p} \pm z_{1-\alpha/2}\sqrt{\frac{\hat{p}(1-\hat{p})}{n}}\]

\(\hat{p}\): 관측된 정답률.
\(z_{1-\alpha/2}\): 표준정규분포의 분위수. 95% 신뢰구간이면 \(\alpha=0.05\), \(z_{0.975} \approx 1.96\).
\(\sqrt{\hat{p}(1-\hat{p})/n}\): 앞서 정의한 \(\widehat{SE}\).

유도는 중심극한정리(CLT) 하나다. \(n\)이 크면 \(\hat{p}\)가 평균 \(p\), 표준편차 \(\widehat{SE}\)인 정규분포에 근사적으로 따른다고 보고, 그 정규분포를 좌우로 \(z\)배만큼 잘라 구간을 만든다. “평균 ± 표준오차의 몇 배”라는, 통계 수업에서 제일 먼저 배우는 그 패턴을 이항비율에 그대로 이식한 것이다. 익숙하고 계산도 손으로 가능해서 지금도 압도적으로 많이 쓰인다.

그런데 이 구간은 두 가지 방식으로 무너진다.

(a) \(\hat{p}\)가 0이나 1에 가까우면 폭이 0으로 수축한다. \(\hat{p}(1-\hat{p})\)가 분자에 있으므로, \(\hat{p}=1\)이면 \(\widehat{SE}=0\)이고 구간은 한 점 \([1,1]\)이 된다. 동전을 10번 던져 10번 다 앞면이 나왔다고 “이 동전은 앞면만 나온다(\(p=1\))”고 100% 확신하는 게 말이 안 되는 것과 같은 이야기다. 실제로 계산해보면(뒤의 코너 사례 표 참고) \(n=10\)개 문항을 전부 맞힌 경우 Wald는 \([100\%, 100\%]\)라는 무의미한 점을 내놓는다. 반면 Wilson은 \([72.2\%, 100\%]\), Clopper-Pearson은 \([69.2\%, 100\%]\)를 준다 — “10문제 다 맞혔어도 진짜 정답률이 70% 근처일 수 있다”는, 훨씬 정직한 답이다.

(b) 실제 커버리지가 명목 95%에 못 미치고, \(n\)이 커져도 단조롭게 좋아지지 않는다. 직관적으로는 “\(n\)을 늘리면 커버리지가 95%에 점점 가까워지겠지”라고 기대하기 쉽지만, 실제로는 그렇지 않다. \(p=0.5\)로 고정하고 \(n\)을 10부터 20까지 하나씩 늘려가며 Wald 구간의 정확한 커버리지(이항분포를 직접 합산해 계산한 값)를 보자.

\(n\)	Wald 실제 커버리지
10	89.06%
11	93.46%
12	85.40%
13	90.77%
14	94.26%
15	88.15%
16	92.32%
17	95.10%
18	90.37%
19	93.64%
20	95.86%

\(n\)을 하나씩 늘렸을 뿐인데 커버리지가 89% → 93% → 85% → 91%로 톱니처럼 진동한다. 95%를 넘었다가 다시 밑으로 떨어지고, \(n\)이 커진다고 이 진동이 잦아들지 않는다. 이게 Brown, Cai & DasGupta (2001)가 “Wald 구간의 커버리지는 무질서(chaotic)하며, 이 무질서함이 알려진 것보다 훨씬 심각하고 광범위하다”고 지적한 바로 그 현상이다. 교과서가 흔히 말하는 “\(n\hat{p}\)와 \(n(1-\hat{p})\)가 5 이상이면 Wald를 써도 안전하다”는 규칙은, 이 논문에 따르면 신뢰할 수 없는 조언이다.

LLM 평가에서 왜 중요한가: 안전 평가는 거의 항상 \(\hat{p}\)가 0에 가깝다(위반율이 낮아야 좋은 모델이니까). AIME처럼 문항이 30개뿐인 벤치는 정확히 “\(n\)이 작다”는 조건이다. 안전 평가 + 소규모 벤치가 겹치는 지점은 Wald가 가장 신뢰할 수 없는 바로 그 지점이다.

이게 남의 일이 아니라는 것도 짚어야 한다. 널리 쓰이는 평가 도구인 EleutherAI의 lm-evaluation-harness가 accuracy 옆에 붙이는 acc_stderr는 표본표준편차를 \(\sqrt{n}\)으로 나눈 값이다(mean_stderr = sample_stddev(arr) / sqrt(len(arr))). 0/1로만 이루어진 정답 배열에 이 공식을 적용하면 Bessel 보정으로 분모가 \(n-1\)이 되는 것만 다를 뿐, 구조적으로는 이 글에서 다루는 Wald 방식의 \(\widehat{SE}\)와 같다. 즉 “리더보드에 박힌 acc_stderr를 그대로 신뢰구간으로 썼다”면, 그 신뢰구간은 이 글이 방금 보인 모든 함정을 그대로 물려받은 것이다.

Wilson score 구간

Wilson(1927)이 제안한 방법은 Wald와 접근 자체가 다르다. Wald는 “\(\hat{p}\) 주변에 \(\widehat{SE}\)로 잰 폭을 씌운다”는 방식이지만, Wilson은 어떤 \(p\) 값들이 관측된 \(\hat{p}\)를 “그럴듯하게” 만들어내는지를 거꾸로 찾는다. 구체적으로는 점수검정(score test) 통계량

\[\frac{|\hat{p} - p|}{\sqrt{p(1-p)/n}} \le z\]

를 만족하는 \(p\)의 집합을 구간으로 삼는다. Wald와의 핵심 차이는 분모다 — Wald는 분모에 추정된 \(\hat{p}(1-\hat{p})/n\)을 쓰지만, 여기서는 검정 대상인 \(p\) 자체의 \(p(1-p)/n\)을 쓴다. 이 부등식을 양변 제곱해 \(p\)에 대한 이차부등식으로 정리하면

\[(n+z^2)p^2 - (2n\hat{p}+z^2)p + n\hat{p}^2 \le 0\]

이 되고, 이 이차식의 두 근이 곧 Wilson 구간의 상한·하한이다. 근의 공식을 정리하면 다음과 같은 닫힌 형태가 나온다.

\[\frac{\hat{p} + \frac{z^2}{2n} \pm z\sqrt{\frac{\hat{p}(1-\hat{p})}{n} + \frac{z^2}{4n^2}}}{1 + \frac{z^2}{n}}\]

분자의 \(\hat{p} + \frac{z^2}{2n}\): \(\hat{p}\)에 작은 보정항을 더한 중심.
분모의 \(1 + \frac{z^2}{n}\): 전체를 나눠주는 정규화 항.
\(z\sqrt{\hat{p}(1-\hat{p})/n + z^2/(4n^2)}\): Wald의 \(\widehat{SE}\) 항에 \(z^2/(4n^2)\)이라는 작은 항이 추가된 폭.

왜 Wald보다 나은지 직관을 잡으려면 중심이 어디로 움직이는지를 보면 된다. Wilson 구간의 중심 \(\left(\hat{p}+\frac{z^2}{2n}\right)/\left(1+\frac{z^2}{n}\right)\)을 \(x=n\hat{p}\)로 다시 쓰면 \((x + z^2/2)/(n+z^2)\)이 된다. \(\hat{p}=0\)을 넣으면 중심이 \(0\)보다 커지고, \(\hat{p}=1\)을 넣으면 중심이 \(1\)보다 작아진다 — 즉 극단적인 \(\hat{p}\)를 항상 0.5 쪽으로 끌어당긴다. 이 축소(shrinkage) 효과가 Wald에는 없는 안전장치다. 그리고 폭을 결정하는 제곱근 안에 \(\hat{p}(1-\hat{p})\)가 0이 되어도 \(z^2/(4n^2)\)이라는 항이 남아 있으므로, \(\hat{p}=0\)이나 \(1\)이어도 구간의 폭이 절대 0으로 수축하지 않는다. 실제로 \(n=100\)에서 위반이 0건 관측됐을 때 Wilson 구간은 \([0\%, 3.70\%]\)를 준다 — Wald의 \([0\%,0\%]\)와 대조적이다. 그리고 이 구간은 대수적으로 항상 \([0,1]\) 안에 머문다(분모가 항상 분자의 범위보다 넓게 잡히도록 설계됐다).

언제 쓰나: 특별한 이유가 없다면 기본값. R의 prop.test, Python statsmodels.stats.proportion.proportion_confint(method="wilson") 등 대부분의 통계 소프트웨어가 채택하고 있다.

함정: 닫힌 형태이긴 해도 이차식을 풀어야 해서 Wald처럼 손으로 즉석 계산하기는 번거롭다. 그래서 “일단 익숙한 Wald를 쓰고 보자”는 관성이 실무에서 여전히 강하다. 아주 작은 \(n\)(한 자릿수)에서는 여전히 명목 커버리지와 약간의 편차가 남는다.

Clopper-Pearson (exact) 구간

Wald와 Wilson은 모두 정규분포로 근사한다. Clopper & Pearson(1934)은 근사를 쓰지 않고 이항분포 자체를 직접 뒤집는다. 하한은 “이 값 이상에서는 \(x\)번 이상 성공할 확률이 \(\alpha/2\)보다 크다”는 조건을, 상한은 대칭적인 조건을 만족하는 경계다. 이 조건은 베타분포의 분위수로 정리된다.

\[\hat{p}_{lo} = B_{\alpha/2}(x, n-x+1), \qquad \hat{p}_{hi} = B_{1-\alpha/2}(x+1, n-x)\]

\(B_q(a,b)\): 모양 파라미터가 \(a,b\)인 베타분포의 \(q\)분위수.
\(x=0\)이면 하한을 \(0\)으로, \(x=n\)이면 상한을 \(1\)으로 정의한다(베타분포 파라미터가 정의되지 않는 경계 케이스).

이산분포(이항분포)를 근사 없이 그대로 뒤집기 때문에 “exact”라는 이름이 붙었다. 여기서 “exact”의 의미를 정확히 짚어야 한다 — 표본이 어떻게 나오든 실제 커버리지가 명목 수준(95%) 아래로 절대 떨어지지 않는다는 뜻이지, 구간이 딱 95%를 담는다는 뜻이 아니다. 이산분포라는 근본적인 제약 때문에 정확히 95%를 맞추는 것은 원천적으로 불가능하고, 그 결과 이 방법은 거의 항상 명목 수준보다 더 많이 담는다 — 즉 보수적(conservative)이다. 뒤의 커버리지 비교표에서 보겠지만 Clopper-Pearson의 실제 커버리지는 96~99%대로 항상 95% 위에 있다.

언제 쓰나: 규제·안전 맥락처럼 “커버리지가 명목 수준에 못 미치는 사고”를 절대 허용할 수 없는 곳. 의료 통계, FDA 심사 자료에서 표준으로 쓰이는 이유가 이것이다.

함정: 보수적이라는 성질은 대가 없이 오지 않는다 — 구간이 필요 이상으로 넓어져서 두 모델의 구간이 겹치는데도 실제로는 차이가 있는 경우를 “차이 없음”으로 오판할 위험(검정력 손실)이 커진다. 이 문제는 #17에서 검정력의 언어로 다시 다룬다. Agresti & Coull (1998)이 논문 제목을 “Approximate is Better than ‘Exact’“로 지은 것도 정확히 이 낭비를 지적한 것이다.

Agresti-Coull 구간

Agresti & Coull (1998)의 처방은 짓궂을 정도로 단순하다. “성공 사례 2개, 실패 사례 2개를 가짜로 더한 뒤, 그 늘어난 데이터에 그냥 Wald 공식을 쓴다.”

\[\tilde{n} = n + z^2, \qquad \tilde{p} = \frac{x + \frac{z^2}{2}}{\tilde{n}}, \qquad \tilde{p} \pm z\sqrt{\frac{\tilde{p}(1-\tilde{p})}{\tilde{n}}}\]

\(z^2 \approx 3.84\)(95% 신뢰수준)이므로 \(\tilde{n}=n+z^2\)는 “표본을 4개 늘린다”는 뜻이고, \(z^2/2 \approx 1.92\)이므로 \(\tilde{p}\)는 “성공 2개, 실패 2개를 더한 비율”에 가깝다 — 그래서 “add two successes and two failures” 규칙이라는 이름이 붙었다.

왜 이게 잘 작동하는가 — 놀라운 사실이 하나 있다. \(\tilde{p} = (x+z^2/2)/(n+z^2)\)를 Wilson 구간의 중심 공식과 나란히 놓고 대수적으로 정리하면, 둘이 정확히 같은 값이라는 것을 확인할 수 있다(Wilson 중심 \((\hat{p}+z^2/(2n))/(1+z^2/n)\)에 \(\hat{p}=x/n\)을 대입하고 분자·분모를 \(n\)으로 통분하면 \((x+z^2/2)/(n+z^2)\)이 나온다). 즉 Agresti-Coull은 Wilson과 정확히 같은 중심점에서 출발하지만, 그 중심 주변의 폭은 Wilson의 정교한 제곱근 항 대신 단순한 Wald식 폭을 쓴다. Wilson이 잡아내는 “극단값을 0.5로 끌어당기는” 효과를 거의 그대로 가져오면서, 계산은 훨씬 쉽다 — 손으로 “2개씩 더하고 표준오차 계산”만 하면 된다.

언제 쓰나: \(n\)이 어느 정도 크면서(대략 \(n>40\)), 계산기 없이 빠르게 근사치를 얻고 싶을 때.

함정: \(n\)이 아주 작을 때는 Wilson만큼 정교하지 않다 — 가짜로 더한 4개가 원래 데이터에 비해 비중이 커서 왜곡이 남는다. 그래서 Brown, Cai & DasGupta (2001)는 작은 \(n\)에는 이 방법을 권하지 않는다(뒤에서 정확한 기준을 본다).

Jeffreys 구간

베이지안 관점에서 접근하는 방법도 있다. \(p\)에 대해 무정보 사전분포로 \(\text{Beta}(1/2, 1/2)\)(Jeffreys prior)를 놓으면, 이항 데이터를 관측한 뒤의 사후분포는 켤레성(conjugacy) 덕분에 닫힌 형태로 나온다.

\[p \mid x \sim \text{Beta}\left(x+\frac{1}{2},\ n-x+\frac{1}{2}\right)\]

이 사후분포의 \(\alpha/2\), \(1-\alpha/2\) 분위수를 그대로 구간의 하한·상한으로 쓰는 것이 Jeffreys 구간이다(등꼬리 신용구간, equal-tailed credible interval). 베이지안 구간인데도 빈도주의적으로도 커버리지가 좋다는 것이 알려져 있어, Brown, Cai & DasGupta (2001)도 이 구간을 Wilson과 나란히 소규모 \(n\)의 대안으로 추천한다. 다만 사전분포를 받아들여야 한다는 개념적 진입장벽 때문에 ML 평가 실무에서는 Wilson보다 덜 쓰인다.

Brown, Cai & DasGupta (2001) — 무엇을 권고했는가

지금까지 나온 네 가지 근사·정확 방법을 체계적으로 비교한 정본이 Brown, Cai & DasGupta (2001), “Interval Estimation for a Binomial Proportion”, Statistical Science 16(2), pp. 101~133이다. 이 논문은 \(n\)과 \(p\)를 광범위하게 훑어가며 각 구간의 실제 커버리지와 폭을 수치로 비교했고, 결론은 명확하다.

Wald 구간은 어떤 \(n\)에서도 안심할 수 없다. 앞서 본 톱니 모양의 진동이 “작은 \(n\)“에서만 나타나는 문제가 아니라, 알려진 것보다 훨씬 광범위하게 나타난다. 논문의 표현을 그대로 옮기면, Wald 구간의 안전성에 대한 “교과서의 흔한 처방은 오해의 소지가 있고 결함이 있다.”
Clopper-Pearson은 불필요하게 낭비적으로 보수적이다. “exact”라는 이름값에 비해 실용성이 떨어진다.
권고: 표본이 작을 때는 Wilson 구간 또는 등꼬리 Jeffreys 구간을, 표본이 크면(대략 \(n>40\)) Agresti-Coull이 제안한 구간을 쓴다.

이 권고가 이 글의 “통계 요약” 표에 그대로 실린다. 안전·규제처럼 명목 수준 미달이 절대 허용되지 않는 맥락이라면 이 권고에서 한 걸음 물러나 Clopper-Pearson의 보수성을 의도적으로 택할 수 있다 — 그 트레이드오프는 뒤에서 다시 짚는다.

토이 예제: 같은 데이터, 다섯 개의 답

이론만으로는 다섯 방법이 얼마나 다른지 감이 잘 안 잡힌다. 작은 벤치마크 하나를 직접 손으로 따라가 보자. 문항 20개짜리 미니 벤치에서 모델이 17개를 맞혔다고 하자(\(n=20\), \(x=17\), \(\hat{p}=0.85\)).

1단계 — Wald. 먼저 표준오차를 구한다.

\[\widehat{SE} = \sqrt{\frac{0.85 \times 0.15}{20}} = \sqrt{0.006375} \approx 0.0798\]

여기에 \(z \approx 1.96\)을 곱해 폭을 만든다. \(z \times \widehat{SE} \approx 0.1565\), 즉 \(\pm 15.65\%p\)다. 그러면 구간은

\[0.85 \pm 0.1565 = [0.6935,\ 1.0065]\]

상한이 100.65%로, 확률의 정의역을 벗어난다. 실무에서는 이걸 100%로 잘라 \([69.4\%, 100\%]\)라고 보고하는데, 애초에 이런 값이 나온다는 것 자체가 근사가 깨졌다는 신호다.

2단계 — Wilson. 같은 \(\hat{p}=0.85\), \(n=20\)을 Wilson 공식에 넣으면 \([64.0\%, 94.8\%]\)가 나온다. 상한이 100%를 넘지 않고, Wald보다 하한은 낮지만 상한은 훨씬 낮게(더 현실적으로) 잡힌다는 걸 볼 수 있다.

3단계 — Clopper-Pearson. 베타분포 분위수로 직접 계산하면 \([62.1\%, 96.8\%]\). 다섯 방법 중 가장 넓다 — 보수성이 그대로 드러난다.

4단계 — Agresti-Coull. “성공 2개, 실패 2개를 더한다”를 그대로 실행해보자. \(\tilde{n} = 20 + 3.84 \approx 23.84\), \(\tilde{p} = (17+1.92)/23.84 \approx 0.794\). 이 \(\tilde{p}\)에 Wald 공식을 그대로 적용하면 \([63.1\%, 95.6\%]\)가 나온다. 여기서 \(0.85\)가 \(0.794\)로 0.5 쪽으로 당겨진 것을 볼 수 있는데, 이 \(0.794\)가 바로 Wilson 구간의 중심과 정확히 같은 값이다 — 앞서 대수적으로 확인한 “두 방법의 중심이 정확히 같다”는 사실이 이 숫자에서도 그대로 재현된다.

5단계 — Jeffreys. \(\text{Beta}(17.5, 3.5)\)의 등꼬리 분위수를 구하면 \([65.1\%, 95.6\%]\).

방법	하한	상한	반폭
Wald	69.4%(원값 69.35%)	100%(원값 100.65%)	15.65%p
Wilson	64.0%	94.8%	15.40%p
Clopper-Pearson	62.1%	96.8%	17.34%p
Agresti-Coull	63.1%	95.6%	16.25%p
Jeffreys	65.1%	95.6%	15.22%p

같은 데이터(20문항 중 17개 정답)를 놓고 다섯 개의 서로 다른 “정답 구간”이 나온다. 반폭 자체는 Wald가 제일 좁아 보이지만, 그 좁음은 상한이 확률의 정의역을 벗어나면서 생긴 착시다. 상한을 100%로 자연스럽게 눌러도 되는 값을 내놓는 Wilson·Clopper-Pearson·Jeffreys가 이 지점에서 더 신뢰할 만하다.

Experiments

이제 이 방법들이 실제로 얼마나 다른 답을 내는지 숫자로 확인한다. 모든 계산은 \(z=1.9599...\)(95% 신뢰수준)를 쓴다.

1. 커버리지 비교 — 명목 95%에서 얼마나 벗어나는가

각 방법으로 만든 구간이, 그 구간을 만드는 데 쓰인 이항분포의 모든 가능한 결과에 대해 실제로 진짜 \(p\)를 담는 비율(정확한 계산, 시뮬레이션이 아님)을 구했다.

\(n\)	\(p\)	Wald	Wilson	Clopper-Pearson	Agresti-Coull
10	0.02	18.29%	98.38%	98.38%	98.38%
10	0.05	40.02%	91.39%	98.85%	98.85%
10	0.50	89.06%	97.85%	97.85%	97.85%
25	0.05	72.14%	96.59%	99.28%	96.59%
50	0.50	93.51%	93.51%	96.72%	93.51%
100	0.05	87.75%	96.59%	98.26%	96.59%
100	0.50	94.31%	94.31%	96.48%	94.31%
100	0.95	87.75%	96.59%	98.26%	96.59%
200	0.02	90.81%	93.31%	96.22%	97.98%

몇 가지가 눈에 띈다.

Wald의 최악은 정말 최악이다. \(n=10\), \(p=0.02\)(위반율 2%짜리 안전 평가를 문항 10개로 재는 상황)에서 명목 95%짜리 구간이 실제로는 18.29%만 담는다. 이 구간을 “95% 신뢰구간”이라고 보고하면 그 주장은 5번 중 4번 이상 틀린다.
Clopper-Pearson은 표에 있는 모든 칸에서 96% 이상이다. 명목 수준을 한 번도 밑돌지 않는다는 보장이 수치로 확인된다 — 그 대가로 항상 명목보다 몇 %p 더 넓다.
Wilson은 대부분 95%에 가장 가깝게 붙어 있다. 100% 완벽하지는 않지만(예: \(n=25,p=0.05\)에서 96.59%), Wald처럼 파국적으로 무너지는 지점이 없다.
Agresti-Coull은 \(n\)이 클 때는 Wilson과 거의 같고, \(n\)이 작을 때는 갈린다. \(n=200,p=0.02\)에서 Agresti-Coull(97.98%)이 Wilson(93.31%)보다 오히려 더 보수적으로 나온 것처럼, 표본이 작을수록 두 방법의 차이가 커진다 — 앞서 본 Brown-Cai-DasGupta의 권고(“작은 \(n\)엔 Wilson, 큰 \(n\)엔 Agresti-Coull”)가 왜 나왔는지 보여주는 대목이다.

2. 극단 사례 — \(n=100\), 정답 98개

\(\hat{p}=0.98\)인 상황에서 각 방법이 내놓는 95% 구간을 나란히 놓는다.

방법	하한	상한	반폭
Wald	95.26%	100.00%(원값 100.74%)	2.37%p
Wilson	93.00%	99.45%	3.23%p
Clopper-Pearson	92.96%	99.76%	3.40%p
Agresti-Coull	92.56%	99.89%	3.67%p
Jeffreys	93.74%	99.58%	2.92%p

두 가지를 짚어야 한다.

Wald의 상한은 계산상 100.74%다. 확률이 100%를 넘을 수 없으니 100%로 잘라 쓰지만, 애초에 이런 값이 나온다는 것 자체가 이 근사가 확률의 정의역을 존중하지 않는다는 증거다.
하한이 갈린다. Wald는 95.26%로, “95% 신뢰도로 정답률이 95% 이상”이라는, 실제로는 살짝 위태롭지만 그럴듯해 보이는 결론을 준다. 그런데 Wilson과 Clopper-Pearson은 하한을 93% 근처로 훨씬 낮게 잡는다. 즉 Wald 하나만 보고 “이 모델은 정답률이 95%를 넘는다”고 보도자료를 쓴다면, 더 정직한 방법들은 “93%까지 낮을 수 있다”고 말하고 있는 셈이다. \(\hat{p}\)가 1에 가까울 때 Wald의 \(\widehat{SE}\)가 인위적으로 작아지는 성질(Background에서 짚은 그 성질)이 여기서 그대로 하한을 과대평가하는 방향으로 작동한다.

3. 0건 관찰 — \(n=100\)에서 위반 0건

안전 평가에서 자주 마주치는 형태다. 위반 문항 100개를 테스트했는데 위반이 하나도 없었다면, \(\hat{p}=0\)이다.

방법	하한	상한
Wald	0.000%	0.000%
Wilson	0.000%	3.699%
Clopper-Pearson	0.000%	3.622%
Agresti-Coull	0.000%	4.441%
Jeffreys	0.000%	2.475%
rule of three (\(\approx 3/n\))	—	3.000%

Wald는 \([0\%, 0\%]\)라는, 문자 그대로 “이 모델은 절대 위반하지 않는다”는 주장을 내놓는다. 위반이 100번 중 0번 관측됐다는 사실 하나로 이런 결론을 내리는 것은 명백히 과신이다. 나머지 방법들은 전부 0보다 큰 상한을 준다 — “위반율이 정확히 0이라고는 말할 수 없고, 다만 4% 안팎보다 크지는 않을 것”이라는, 훨씬 방어 가능한 주장이다.

rule of three는 이럴 때 계산기 없이 머릿속으로 상한을 잡는 빠른 근사다. \(n\)건 중 0건이 관측됐을 때, 단측(one-sided) 95% 상한은 근사적으로

\[p_{hi} \approx \frac{3}{n}\]

이다. 유도는 짧다 — \((1-p)^n = 0.05\)를 \(p\)에 대해 풀면 \(n\ln(1-p)=\ln 0.05 \approx -3\)이 되고, \(p\)가 작을 때 \(\ln(1-p)\approx -p\)이므로 \(np\approx 3\), 즉 \(p\approx 3/n\)이다. \(n=100\)이면 \(3/100=3.0\%\)이고, 정확한 단측 95% 상한(Clopper-Pearson을 단측으로 계산한 값)은 2.95%로 거의 정확히 맞아떨어진다. 위 표의 Clopper-Pearson 3.622%는 양측(two-sided) 97.5% 상한이라 rule of three와 값이 다르다는 점에 주의해야 한다 — 안전 평가에서는 대개 “이보다 나쁘지 않다”는 단측 주장이 목적이므로, 정확히 rule of three와 짝을 맞추려면 단측 구간을 써야 한다.

메시지는 하나다. “테스트 100건 통과, 위반 0건”은 “위반율 0%”가 아니라 “위반율이 대략 3% 미만일 가능성이 높다”는 뜻이다. \(n\)이 작으면 이 상한은 순식간에 커진다 — \(n=10\)이면 \(3/10=30\%\)까지 올라간다. “테스트를 통과했다”는 문장과 “안전하다”는 문장 사이의 이 간극을 정량적으로 다루는 것이 #21의 주제다. 여기서는 그 간극이 존재한다는 것과, rule of three가 그 간극의 크기를 즉석에서 가늠하는 도구라는 것만 확인한다.

4. 벤치마크 크기별 오차 막대 — 실전 감각 잡기

가장 중요한 표다. 실제로 쓰이는 벤치마크의 문항 수로, 정답률이 \(\hat{p}=0.8\)일 때 95% Wilson 구간의 반폭이 몇 %p인지 계산했다.

벤치마크	문항 수 \(n\)	Wilson 95% 구간	반폭
AIME	30	[62.7%, 90.5%]	±13.9%p
MT-Bench	80	[70.0%, 87.3%]	±8.7%p
HumanEval	164	[73.1%, 85.3%]	±6.1%p
GPQA Diamond	198	[73.7%, 84.8%]	±5.6%p
GSM8K	1,319	[77.7%, 82.1%]	±2.2%p
MMLU	약 14,042	[79.3%, 80.7%]	±0.7%p

같은 정답률(80%)인데도 문항 수만 다르면 오차 막대의 폭이 20배 가까이 차이 난다. 이 표가 말하는 실전 규칙은 명확하다.

AIME(30문항)에서 정답률 80% 근처를 비교한다면, 두 모델의 점수 차이가 13.9%p보다 작으면 그 차이는 “잡음의 크기 안”에 있다고 봐야 한다. AIME 리더보드의 몇 점 차이가 실제로 이 정도 폭에 자주 들어간다는 걸 감안하면, AIME 순위는 훨씬 조심스럽게 읽어야 한다.
MT-Bench(80문항)도 마찬가지다. 두 모델의 MT-Bench 점수가 2%p 다르다는 것은, 반폭이 8.7%p인 구간 안에서는 통계적으로 구별할 수 없는 차이다. #9에서 짚은 “MT-Bench는 80문항뿐이라 신뢰구간이 넓다”는 지적이 바로 이 숫자다.
GSM8K(1,319문항)에 오면서야 반폭이 2%p대로 좁아지고, MMLU(약 14,042문항)에 이르러야 1%p 아래로 떨어진다. “문항이 많은 벤치일수록 소수점 하나 차이도 의미가 있을 수 있다”는 뒤집힌 직관 — 벤치마크가 클수록 오히려 작은 차이를 믿어도 된다 — 이 여기서 나온다.

결론 한 줄: 문항 80개짜리 벤치에서 2%p 차이는 잡음이다. 벤치마크 점수를 볼 때 가장 먼저 물어야 할 질문은 “몇 등인가”가 아니라 “이 벤치는 문항이 몇 개고, 그 문항 수에서 의미 있는 차이는 몇 %p부터인가”다.

주의할 점 하나: 위 표는 \(\hat{p}=0.8\)을 기준으로 잡았는데, \(\hat{p}(1-\hat{p})\)는 \(\hat{p}=0.5\)에서 최대가 되므로 반폭도 \(\hat{p}=0.5\)일 때 가장 넓다. 즉 위 숫자들은 “이 정도면 충분히 넓다”는 하한이 아니라, 실제 프론티어 모델처럼 정답률이 극단에 가까울 때의 상대적으로 좁은 쪽 추정이다. 같은 벤치마크를 \(\hat{p}=0.5\)(막 시작한 신생 모델, 또는 랜덤 성능에 가까운 상황) 기준으로 다시 재면 반폭이 이렇게 벌어진다.

벤치마크	문항 수 \(n\)	\(\hat{p}=0.5\)일 때 반폭	\(\hat{p}=0.8\)일 때 반폭
AIME	30	±16.8%p	±13.9%p
MT-Bench	80	±10.7%p	±8.7%p
HumanEval	164	±7.6%p	±6.1%p
GPQA Diamond	198	±6.9%p	±5.6%p
GSM8K	1,319	±2.7%p	±2.2%p
MMLU	약 14,042	±0.8%p	±0.7%p

정답률이 0.5에 가까울수록(모델이 아직 잘 못 풀거나, 벤치마크가 아직 판별력을 잃지 않았을 때) 같은 문항 수에서도 오차 막대가 더 벌어진다는 뜻이다. 신생 벤치마크에 모델을 처음 얹어볼 때 순위표의 미세한 차이를 더 의심스럽게 봐야 하는 이유가 이것이다.

표를 거꾸로 뒤집어보면: “이 정도 차이는 잡히게 하고 싶다”는 목표 반폭 \(w\)가 있을 때, 필요한 문항 수는 대략 \(n \approx z^2 p(1-p)/w^2\)이다(\(p=0.5\)일 때 가장 보수적인 값을 준다). 예를 들어 반폭을 3%p 안으로 잡고 싶다면 \(n \approx 3.84 \times 0.25 / 0.03^2 \approx 1{,}067\)문항이 필요하다 — GSM8K(1,319문항)가 실제로 이 근방에 있다는 걸 앞의 표에서 이미 확인했다. 반폭을 1%p까지 좁히려면 \(n \approx 9{,}600\)문항이 필요한데, MMLU(약 14,042문항)가 이 요구를 넉넉히 채우는 것도 우연이 아니다. “몇 문항을 모아야 원하는 정밀도가 나오는가”라는 이 질문은 검정력·표본크기 설계의 언어이며, #17에서 두 모델을 비교하는 맥락으로 확장해 다시 다룬다.

이 구간이 담지 않는 것 — 독립이라는 전제의 한계

위에서 계산한 모든 구간은 문항 \(n\)개의 정답 여부가 서로 독립이라는 가정 위에 서 있다. 이 가정은 실제 벤치마크에서 종종 깨진다.

지문 공유형 문항: 하나의 긴 지문(passage)에 문항 3~5개가 달려 있는 형태(RC형 독해 벤치, 일부 GPQA류 세트)에서는, 그 지문을 모델이 잘 이해했는지 여부가 딸린 문항들의 정답 여부를 한꺼번에 좌우한다. 지문 하나를 못 풀면 딸린 문항 5개가 통째로 틀리는 식이다. 이때 실질적인 독립 표본의 개수는 문항 수 \(n\)이 아니라 지문의 개수에 더 가깝다.
결과: 독립을 가정한 채 계산한 \(\widehat{SE}\)는 실제보다 작게 나온다. 문항 100개가 사실은 지문 20개짜리 클러스터의 반복이라면, “진짜” 독립 표본 크기는 100이 아니라 20에 더 가까운데, 공식은 여전히 \(n=100\)으로 계산해 구간을 필요 이상으로 좁게 만든다. 좁아진 구간은 실제로는 겹칠 두 모델의 구간을 겹치지 않는 것처럼 보이게 하고, 없는 차이를 있는 것처럼 믿게 한다.

숫자로 감을 잡아보자. 문항 100개가 지문 20개 \(\times\) 딸린 문항 5개로 구성되어 있고, 모델이 각 지문 단위로 “이해했다/못했다”를 통째로 결정한다고(극단적으로 단순화한) 가정하면, 이 벤치마크의 실질적인 정보량은 \(n=100\)이 아니라 지문 개수인 \(n=20\)에 더 가깝다. 이항비율 공식을 \(\hat{p}=0.8\)에서 각각 적용해보면

\(n=100\)으로(잘못) 계산한 Wilson 반폭: 약 7.8%p
\(n=20\)으로(더 현실에 가깝게) 계산한 Wilson 반폭: 약 16.8%p

두 배 넘게 차이가 난다. 문항을 100개 모았다고 자랑해도, 그 100개가 사실 20개짜리 독립 단위의 재탕이라면 오차 막대는 20문항짜리 벤치의 것과 다를 게 없다. 물론 실제로는 “지문 하나가 통째로 맞거나 통째로 틀리는” 정도로 극단적이지 않고 그 사이 어딘가에 있으므로, 정확한 보정치는 이렇게 손으로 어림잡을 수 없다.

이 문제를 엄밀하게 푸는 해법이 클러스터 표준오차(cluster-robust SE)다 — 문항 단위가 아니라 클러스터(지문) 단위로 분산을 재계산하는 방법이며, 이번 글의 범위를 넘어서므로 #18에서 Miller (2024)의 처방과 함께 자세히 다룬다.

또 하나 짚어야 할 경계도 있다. 이 글의 구간은 오직 문항 표집 불확실성만 담는다. 실제 LLM 평가에는 이 외에도 분산의 원천이 더 있다 — 같은 프롬프트에도 디코딩이 랜덤하게 흔들리는 것(temperature sampling), 그리고 #6에서 본 프롬프트 포맷·선택지 순서의 선택. 이 두 원천은 이 글의 이항비율 공식에 전혀 포함되어 있지 않다. 즉 여기서 계산한 오차 막대는 “이 정도가 최소한의 불확실성”이라는 하한에 가깝고, 실제 총 불확실성은 이보다 더 클 수 있다. 이 여러 분산원을 한데 모아 다루는 방법도 #18의 몫이다.

통계 요약

방법	수식	커버리지 성질	언제 쓰나	함정
Wald	\(\hat{p} \pm z\sqrt{\hat{p}(1-\hat{p})/n}\)	\(\hat{p}\)가 0·1에 가깝거나 \(n\)이 작으면 명목 이하로 붕괴, \(n\)이 커져도 진동	정답률이 0.3~0.7대이고 \(n\)이 충분히 크며 손 계산이 필요할 때만 잠정적으로	\(\hat{p}=0,1\)에서 폭이 0으로 수축(점 구간), 상한이 100%를 넘어가는 계산값
Wilson	\(\dfrac{\hat{p}+\frac{z^2}{2n} \pm z\sqrt{\hat{p}(1-\hat{p})/n + z^2/(4n^2)}}{1+z^2/n}\)	대부분의 \((n,p)\)에서 명목 95%에 가장 근접, 파국적 실패 없음	기본값. 특별한 이유가 없으면 이것	손 계산이 번거로워 실무에서 여전히 Wald로 대체되는 관성
Clopper-Pearson	베타분위수 \([B_{\alpha/2}(x,n{-}x{+}1),\ B_{1-\alpha/2}(x{+}1,n{-}x)]\)	항상 명목 수준 이상(보수적), 96~99%대	안전·규제 맥락, 명목 미달을 절대 허용할 수 없을 때	불필요하게 넓어 검정력 손실(#17)
Agresti-Coull	\(\tilde n=n+z^2,\ \tilde p=\frac{x+z^2/2}{\tilde n},\ \tilde p \pm z\sqrt{\tilde p(1-\tilde p)/\tilde n}\)	\(n\)이 클 때 Wilson과 거의 동일, \(n\)이 작으면 편차	\(n>40\)대이고 손 계산으로 Wilson급 근사가 필요할 때	작은 \(n\)에서는 정교함이 Wilson에 못 미침
Jeffreys	\(\text{Beta}(x+\tfrac12, n-x+\tfrac12)\)의 등꼬리 분위수	소규모 \(n\)에서 빈도주의적으로도 양호	베이지안 해석이 자연스러운 맥락, 소규모 \(n\)	사전분포 개념에 대한 진입장벽

권고 한 줄: 기본은 Wilson, 안전·규제 맥락이거나 정답률이 극단(0 또는 1 근처)이면 Clopper-Pearson. Brown, Cai & DasGupta (2001)의 세분화된 기준을 따르자면 \(n \le 40\)엔 Wilson 또는 Jeffreys, \(n > 40\)엔 Agresti-Coull이지만, 실무에서는 Wilson 하나로 거의 모든 경우를 무리 없이 커버한다.

실무 체크리스트로 정리하면 다음 순서로 물으면 된다.

이 점수가 이항비율인가? (객관식 정답률, 안전 위반율, pass@1처럼 “맞았다/틀렸다”의 평균이면 그렇다.)
문항 수 \(n\)은 몇인가? — 이 하나로 오차 막대의 최소 폭이 대략 정해진다(이 글의 4번 실험 표가 그 감각이다).
정답률이 0.5 근처인가, 0이나 1 근처인가? — 후자라면 Wald는 후보에서 제외한다.
안전·규제 맥락인가? — 그렇다면 Clopper-Pearson으로, 아니라면 Wilson으로 계산한다.
문항들이 지문·컨텍스트를 공유하는 클러스터 구조인가? — 그렇다면 이 글의 공식을 그대로 쓰지 말고 #18의 클러스터 SE로 넘어간다.

Conclusion

이 글의 메시지를 한 줄로 요약하면: 정확도는 숫자가 아니라 분포에서 나온 표본이고, 그 표본에는 항상 표본오차가 딸려 있다. 리더보드에 적힌 “87.3”은 완결된 사실이 아니라, 초모집단에서 뽑힌 한 표본이 우연히 위치한 한 점이다. 그 점 주변에 얼마나 넓게 흔들릴 수 있는지를 정직하게 그리는 일이 이 글의 전부다.

정리하면,

accuracy는 이항비율이고, \(\hat{p}=X/n\)의 불확실성은 \(SE=\sqrt{p(1-p)/n}\)으로 정량화된다.
관습적으로 쓰는 Wald 구간은 정답률이 극단이거나 문항 수가 적을 때 체계적으로 무너진다 — 폭이 0으로 수축하거나(점 구간), 실제 커버리지가 명목 95%에 못 미치고 \(n\)이 커져도 진동한다.
Wilson score 구간이 실무 기본값이어야 한다. Clopper-Pearson은 보수적이라 안전·규제 맥락에 적합하고, Agresti-Coull은 큰 \(n\)에서 Wilson의 간단한 근사가 된다.
벤치마크 문항 수가 곧 판단 가능한 최소 차이를 결정한다. MT-Bench(80문항)에서 2%p, AIME(30문항)에서 10%p 이하의 차이는 대개 잡음의 크기 안에 있다.

그리고 이 글의 한계도 분명히 남는다. 여기서 계산한 구간은 문항 표집 불확실성만 담고, 문항 간 독립을 가정한다. 지문을 공유하는 문항 클러스터, 디코딩 랜덤성, 프롬프트 포맷 선택은 전부 별도의 분산원이며 이 이항비율 공식 바깥에 있다. 이 여러 원천을 한데 모아 실제 LLM 평가 파이프라인에 적용하는 절차는 #18에서 다룬다. 그리고 이 신뢰구간 하나만으로는 “두 모델의 점수가 다른가”라는 질문에 답할 수 없다 — 두 구간이 겹치는지 안 겹치는지를 눈으로 보는 것은 통계적으로 올바른 검정이 아니다. 짝지어진 비교, 유의성 검정은 다음 편 #16의 몫이고, 그 검정에 몇 문항이 필요한지는 #17이 답한다. 그리고 정답률이 극단적으로 낮은 안전 평가에서 이 신뢰구간이 어떻게 “테스트 통과”와 “안전하다”를 구분하는 도구가 되는지는 #21에서 본격적으로 다룬다.

참고 문헌

Wilson, E. B., 1927. Probable Inference, the Law of Succession, and Statistical Inference. Journal of the American Statistical Association, 22(158), 209-212.
Clopper, C. J. & Pearson, E. S., 1934. The Use of Confidence or Fiducial Limits Illustrated in the Case of the Binomial. Biometrika, 26(4), 404-413.
Agresti, A. & Coull, B. A., 1998. Approximate is Better than “Exact” for Interval Estimation of Binomial Proportions. The American Statistician, 52(2), 119-126.
Brown, L. D., Cai, T. T. & DasGupta, A., 2001. Interval Estimation for a Binomial Proportion. Statistical Science, 16(2), 101-133.
Miller, E., 2024. Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations (Anthropic, arXiv 2411.00640).
Hendrycks, D. et al., 2021. Measuring Massive Multitask Language Understanding (MMLU, arXiv 2009.03300).
Cobbe, K. et al., 2021. Training Verifiers to Solve Math Word Problems (GSM8K, OpenAI, arXiv 2110.14168).
Chen, M. et al., 2021. Evaluating Large Language Models Trained on Code (HumanEval, OpenAI, arXiv 2107.03374).
Zheng, L. et al., 2023. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (MT-Bench, UC Berkeley, NeurIPS 2023 Datasets and Benchmarks Track).
Rein, D. et al., 2023. GPQA: A Graduate-Level Google-Proof Q&A Benchmark (arXiv 2311.12022).

LLM 평가 체계 시리즈

이 글은 LLM 평가 체계 시리즈의 열다섯 번째 글이다.

1부. 평가란 무엇인가

측정으로서의 평가 — 구성개념·조작화·타당도·신뢰도
벤치마크는 무엇을 재고 있나 — 벤치 445편 구성타당도 리뷰

2부. 무엇을 숫자로 만드나 — 평가 metric

척도와 허용 연산 — Likert 평균을 내도 되는가
분류 지표 — accuracy의 함정부터 PR-AUC까지
생성 지표와 그 타당도 — BLEU에서 COMET까지
객관식 평가는 왜 흔들리나 — 위치 편향과 포맷 민감도

3부. LLM 벤치마크 지형도

지식과 추론 — MMLU 계열의 흥망 — MMLU·GPQA·BBH·HELM
검증 가능한 도메인 — 수학과 코드 — GSM8K·MATH·HumanEval·SWE-bench
개방형 대화 — MT-Bench에서 Arena까지 — judge 기반 벤치의 등장
능력의 다른 축 — 지시따르기·긴 문맥·사실성
한국어 벤치마크 — 번역이 아니라 원산, 그리고 문화 타당도

4부. 사람이 읽는다 — 정성평가와 일치도

사람 평가 설계 — 루브릭·Likert·pairwise·BWS
우연을 빼다 — κ 계열 — Cohen·Fleiss·weighted·Krippendorff
κ의 역설 — 일치율 90%인데 κ가 0.21

5부. 차이는 진짜인가 — 정량평가의 통계

(현재 글) 점수는 추정치다 — 이항비율 신뢰구간과 Wald의 실패
차이는 유의한가 — paired bootstrap·순열검정·McNemar
몇 개를 재야 하나 — 검정력·표본크기·다중비교
LLM eval의 통계 실무 — 클러스터 SE·IQM·분산 분해

6부. 신뢰할 수 있는 평가 체계

judge를 통계로 다루기 — 편향·Bradley-Terry·PPI
오염·재현성·효율 — 오염 검정·harness·IRT
안전 평가의 통계와 체계 설계 — 희귀사건·calibration·체크리스트

본 시리즈는 21편으로 구성된다.