몇 개를 재야 하나 — 검정력, 표본크기, 다중비교
With Little Power Comes Great Responsibility (Card et al., Stanford, EMNLP 2020)
Introduction
#16 차이는 유의한가는 이미 얻은 두 점수 사이에 “이 차이가 우연인가”를 물었다. 이 글은 그 질문의 앞과 뒤를 다룬다.
- 앞: 평가를 설계하기 전에 — “이 정도 차이를 잡아내려면 문항이 몇 개 필요한가”를 미리 계산한다.
- 뒤: 벤치를 하나가 아니라 여러 개 돌렸다면 — 그 여러 결과를 어떻게 다중비교 보정해서 읽어야 하는가.
이 둘을 건너뛰면 실무에서 정확히 두 가지 사고가 난다.
- 위음성: 문항 80개짜리 벤치로 두 모델을 비교했더니 “유의하지 않았다”고 결론 낸다. 하지만 애초에 그 벤치·그 표본크기로는 실제로 있는 개선도 잡아낼 확률이 낮았다. “유의하지 않다”가 아니라 “볼 수 없었다”인데, 전자로 잘못 읽는다.
- 위양성: 새 방법을 20개 벤치에 돌리고, 그중 유의한 것 하나를 골라 논문 abstract에 쓴다. 20개를 독립적으로 α=0.05로 검정하면, 실제로는 아무 차이도 없어도 하나 이상이 우연히 유의해질 확률이 이미 60%를 넘는다. 그 “유의한 하나”는 발견이 아니라 통계의 산수다.
이 글은 이 두 사고를 막는 도구 — 검정력·표본크기·MDE(앞쪽), 그리고 효과크기·다중비교 보정(뒤쪽) — 를 순서대로 다룬다. 핵심 논문은 두 편이다. Card, Henderson, Khandelwal, Jia, Mahowald, Jurafsky (2020) 는 GLUE·SQuAD·기계번역·사람 평가 전반에서 NLP 실험이 실제로 얼마나 저검정력인지 정량화했고, Dror, Baumer, Bogomolov, Reichart (2017) 는 “여러 데이터셋에 걸쳐 몇 개에서 진짜 효과가 있는가”라는 다중비교 문제에 통계적으로 건전한 답을 준다.
Background
두 종류의 오류, 그리고 검정력
가설검정은 항상 두 가지 방식으로 틀릴 수 있다.
| \(H_0\)가 참(진짜 차이 없음) | \(H_0\)가 거짓(진짜 차이 있음) | |
|---|---|---|
| 검정 결과: 기각 | 1종 오류 (\(\alpha\)) — 위양성 | 올바른 결정 — 검정력 (\(1-\beta\)) |
| 검정 결과: 기각 못함 | 올바른 결정 (\(1-\alpha\)) | 2종 오류 (\(\beta\)) — 위음성 |
- \(\alpha\): 실제로는 차이가 없는데 “차이가 있다”고 잘못 말할 확률. 보통 0.05로 고정한다.
- \(\beta\): 실제로는 차이가 있는데 “차이가 없다”(정확히는 “유의하지 않다”)고 말할 확률.
- 검정력 \(1-\beta\): 실제로 차이가 있을 때, 그 차이를 통계적으로 잡아낼 확률. #16에서 다룬 모든 검정(paired bootstrap, McNemar, permutation)은 각각 이 검정력을 갖는다.
관례적으로 \(1-\beta \ge 0.8\)(검정력 80% 이상)을 “적정 검정력”의 최소선으로 본다(Cohen, 1962). 이보다 낮으면 저검정력(underpowered) 실험이라 부른다.
검정력을 결정하는 요소는 네 가지뿐이다. 이 넷 중 셋을 고정하면 나머지 하나는 자동으로 결정된다.
- 효과크기 \(\delta\) — 잡고 싶은 진짜 차이가 클수록 검정력이 높다.
- 표본크기 \(n\) — 문항이 많을수록 검정력이 높다.
- \(\alpha\) — 기준을 느슨하게 잡을수록(α를 크게) 검정력이 높다(단, 위양성도 늘어난다).
- 분산 — 데이터가 시끄러울수록(분산이 클수록) 검정력이 낮다.
일상 비유: 검정력이 낮은 실험은 그물코가 성긴 그물로 물고기를 잡는 것과 같다. 그물을 걷어 올렸는데 물고기가 없다면, 두 가지 설명이 가능하다 — (a) 정말 그 자리에 물고기가 없었다, (b) 물고기는 있었는데 그물코가 너무 성겨서 다 빠져나갔다. 검정력을 계산하지 않고 “유의하지 않다”는 결과만 보면 이 둘을 구분할 수 없다. #6 객관식 평가는 왜 흔들리나에서 본 것처럼, 프롬프트 포맷 하나를 고정해 채점하는 것은 사실상 표본크기 1을 뽑는 것과 같다 — 그물코가 극단적으로 성긴 경우다.
Method
1. 표본크기를 계산한다 — 짝짓지 않은 경우와 짝지은 경우
평가를 설계하기 전에 답해야 할 질문은 “이 정도 차이 \(\delta\)를 검정력 \(1-\beta\)로 잡으려면 문항이 몇 개 필요한가”다. 답은 두 모델의 결과를 짝지어(paired) 비교하는가에 따라 완전히 달라진다.
짝짓지 않은 경우 — 두 비율 비교
| 두 모델이 서로 다른(또는 독립으로 취급한) 표본에서 각각 비율 \(p_1, p_2\)의 정답률을 낸다고 하자. 잡고 싶은 차이를 $$\delta = | p_1-p_2 | \(, 평균 비율을\)\bar{p}=(p_1+p_2)/2$$라 하면, 필요한 표본크기(그룹당)의 근사식은 다음과 같다. |
기호를 하나씩 풀어보자.
- \(z_{1-\alpha/2}\): 양측검정 유의수준 \(\alpha\)에 해당하는 표준정규분포 분위수. \(\alpha=0.05\)면 \(z_{1-\alpha/2}=1.96\).
- \(z_{1-\beta}\): 목표 검정력 \(1-\beta\)에 해당하는 분위수. 검정력 0.8이면 \(z_{1-\beta}=0.8416\).
- \(\delta\): 잡고 싶은 최소 차이. 실무에서는 이것이 “이 정도 개선이면 의미 있다”고 미리 정한 값이다.
- \(\bar{p}(1-\bar{p})\): 이항분포 분산의 근사치. \(\bar p=0.5\) 근방에서 최대이고 0이나 1로 갈수록 작아진다.
- 계수 2: 독립인 두 표본의 분산이 더해지기 때문이다.
이 식이 말하는 것: 필요한 표본은 \(\delta\)의 제곱에 반비례한다. 잡고 싶은 차이를 절반으로 줄이면(더 미세한 개선까지 보고 싶다면) 필요한 문항 수는 4배로 늘어난다. 이 역제곱 관계가 왜 작은 벤치에서 “1~2%p 개선”이 통계적으로 무의미한 주장이 되는지의 근본 이유다.
짝지은 경우 — McNemar 기반 표본크기
#16이 이미 강조했듯, LLM 평가에서 두 모델은 보통 같은 문항 집합을 푼다. 이걸 무시하고 위 공식을 쓰면 검정력을 버린다. 짝지은 경우의 정석 검정은 McNemar 검정(Dietterich, 1998; Card et al., 2020)이고, 그 표본크기 공식은 다음과 같다(Connett, Smith & McHugh, 1987; Duffy, 1984에 뿌리를 둔 근사).
문항 하나마다 두 모델의 결과는 네 가지로 나뉜다 — 둘 다 정답(\(p_{11}\)), 둘 다 오답(\(p_{00}\)), A만 정답(\(p_{10}\)), B만 정답(\(p_{01}\)). 이때 두 모델의 정확도 차이는 정확히 \(\Delta_{acc} = p_{10}-p_{01}\)이고, 불일치 쌍의 비율은 \(p_d = p_{10}+p_{01}\)이다(두 모델이 같은 결과를 내는 문항은 정보를 주지 않고, 다른 결과를 내는 문항만 차이를 드러낸다).
\[n \approx \frac{\left(z_{1-\alpha/2}\sqrt{p_d} + z_{1-\beta}\sqrt{p_d - \delta^2}\right)^2}{\delta^2}\]- \(p_d\): 불일치 쌍의 비율. 두 모델의 정답 여부가 얼마나 겹치는지(agreement rate \(P_a = 1-p_d\))를 반영한다. Card et al. (2020)이 §3.1~3.2에서 정확히 이 \(\Delta_{acc}\)와 \(P_a\) 두 파라미터로 McNemar 검정력을 분석한다.
- \(\delta = p_{10}-p_{01}\): 불일치 쌍 안에서의 비대칭 — 한쪽 모델이 다른 쪽을 이기는 비율. 이게 바로 잡고 싶은 정확도 차이다.
직접 검증: 두 모델의 평균 정확도가 \(\bar p\)로 같고, 문항별 정답 여부의 상관을 \(\rho\)(파이 계수)라 하면 \(p_d = 2\bar p(1-\bar p)(1-\rho)\)로 쓸 수 있다. 극단값을 넣어 방향을 확인하면:
- \(\rho=0\)(상관 없음)이면 \(p_d = 2\bar p(1-\bar p)\) — 위의 짝짓지 않은 공식과 정확히 같아진다. 상관이 없으면 짝짓기의 이득이 전혀 없다는 걸 수식이 스스로 보여준다.
- \(\rho \to 1\)(거의 항상 같은 결과)이면 \(p_d \to 0\), 즉 필요한 \(n\)이 극적으로 줄어든다. 실제로 \(p_d\)가 이론적 하한 \(\delta^2\)에 접근하면 \(n \to z_{1-\alpha/2}^2\)로 떨어진다 — 상수까지 줄어드는 것이다.
짝지으면 \(n\)이 얼마나 줄어드는가를 수치로 보자. \(\bar p=0.8\), \(\alpha=0.05\), 검정력 0.8, 잡고 싶은 차이 \(\delta=0.02\)(2%p)라 하자.
| 상관 \(\rho\) | \(p_d\) | 필요 \(n\) | 짝짓지 않은 경우 대비 |
|---|---|---|---|
| 0.0(짝짓지 않음과 동일) | 0.320 | 6,277 | 100% |
| 0.3 | 0.224 | 4,393 | 70% |
| 0.5 | 0.160 | 3,137 | 50% |
| 0.7 | 0.096 | 1,881 | 30% |
| 0.9 | 0.032 | 626 | 10% |
능력 벤치마크에서 같은 크기의 두 모델(같은 family의 파인튜닝 전후 등)은 보통 문항별 정답 여부의 상관이 0.6~0.8 수준으로 높다 — 어려운 문항은 둘 다 틀리고 쉬운 문항은 둘 다 맞히는 경향이 강하기 때문이다. 위 표의 \(\rho=0.7\) 행이 그 전형적 상황이다: 짝짓기만으로 필요한 문항 수가 70% 줄어든다. 짝짓지 않고 독립 2표본 검정을 쓰는 것은 이미 갖고 있는 정보(같은 문항이라는 사실)를 버리는 것과 같다.
MDE — 거꾸로 계산하기
실무에서는 보통 \(n\)이 이미 정해져 있다(벤치마크 크기는 논문이 정한다). 이때 유용한 질문은 반대다: “이 벤치로는 몇 %p부터 잡을 수 있는가?” 이것이 최소검출효과(minimum detectable effect, MDE) 다. 위 공식을 \(\delta\)에 대해 풀면 된다.
짝짓지 않은 경우:
\[\delta_{MDE} \approx (z_{1-\alpha/2}+z_{1-\beta})\sqrt{\frac{2\bar{p}(1-\bar{p})}{n}}\]일상 비유: MDE는 저울의 최소 눈금이다. 코끼리 체중계로 머리카락 한 올의 무게 차이를 재려 들면 안 된다 — 저울이 나쁜 게 아니라 애초에 그 정밀도 밖의 질문을 하는 것이다. 벤치마크를 고를 때도 마찬가지다. “이 벤치의 최소 눈금이 몇 %p인가”를 먼저 알아야, 그 벤치로 “1%p 개선”을 주장하는 게 말이 되는지 판단할 수 있다.
토이 예제로 손으로 따라가 보기. MT-Bench(80문항), \(\bar p=0.8\), \(\alpha=0.05\), 검정력 0.8:
- \[2\bar p(1-\bar p) = 2 \times 0.8 \times 0.2 = 0.32\]
- \[0.32 / 80 = 0.004\]
- \[\sqrt{0.004} = 0.0632\]
- \[(z_{1-\alpha/2}+z_{1-\beta}) = 1.96+0.8416 = 2.8016\]
- \(\delta_{MDE} = 2.8016 \times 0.0632 \approx 0.177\), 즉 17.7%p
80문항짜리 벤치로는 17.7%p보다 작은 차이는 애초에 검정력 80%로 잡을 수 없다는 뜻이다. 흔히 보고되는 “MT-Bench에서 0.3점 개선했다” 같은 주장이 왜 통계적으로 공허할 수 있는지, 이 다섯 줄의 계산이 보여준다. 전체 벤치마크에 대한 이 계산은 Experiments에서 표로 정리한다.
함정 — 사후 검정력 계산
여기서 흔히 저지르는 실수 하나: 실험을 이미 끝낸 뒤 관찰된 효과크기를 그대로 \(\delta\)에 넣어 “이 실험의 검정력이 몇 %였다”를 사후에 계산하는 것이다. 이건 순환논리다. 유의하지 않은 실험은 관찰된 효과크기도 작게 나오기 마련이라, 사후 계산은 거의 항상 “검정력이 낮았다”는 뒷맛 좋은 변명만 만들어낸다. Card et al.(2020)도 이를 명시적으로 경계한다 — 검정력 계산은 데이터를 보기 전에, 사전에 가정한(또는 과거 데이터·검증셋에서 추정한) 효과크기로 해야 의미가 있다. 위 계산에서 \(\bar p\)나 \(\rho\)를 “실제로 나온 값”이 아니라 사전 가정이나 검증셋 추정치로 넣은 것도 같은 이유다.
2. Card et al. (2020) — NLP 실험의 검정력 위기
Card, Henderson, Khandelwal, Jia, Mahowald, Jurafsky (2020), “With Little Power Comes Great Responsibility” (EMNLP 2020, pp. 9263–9274)는 이 문제를 NLP 전반에서 실증했다. 논문의 핵심 절차는 시뮬레이션 기반 검정력 분석(Figure 2) — 가정한 효과크기·분산으로 데이터를 반복 시뮬레이션하고, 매번 통계 검정을 돌려 유의한 비율을 검정력으로 추정하는 방법이다.
정확도 비교: GLUE·SQuAD의 검정력 위기
논문은 GLUE 리더보드의 상위 10개 모델 예측을 모아 정확도 차이(\(\Delta_{acc}\))와 일치율(\(P_a\))을 baseline 정확도의 회귀로 추정하고(\(R^2=0.97\)), 이를 이용해 각 데이터셋의 80% 검정력을 위한 MDE를 계산했다. 결과(논문 Table 2)는 다음과 같다.
| 데이터셋 | 테스트셋 크기 | SOTA 정확도 | 추정 MDE | 실제 보고된 평균 개선 \(\lvert\Delta_{acc}\rvert\) |
|---|---|---|---|---|
| WNLI | 147 | 94.5% | +5.26%p | 1.72%p |
| MRPC | 1,725 | 92.0% | +1.62%p | 0.63%p |
| SST-2 | 1,821 | 97.2% | +1.02%p | 0.57%p |
| RTE | 3,000 | 91.7% | +1.23%p | 3.89%p |
| QNLI | 5,463 | 97.5% | +0.55%p | 1.31%p |
| MNLI-m | 9,796 | 91.6% | +0.67%p | 0.97%p |
| MNLI-mm | 9,847 | 91.3% | +0.68%p | 1.29%p |
| SQuAD 2.0 | 8,862 | 90.7% | +0.56%p | 2.23%p |
| QQP | 390,965 | 91.0% | +0.11%p | 0.36%p |
WNLI·MRPC·SST-2는 실제로 보고되는 평균 개선(0.57~1.72%p)이 추정 MDE(1.02~5.26%p)보다 작다. 즉 이 세 데이터셋에서 “SOTA 갱신”이라 보고된 개선의 상당수는 애초에 검정력 80%로 잡을 수 없는 크기다. 논문은 이 세 데이터셋을 두고 “모델 비교의 근거로 계속 쓸지 재고할 필요가 있다”고까지 말한다.
기계번역: 2,000문장이면 BLEU 1점을 75% 검정력으로 잡는다
정확도와 달리 BLEU는 코퍼스 단위 지표라 문항별로 분해되지 않는다. 논문은 이를 위해 “문장 하나를 다른 출력으로 바꿔치기했을 때 BLEU가 얼마나 바뀌는가”라는 개별 효과 \(\delta_i\)의 분포(델타-라플라스 혼합)를 fairseq의 WMT En-De 사전학습 모델 4쌍에서 추정했다(Table 3). 이를 바탕으로 시뮬레이션한 결과, 전형적인 2,000문장 테스트셋은 BLEU 1점 차이를 약 75% 검정력으로 검출한다(Figure 4). 이 수치는 언어쌍마다 다를 수 있지만, “테스트셋이 클수록, 차이가 클수록 검정력이 급격히 올라간다”는 정성적 패턴은 일관되게 나타난다.
사람 평가: 대부분의 설계가 저검정력이다
논문은 EMNLP 2019 본회의 논문 41편에서 뽑은 117건의 Likert 척도 비교를 메타분석했다. 주요 관찰:
- 보고된 효과크기(개선 정도, [0,1] 척도로 정규화)의 표준편차는 0.12로 편차가 크다.
- 항목 수는 69%가 100개 이하, 18%만 200개를 넘었다.
- 문항당 평가 수는 34%가 아예 보고되지 않았고, 보고된 것 중 57%가 문항당 3개(최빈값)였다.
- 혼합효과모형으로 평가자·문항 변동을 추정해 시뮬레이션한 결과(Figure 6), 가장 흔한 설계(평가자 3명 × 문항 100개)는 고분산 상황에서 효과크기가 [0,1] 척도로 0.2 이상이 아니면 저검정력이었다. 저분산 상황에서도 효과크기 0.05 같은 작은 차이는, 문항 100개당 평가를 10개 이상 모으지 않는 한 잡히지 않는다.
과거 논문들의 사후 검정력: 46%만이 “적정”
논문은 자신이 수집한 GLUE/SQuAD 비교 데이터를 leave-one-out 회귀로 다시 활용해, 과거 논문들이 만약 검정력을 미리 계산했다면 어떤 결과였을지 사후적으로 추정했다. 오직 46%만이 적정 검정력(80% 이상)을 가졌을 것으로 예측되었고, 약 51%가 유의했을 것으로 추정되었다. 그리고 80% 이상의 검정력을 가졌을 것으로 추정된 실험 중 80%가 실제로 유의했을 것으로 나타났는데, 이는 전체 비교의 37%에 불과했다. 다시 말해 나머지 다수는 검정력이 부족해 유의성 여부와 무관하게 결론을 낼 근거가 약했다는 뜻이다.
핵심 함의와 권고
논문의 핵심 메시지는 한 줄로 압축된다. “유의하지 않았다”는 “차이가 없다”를 뜻하지 않는다. 검정력이 낮으면 애초에 잡을 수 없었을 뿐이다. 게다가 저검정력 상태에서 우연히 유의한 결과가 나오면, 그 결과는 진짜 효과크기를 과장(Type M 오류) 하거나 심지어 부호를 뒤집어(Type S 오류) 보여줄 위험이 크다(Gelman & Carlin, 2014) — Figure 1의 카툰이 이를 정확히 보여준다: \(n=25\) 표본에서 유의하게 나온 결과들은 평균적으로 실제 차이보다 크게 과장되어 있다.
논문이 제시하는 권고는 다음과 같다.
- baseline과 비교하기 전에 검정력 분석을 먼저 한다.
- 새 데이터셋·shared task를 만들 때는 MDE를 기준으로 항목 수를 정한다.
- 이미 검정력이 소진된 태스크(MRPC, SST-2 등)는 테스트셋 확장 또는 은퇴를 고려한다.
- 향후 검정력 계산을 돕기 위해 모델 체크포인트나 검증셋 예측을 공개한다.
- 사람 평가는 원자료(익명화)를 공유해 재분석이 가능하게 한다.
- 사람 평가 데이터를 모으기 전에 분석 계획과 검정력 분석으로 적절한 표본크기를 정한다.
3. 효과크기와 실용적 유의성
검정력 계산에는 항상 “잡고 싶은 효과크기 \(\delta\)“가 들어간다. 그런데 이 효과크기 자체를 어떻게 표현하느냐가 또 하나의 선택이다.
| 효과크기 지표 | 정의 | 언제 쓰나 |
|---|---|---|
| Cohen’s \(d\) | \(d = \dfrac{\mu_1-\mu_2}{\sigma_{pooled}}\) | 연속형 점수(judge 점수, Likert 평균 등) 비교. 표준편차 단위로 “몇 배 떨어져 있나”를 말한다. |
| 비율 차이 \(\delta = p_1-p_2\) | 그대로의 %p 차이 | 정확도·pass@1처럼 이항 지표. 해석이 직관적이나 baseline 수준에 의존한다(90%→92%와 50%→52%는 통계적으로 다른 의미). |
| 오즈비(odds ratio) | \(OR = \dfrac{p_1/(1-p_1)}{p_2/(1-p_2)}\) | baseline 수준이 다른 여러 데이터셋을 가로질러 비교할 때. 희귀사건(낮은 유병률 안전 위반 등)에서 상대위험도의 근사로도 쓴다. |
Cohen(1988)은 \(d=0.2/0.5/0.8\)을 각각 small/medium/large의 관습적 경계로 제안했다. 그런데 이 경계는 #14 κ의 역설에서 본 Landis & Koch(1977)의 \(\kappa\) 해석 기준과 정확히 같은 처지다 — 경험적으로 도출된 게 아니라 관습이며, 도메인마다 “의미 있는” 크기는 다르다. LLM 평가에서 이 경계를 그대로 가져다 쓰기보다, 그 도메인에서 실제로 “체감되는” 차이가 얼마인지(예: 실사용자 만족도, 배포 결정 기준)를 따로 정의하는 게 낫다.
통계적 유의성 ≠ 실용적 유의성
표본크기 공식의 함정은 정확히 여기에 있다: \(n\)이 커지면 어떤 미세한 \(\delta\)도 유의해진다. 위 Card et al. 표의 QQP 행이 이를 실증한다 — 문항이 390,965개나 되면 MDE가 0.11%p까지 내려간다. 즉 QQP에서 0.1%p 차이도 “통계적으로 유의하다”고 나올 수 있다. 그런데 0.1%p 차이가 실제로 어떤 사용자에게 체감되는가? 대부분의 실무 맥락에서는 아니다.
이것이 통계적 유의성과 실용적 유의성의 간극이다. p값은 “우연이 아닐 가능성”만 말하고, “그 차이가 신경 쓸 만한 크기인가”는 전혀 말해주지 않는다. \(n\)이 매우 크면 그 간극이 특히 벌어진다.
권고: p값을 단독으로 보고하지 않는다. 항상 효과크기 + 신뢰구간(#15 참고) + \(n\) 을 함께 보고한다. “유의했다(p<0.05)”만 쓰는 것과 “정확도가 0.36%p(95% CI [0.1, 0.6]%p, n=390,965) 개선되었고, 이는 통계적으로 유의하나 배포 결정 기준(1%p)에는 못 미친다”를 쓰는 것은 전혀 다른 정보량을 준다.
함정 — 오즈비를 상대위험도로 읽는다
효과크기로 오즈비(odds ratio, OR)를 쓸 때 흔한 오독이 있다. OR을 “몇 배 더 자주 일어난다”로 읽는 것이다. 그것은 상대위험도(relative risk, RR)의 뜻이고, 둘은 다르다.
\[RR = \frac{p_A}{p_B}, \qquad OR = \frac{p_A/(1-p_A)}{p_B/(1-p_B)}\]- \(p_A, p_B\): 두 조건에서 사건이 일어날 확률
- RR은 확률의 비, OR은 승산(odds)의 비다.
\(p\)가 0에 가까우면 \(1-p \approx 1\)이므로 두 값이 거의 같아진다. 그런데 기저율이 올라가면 OR이 RR을 과장한다. RR을 2.0으로 고정한 채 기저율만 올려보면 이렇게 벌어진다.
| 기저율 \(p_B\) | \(p_A\) | RR | OR |
|---|---|---|---|
| 1% | 2% | 2.00 | 2.02 |
| 10% | 20% | 2.00 | 2.25 |
| 30% | 60% | 2.00 | 3.50 |
| 40% | 80% | 2.00 | 6.00 |
같은 “2배”인데 OR은 2.02에서 6.00까지 움직인다. 그래서 “OR 6.00”을 보고 “6배 위험하다”고 말하면 실제(2배)의 세 배로 부풀리는 것이 된다.
LLM 평가에서 이게 문제되는 지점은 분명하다. 안전 위반율처럼 기저율이 낮은 지표에서는 OR과 RR이 거의 같아 안전하지만, 정확도처럼 기저율이 0.5 근처인 지표에서는 크게 갈린다. 정확도 40% → 80%를 “OR 6.0”으로 보고하면 독자는 실제보다 훨씬 큰 개선으로 읽는다. 정확도류 지표에서는 차이(percentage point)나 RR을 쓰고, OR을 쓸 때는 기저율을 함께 적어라.
4. 다중비교를 보정한다
문제 설정 — 검정을 여러 번 하면 산수가 불리해진다
독립인 검정 \(m\)개를 각각 \(\alpha=0.05\)로 수행한다고 하자. 각 검정이 정말로 차이가 없는 벤치를 재고 있어도(전역 귀무가설이 참이어도), 하나 이상에서 우연히 유의한 결과가 나올 확률은
\[P(\text{하나 이상 위양성}) = 1-(1-\alpha)^m\]이다. 직접 계산해보면:
| \(m\) (독립 검정 수) | \(1-(1-0.05)^m\) |
|---|---|
| 1 | 5.00% |
| 5 | 22.62% |
| 10 | 40.13% |
| 20 | 64.15% |
| 50 | 92.31% |
\(m=20\)이면 약 64%다. 즉 벤치 20개를 돌리면, 아무 진짜 효과가 없어도 5분의 3 확률로 뭔가 하나는 유의하게 나온다. Dror et al.(2017)은 이 산수를 극단으로 밀어붙여 보여준다: \(N=100\)개 데이터셋에서 모두 진짜 차이가 없어도, 개별 검정을 \(\alpha=0.05\)로 돌려 유의한 것을 세는 “naive counting” 방식은 하나 이상의 잘못된 주장을 할 확률이 \(1-(1-0.05)^{100}=0.994\), 즉 99.4%가 된다.
일상 비유: 이건 복권을 20장 사는 것과 같다. 한 장의 “당첨”(우연한 유의성) 확률은 5%로 낮지만, 20장을 사면 적어도 한 장이 당첨될 확률은 64%로 뛴다. 그 당첨된 한 장을 골라 “내가 복권에 강하다”고 말하는 게 바로 벤치 20개 중 유의한 하나를 리포트하는 것과 같은 오류다.
Bonferroni — 단순하지만 보수적이다
가장 단순한 교정은 각 검정의 기준을 \(\alpha/m\)으로 낮추는 것이다. \(m=20\)이면 기준이 \(0.05/20=0.0025\)까지 내려간다. 이 방법은 검정 간 의존성에 대해 어떤 가정도 필요 없이 가족단위오류율(FWER, 아래 정의)을 정확히 \(\alpha\) 이하로 통제한다는 장점이 있다. 그러나 대가가 크다 — 기준이 너무 엄격해져서, 진짜로 존재하는 효과(예: \(p=0.01\)짜리 실제 개선)조차 \(m\)이 크면 놓치게 된다. 즉 검정력을 크게 잃는다.
Holm-Bonferroni(Holm, 1979)는 같은 FWER 보장을 유지하면서 Bonferroni보다 항상 검정력이 같거나 높은 순차적 절차다. 절차는 다음과 같다.
- \(m\)개의 p값을 오름차순으로 정렬한다: \(p_{(1)} \le p_{(2)} \le \dots \le p_{(m)}\).
- \(p_{(k)} > \dfrac{\alpha}{m-k+1}\) 을 만족하는 가장 작은 인덱스 \(k\)를 찾는다.
- \(H_{(1)}, \dots, H_{(k-1)}\)을 기각하고, \(H_{(k)}, \dots, H_{(m)}\)은 기각하지 않는다. 그런 \(k\)가 없으면 전부 기각한다.
가장 작은 p값은 가장 엄격한 기준(\(\alpha/m\), Bonferroni와 동일)을 통과해야 하지만, 그 다음 p값은 조금 느슨한 기준(\(\alpha/(m-1)\))을 통과하면 된다 — 순차적으로 기준이 완화되는 구조라 Bonferroni보다 더 많이(또는 같게) 기각할 수 있다.
FWER과 FDR — 다른 질문에 답한다
Bonferroni와 Holm은 모두 FWER(family-wise error rate, 가족단위오류율) 을 통제한다: “\(m\)개의 검정 전체에서, 위양성이 하나라도 날 확률”을 \(\alpha\) 이하로 누른다. 이건 매우 보수적인 기준이다 — \(m\)이 커지면 개별 기준이 계속 엄격해진다.
Benjamini & Hochberg(1995) 는 다른 질문을 던진다: “기각된 것들 중에서 얼마나가 위양성인가?” 이것이 FDR(false discovery rate) 이다.
\[\text{FDR} = E\left[\frac{V}{\max(R,1)}\right]\]- \(V\): 기각된 것 중 실제로는 위양성인 개수.
- \(R\): 기각된(유의하다고 판정한) 전체 개수.
- FWER은 “위양성이 하나라도 있을 확률”을, FDR은 “기각한 것들 중 위양성의 기대 비율“을 통제한다는 점이 개념적 차이다. 기각한 게 아예 없으면(\(R=0\)) 비율을 0으로 정의한다.
BH 절차는 다음과 같다.
- \(m\)개의 p값을 오름차순으로 정렬한다: \(p_{(1)} \le p_{(2)} \le \dots \le p_{(m)}\).
- \(p_{(i)} \le \dfrac{i}{m}q\) 를 만족하는 가장 큰 \(i\)를 찾는다(여기서 \(q\)는 허용할 FDR 수준, 보통 0.05).
- \(H_{(1)}, \dots, H_{(i)}\)를 기각한다.
BH는 Bonferroni/Holm보다 기각 기준이 느슨하다(같은 순위에서 \(\frac{i}{m}q \ge \frac{\alpha}{m-i+1}\)인 경우가 많다). 그 대신 “기각한 것 중 5%는 틀릴 수 있다”는 여지를 허용하는 셈이다. 전역 귀무가설이 참인 극단(진짜 효과가 하나도 없음)에서는 BH도 FWER과 거의 같은 수준으로 위양성을 억누른다 — 뒤의 시뮬레이션이 이를 보여준다. 하지만 일부는 진짜 효과이고 일부는 아닐 때는 BH가 Bonferroni/Holm보다 더 많은 진짜 효과를 잡아낸다 — “기각된 것 중 위양성 비율”만 통제하면 되므로, 진짜 효과가 많을수록 그 비율의 여유가 커지기 때문이다.
함정 — 유의한 것만 골라 보정한다
보정 절차에서 가장 자주 무너지는 것은 공식이 아니라 \(m\)을 무엇으로 잡는가다.
벤치 20개를 돌렸고 그중 3개에서 \(p < 0.05\)가 나왔다고 하자. 여기서 “유의하게 나온 3개에 대해 Bonferroni를 적용해 \(\alpha/3\)으로 판정하겠다”고 하면 보정을 안 한 것과 거의 다름없다. 이유는 단순하다 — 그 3개를 고른 행위 자체가 이미 20번의 검정 결과를 본 뒤의 선택이기 때문이다. 위양성이 낄 기회는 20번 있었는데 벌칙은 3번분만 낸 셈이다.
\(m\)은 실제로 수행한 검정의 수여야 한다. 보고하기로 결정한 수가 아니다. 여기에는 눈에 안 보이는 검정들이 다 포함된다.
- 돌렸지만 결과가 나빠서 논문에 안 실은 벤치
- 하이퍼파라미터를 바꿔가며 재평가한 횟수
- 프롬프트 템플릿을 여러 개 시도한 것(#6)
- 체크포인트를 여러 개 평가한 뒤 가장 좋은 것을 고른 것
마지막 항목이 특히 흔하다. 체크포인트 10개를 평가해 최고점을 고르는 것은 최댓값 통계를 보고하는 것이며, 그 최댓값의 기댓값은 참값보다 높다. 그래서 검증셋에서 고른 최고점은 테스트셋에서 대개 내려간다.
실무 처방은 두 가지다. 첫째, 분석 계획을 데이터를 보기 전에 적어둔다(어떤 벤치를, 어떤 지표로, 몇 번 볼 것인지). 둘째, 그게 안 됐다면 최소한 수행한 검정 수를 정직하게 보고한다. “벤치 20개 중 3개에서 유의했다”는 문장은 그 자체로 정보가 되지만, “이 벤치에서 유의했다”만 쓰면 독자는 \(m=1\)로 읽는다.
Dror et al. (2017) — 여러 데이터셋에 걸친 결론, “몇 개에서 진짜인가”
Dror, Baumer, Bogomolov, Reichart (2017), “Replicability Analysis for Natural Language Processing: Testing Significance with Multiple Datasets” (TACL, vol. 5, pp. 471–486)는 다중비교를 “여러 데이터셋에 걸친 결론”이라는 NLP 고유의 형태로 다시 던진다. 논문이 지적하는 문제: 다국어 의존구문분석, 다국어 품사태깅처럼 알고리즘 A와 B를 여러 데이터셋(언어·도메인)에서 비교할 때, 실무에서는 흔히 “각 데이터셋에서 p<0.05인 곳을 세는” naive counting을 쓴다. 이게 왜 위험한지는 앞서 본 \(N=100\), 99.4% 예시가 정확히 보여준다.
논문은 두 질문을 구분한다.
- Counting(개수): \(N\)개 데이터셋 중 적어도 몇 개에서 알고리즘 A가 진짜로 B보다 우수한가?
- Identification(식별): 그 데이터셋들이 구체적으로 어느 것인가?
Partial conjunction 가설이 이 질문에 통계적으로 답하는 틀이다(Benjamini & Heller, 2008). \(k\)를 실제로 A가 B보다 우수한(귀무가설이 거짓인) 데이터셋의 개수라 하면, 미리 정한 정수 \(u\)(\(1\le u\le N\))에 대해
\[H_0^{u/N}: k < u \quad \text{vs.} \quad H_1^{u/N}: k \ge u\]를 검정한다. \(u=1\)이면 “적어도 하나에서 효과가 있다”는 전역 귀무가설 검정과 같고, \(u=N\)이면 “모든 데이터셋에서 효과가 있다”는(매우 강한) 주장이다.
이 가설을 검정하는 p값은 두 방식으로 계산한다. p값을 오름차순으로 정렬한 \(p_{(1)}\le\dots\le p_{(N)}\)에 대해,
\[p^{u/N}_{Bonferroni} = (N-u+1)\, p_{(u)}\]직접 검증: \(u=1\)을 넣으면 \(p^{1/N}_{Bonferroni} = N \cdot p_{(1)}\) — 이건 정확히 표준 Bonferroni 전역검정과 같다. 즉 partial conjunction 틀은 전역검정을 \(u=1\)인 특수 사례로 포함하는 일반화다. 이 방식은 데이터셋 간 의존성에 대해 아무 가정도 요구하지 않는다(논문은 “데이터셋이 서로 의존적일 때” 쓰라고 권한다). 독립을 가정할 수 있다면 더 검정력 높은 Fisher 방법(카이제곱 기반, \(p^{u/N}_{Fisher}\))도 쓸 수 있으나, NLP에서는 데이터셋 간 의존성을 확신할 수 없는 경우가 많아 Bonferroni 방식이 기본 권고다.
Counting의 추정량은 \(\hat k = \max\{u : p_*^{u/N} \le \alpha\}\)(단조화된 p값 \(p_*^{u/N}\)를 사용)로 정의되며, \(P(\hat k > k) \le \alpha\) — 즉 실제 개수 \(k\)를 과대추정할 확률이 \(\alpha\) 이하로 보장된다. Identification(어느 데이터셋인가)에는 위에서 본 Holm 절차를 그대로 적용하도록 권한다 — Holm 기준으로 기각된 데이터셋의 목록을 그 실제 “이곳에서 우수하다”의 답으로 쓰면, FWER이 보장된다.
일상 비유: 이건 배심원단 비유로 이해하면 쉽다. “12명 중 적어도 8명이 유죄라고 본다”를 통계적으로 검증하려면, 그냥 “유죄라고 말한 배심원 수를 세는” 것으로는 부족하다(그 수 자체가 우연히 부풀려질 수 있다). partial conjunction은 “적어도 \(u\)명이 유죄라고 본다”는 주장 하나하나에 통계적 보증을 씌우는 절차다.
논문은 이 틀을 다중도메인 의존구문분석, 다국어 품사태깅, 교차도메인 감성분류, 단어유사도 예측 네 응용에서 검증했고, 결론적으로 naive counting이 추정하는 개수(\(\hat k_{count}\))는 partial conjunction 추정량(\(\hat k_{Bonferroni}, \hat k_{Fisher}\))보다 체계적으로 과대추정됨을 toy 시뮬레이션(전역 귀무가설이 참인 \(N=100\) 상황, 1,000회 반복)으로 보였다.
Experiments
1. MDE 표 — 실제 벤치 크기로 계산한다
\(\bar p \approx 0.8\), \(\alpha=0.05\), 검정력 0.8을 가정하고, 짝짓지 않은 경우와 짝지은 경우(상관 \(\rho=0\), \(\rho=0.7\))로 나눠 다섯 개 실제 벤치마크의 MDE를 계산했다.
| 벤치마크 | 문항 수 \(n\) | MDE(짝짓지 않음) | MDE(짝지음, \(\rho=0\)) | MDE(짝지음, \(\rho=0.7\)) |
|---|---|---|---|---|
| MT-Bench | 80 | 17.72%p | 17.46%p | 9.56%p |
| HumanEval | 164 | 12.38%p | 12.29%p | 6.73%p |
| GPQA Diamond | 198 | 11.26%p | 11.20%p | 6.13%p |
| GSM8K | 1,319 | 4.36%p | 4.36%p | 2.39%p |
| MMLU | 14,000 | 1.34%p | 1.34%p | 0.73%p |
세 가지가 눈에 들어온다.
- \(\rho=0\) 열은 짝짓지 않은 열과 거의 같다 — 위에서 유도로 확인한 대로, 상관이 없으면 짝짓기의 이득이 사라진다.
- \(\rho=0.7\)로 짝지으면 MDE가 대략 절반 가까이(약 \(\sqrt{1-0.7}\approx 0.55\)배) 줄어든다. 그래도 MT-Bench·HumanEval·GPQA Diamond는 여전히 6~10%p 밑으로는 못 잡는다.
- 1~2%p 개선은 GSM8K조차 검정력 밖이고(2.39%p), MMLU 정도의 대형 벤치(14,000문항)에서야 겨우 손에 잡힌다(0.73~1.34%p). 소형·중형 벤치에서 “1~2%p 개선”을 보고하는 논문 상당수가, 짝지어 검정했더라도 애초에 그 크기를 통계적으로 구분할 능력이 없었다는 뜻이다.
2. 다중비교 시뮬레이션 — 벤치 20개, 실제로는 전부 무효과
벤치 20개를 가정하고, 실제로는 모두 진짜 차이가 없는(전역 귀무가설이 참인) 상황을 20만 회 몬테카를로로 시뮬레이션했다(각 벤치의 p값을 균등분포 \(U(0,1)\)에서 뽑아 귀무가설이 참인 검정을 흉내냈다).
| 보정 방법 | 기대 위양성 개수 \(E[V]\) | 하나 이상 위양성이 날 확률 |
|---|---|---|
| 보정 없음(각각 \(\alpha=0.05\)) | 1.000 | 64.20% |
| Bonferroni(\(\alpha/20=0.0025\)) | 0.050 | 4.88% |
| Benjamini-Hochberg(\(q=0.05\)) | 0.055 | 5.00% |
- 보정 없음: 기대 위양성 개수가 정확히 \(m\alpha = 20\times0.05=1.0\)이다. “20개 중 1개는 우연히 유의하게 나온다”는 게 산수 그대로 재현됐다. 하나 이상이 유의할 확률은 이론값 64.15%와 정확히 일치(64.20%, 20만 회 시뮬레이션의 표본오차 범위).
- Bonferroni: 기대 위양성이 0.05로 눌리고, 하나 이상 날 확률도 4.88%로 통제된다 — FWER \(\le\alpha\) 보장이 실증됐다.
- BH: 이 “전역 귀무가설이 전부 참”인 극단 상황에서는 BH도 Bonferroni와 거의 같은 수준(5.00%)으로 위양성을 억누른다. 앞서 말했듯 BH와 Bonferroni의 차이는 일부가 진짜 효과일 때 드러난다 — 그 경우 BH가 더 많은 진짜 효과를 잡아내면서도 기각된 것 중 위양성 비율만 5% 수준으로 유지한다.
3. 다중비교 시뮬레이션 — 일부는 진짜 효과일 때
앞의 시뮬레이션은 “전부 무효과”라는 극단이었다. 그 경우 BH와 Bonferroni는 거의 같게 행동한다. 둘의 차이는 진짜 효과가 섞여 있을 때 드러나므로, 설정을 바꿔 다시 돌렸다.
시뮬레이션 설정
- 벤치 \(m = 20\)개. 그중 \(m_1 = 5\)개는 진짜 효과가 있고, \(m_0 = 15\)개는 무효과다.
- 진짜 효과가 있는 벤치의 검정통계량은 \(z \sim \mathcal{N}(2.5, 1)\), 무효과 벤치는 \(z \sim \mathcal{N}(0, 1)\). 비중심모수 2.5는 개별 검정 기준 약 70% 검정력에 해당한다.
- 양측 검정, \(\alpha = 0.05\), BH의 목표 \(q = 0.05\). 200,000회 반복.
- 검출력 = 진짜 효과 5개 중 기각된 비율, FWER = 무효과를 하나 이상 기각한 시행의 비율, FDR = \(E\big[V/\max(R,1)\big]\) (기각 중 위양성 비율의 기댓값).
| 방법 | 검출력 | FWER | FDR |
|---|---|---|---|
| 보정 없음 | 70.5% | 53.7% | 15.5% |
| Bonferroni | 30.1% | 3.8% | 1.9% |
| Holm | 30.8% | 4.1% | 1.9% |
| BH (FDR) | 41.8% | 11.8% | 3.8% |
읽어야 할 것이 네 가지다.
- 보정 없음의 FWER이 53.7%다. 무효과 15개 중 하나라도 잘못 기각할 확률이 절반을 넘는다. 앞 절의 산수(\(1-(1-0.05)^{15} = 53.7\%\))와 정확히 맞는다.
- BH의 검출력이 Bonferroni보다 41.8% 대 30.1%, 상대적으로 39% 높다. 같은 데이터에서 진짜 개선을 1.4배 더 많이 잡아낸다. 이것이 BH를 쓰는 이유다.
- 그 대가는 FWER이다. BH의 FWER은 11.8%로 Bonferroni의 3.8%보다 높다. BH는 FWER을 통제하지 않으므로 당연한 결과다 — BH를 썼다면 “위양성이 하나도 없다”고 말할 수 없다.
- BH의 FDR 3.8%가 이론 상한과 맞는다. 독립 검정에서 BH는 FDR을 \(q \cdot m_0/m\) 이하로 통제하는데, 여기서는 \(0.05 \times 15/20 = 3.75\%\)다. 관측값 3.8%가 이 값에 거의 정확히 붙는다. BH가 \(q\)를 다 쓰지 않는 이유가 여기 있다 — 진짜 효과의 비율이 높을수록 여유가 커진다.
그래서 무엇을 고르나. 질문이 다르므로 답도 다르다.
- “이 개선 중 하나라도 가짜면 안 된다”(배포 게이트, 안전 주장) → FWER 통제(Holm 권장, Bonferroni보다 항상 낫다).
- “유망한 후보를 넓게 건지고 그중 일부가 가짜인 것은 감수한다”(탐색적 스크리닝, 어느 벤치를 더 파볼지 고르기) → FDR 통제(BH).
4. 역방향 계산 — “2%p 개선을 검정력 80%로 잡으려면?”
\(\bar p=0.8\), \(\alpha=0.05\), 검정력 0.8을 가정하고, “2%p 개선”을 잡는 데 필요한 문항 수를 짝짓기 여부·상관에 따라 계산했다(위 Method 절의 표와 동일한 계산을 다시 표로 강조).
| 설계 | 필요 문항 수 \(n\) |
|---|---|
| 짝짓지 않음(독립 2표본 취급) | 6,279 |
| 짝지음, \(\rho=0\) | 6,277 |
| 짝지음, \(\rho=0.3\) | 4,393 |
| 짝지음, \(\rho=0.5\) | 3,137 |
| 짝지음, \(\rho=0.7\) | 1,881 |
| 짝지음, \(\rho=0.9\) | 626 |
MMLU(약 14,000문항)는 이 기준(2%p, 짝지음 \(\rho=0.7\) 가정 시 1,881문항 필요)을 여유 있게 넘는다. GSM8K(1,319문항)는 짝지어도(1,881 필요) 살짝 못 미친다 — 앞선 MDE 표에서 GSM8K의 MDE가 2.39%p로 나온 것과 정확히 같은 결론이다. MT-Bench·HumanEval·GPQA Diamond는 짝지어도 한 자릿수%p 개선조차 벅차다.
통계 요약
| 목적 | 방법 | 핵심 식 | 실무 권고 |
|---|---|---|---|
| 표본크기(짝짓지 않음) | 두 비율 비교 | \(n \approx \dfrac{(z_{1-\alpha/2}+z_{1-\beta})^2 \cdot 2\bar p(1-\bar p)}{\delta^2}\) | 벤치 설계 전에 계산. \(\delta\)를 절반으로 줄이면 \(n\)은 4배 필요 |
| 표본크기(짝지음, McNemar) | 불일치 쌍 기반 | \(n \approx \dfrac{\left(z_{1-\alpha/2}\sqrt{p_d}+z_{1-\beta}\sqrt{p_d-\delta^2}\right)^2}{\delta^2}\) | 같은 문항을 여러 모델에 쓴다면 항상 짝지어 검정. \(\rho=0.7\)이면 필요 \(n\)이 30%로 감소 |
| MDE | 표본크기 식을 \(\delta\)에 대해 역산 | \(\delta_{MDE} \approx (z_{1-\alpha/2}+z_{1-\beta})\sqrt{2\bar p(1-\bar p)/n}\) | 벤치 발표 전 “이 벤치는 몇 %p부터 보이는가”를 명시 |
| 효과크기 | Cohen’s \(d\) / 비율차 / 오즈비 | \(d=(\mu_1-\mu_2)/\sigma_{pooled}\) | p값 단독 보고 금지. 효과크기 + 신뢰구간 + \(n\)을 항상 함께 |
| 다중비교(FWER) | Bonferroni | \(\alpha/m\) | 검정 수가 적거나, 위양성을 절대 허용 못 할 때. 검정력을 크게 희생 |
| 다중비교(FWER, 순차) | Holm-Bonferroni | 정렬된 \(p_{(k)}\)를 \(\alpha/(m-k+1)\)과 순차 비교 | Bonferroni 대신 기본으로 쓴다 — 같은 보장, 더 높은 검정력 |
| 다중비교(FDR) | Benjamini-Hochberg | \(p_{(i)}\le (i/m)q\)인 최대 \(i\)까지 기각 | 다수 벤치·다수 지표를 탐색적으로 훑을 때. “기각된 것 중 위양성 비율”만 통제됨을 명시 |
| 여러 데이터셋 결론 | Partial conjunction(Dror et al.) | \(p^{u/N}_{Bonferroni}=(N-u+1)p_{(u)}\) | “몇 개에서 진짜 효과가 있나”를 naive counting 대신 이 절차로 답한다 |
Conclusion
이 글의 결론은 한 문장으로 줄어든다. 평가 설계는 실험 설계다. 벤치마크 문항 수를 정하는 것은 예산이나 편의의 문제가 아니라, “얼마나 정밀한 저울을 쓸 것인가”를 정하는 통계적 결정이다. 그리고 그 결정을 건너뛰면 두 가지 사고가 반복된다 — 저검정력 벤치로 실재하는 개선을 놓치는 위음성, 그리고 여러 벤치를 돌려 우연한 유의성 하나를 발견으로 포장하는 위양성.
Card et al.(2020)이 실증했듯, NLP 실험의 상당수는 이미 저검정력이다 — GLUE의 절반에 가까운 태스크에서 흔히 보고되는 개선이 MDE보다 작고, 과거 실험의 절반가량이 사후적으로 적정 검정력을 갖지 못했을 것으로 추정된다. Dror et al.(2017)이 보였듯, 여러 데이터셋에 걸친 결론은 naive counting으로는 거의 항상 과장된다 — \(N=100\)이면 아무 효과가 없어도 99.4%의 확률로 뭔가 하나는 유의해 보인다.
보고 관행 권고를 정리하면:
- 평가를 설계하기 전에 표본크기 또는 MDE를 계산해서 명시한다.
- 결과를 보고할 때는 \(n\), 효과크기, 신뢰구간, 검정 종류(짝지음 여부 포함)를 함께 밝힌다.
- 벤치를 둘 이상 돌렸다면 다중비교 보정 여부와 방법을 명시한다 — 보정하지 않았다면 그 이유를, 보정했다면 Bonferroni/Holm/BH 중 무엇을 썼는지.
- “유의하지 않았다”는 결론에는 그 실험의 검정력이 얼마였는지를 함께 적는다.
이 원칙들을 LLM 평가라는 구체적 맥락에 맞춰 실무 지침으로 다시 정리한 것이 #18 LLM eval의 통계 실무다. 클러스터 표준오차, 문항당 다중 샘플링을 통한 분산 분리, 짝지은 차이 분석까지 — 이 글에서 다진 검정력·표본크기·다중비교의 토대 위에서 다음 글이 이어진다.
참고 문헌
- Card, D., Henderson, P., Khandelwal, U., Jia, R., Mahowald, K., & Jurafsky, D. (2020). With Little Power Comes Great Responsibility. EMNLP 2020, pp. 9263–9274. (arXiv: 2010.06595)
- Dror, R., Baumer, G., Bogomolov, M., & Reichart, R. (2017). Replicability Analysis for Natural Language Processing: Testing Significance with Multiple Datasets. Transactions of the Association for Computational Linguistics, 5, 471–486.
- Benjamini, Y., & Hochberg, Y. (1995). Controlling the False Discovery Rate: A Practical and Powerful Approach to Multiple Testing. Journal of the Royal Statistical Society: Series B, 57(1), 289–300.
- Holm, S. (1979). A Simple Sequentially Rejective Multiple Test Procedure. Scandinavian Journal of Statistics, 6(2), 65–70.
- Benjamini, Y., & Heller, R. (2008). Screening for Partial Conjunction Hypotheses. Biometrics, 64(4), 1215–1222. (Dror et al. 2017의 partial conjunction 틀의 기반)
- Dietterich, T. G. (1998). Approximate Statistical Tests for Comparing Supervised Classification Learning Algorithms. Neural Computation, 10(7), 1895–1923.
- Connett, J. E., Smith, J. A., & McHugh, R. B. (1987). Sample Size and Power for Pair-Matched Case-Control Studies. Statistics in Medicine, 6(1), 53–59.
- Duffy, S. W. (1984). Asymptotic and Exact Power for the McNemar Test and Its Analogue with R Controls per Case. Biometrics, 40, 1005–1015.
- Gelman, A., & Carlin, J. (2014). Beyond Power Calculations: Assessing Type S (Sign) and Type M (Magnitude) Errors. Perspectives on Psychological Science, 9(6), 641–651.
- Cohen, J. (1962). The Statistical Power of Abnormal-Social Psychological Research: A Review. Journal of Abnormal and Social Psychology, 65(3), 145–153.
- Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences (2nd ed.).
LLM 평가 체계 시리즈
이 글은 LLM 평가 체계 시리즈의 열일곱 번째 글이다.
1부. 평가란 무엇인가
- 측정으로서의 평가 — 구성개념·조작화·타당도·신뢰도
- 벤치마크는 무엇을 재고 있나 — 벤치 445편 구성타당도 리뷰
2부. 무엇을 숫자로 만드나 — 평가 metric
- 척도와 허용 연산 — Likert 평균을 내도 되는가
- 분류 지표 — accuracy의 함정부터 PR-AUC까지
- 생성 지표와 그 타당도 — BLEU에서 COMET까지
- 객관식 평가는 왜 흔들리나 — 위치 편향과 포맷 민감도
3부. LLM 벤치마크 지형도
- 지식과 추론 — MMLU 계열의 흥망 — MMLU·GPQA·BBH·HELM
- 검증 가능한 도메인 — 수학과 코드 — GSM8K·MATH·HumanEval·SWE-bench
- 개방형 대화 — MT-Bench에서 Arena까지 — judge 기반 벤치의 등장
- 능력의 다른 축 — 지시따르기·긴 문맥·사실성
- 한국어 벤치마크 — 번역이 아니라 원산, 그리고 문화 타당도
4부. 사람이 읽는다 — 정성평가와 일치도
- 사람 평가 설계 — 루브릭·Likert·pairwise·BWS
- 우연을 빼다 — κ 계열 — Cohen·Fleiss·weighted·Krippendorff
- κ의 역설 — 일치율 90%인데 κ가 0.21
5부. 차이는 진짜인가 — 정량평가의 통계
- 점수는 추정치다 — 이항비율 신뢰구간과 Wald의 실패
- 차이는 유의한가 — paired bootstrap·순열검정·McNemar
- (현재 글) 몇 개를 재야 하나 — 검정력·표본크기·다중비교
- LLM eval의 통계 실무 — 클러스터 SE·IQM·분산 분해
6부. 신뢰할 수 있는 평가 체계
- judge를 통계로 다루기 — 편향·Bradley-Terry·PPI
- 오염·재현성·효율 — 오염 검정·harness·IRT
- 안전 평가의 통계와 체계 설계 — 희귀사건·calibration·체크리스트
본 시리즈는 21편으로 구성된다.
Enjoy Reading This Article?
Here are some more articles you might like to read next: