척도와 허용 연산: Likert 평균을 내도 되는가
Introduction
사람 평가자나 LLM judge에게 응답 품질을 1점부터 5점까지 매기라고 하면, 우리는 그 숫자들을 아무렇지 않게 평균 낸다. “모델 A는 평균 4.2점, 모델 B는 평균 3.8점이니 A가 낫다”는 문장은 이 분야에서 하루에도 몇 번씩 쓰인다. 그 뒤에는 보통 t-검정이나 ANOVA가 따라붙는다.
그런데 이 1점과 5점이라는 숫자는 정말 “숫자”일까. 5점이 1점보다 낫다는 것은 분명하다. 하지만 1점과 2점 사이의 거리가 4점과 5점 사이의 거리와 같다고 누가 보장하나. “매우 나쁨(1) - 나쁨(2) - 보통(3) - 좋음(4) - 매우 좋음(5)”에서, 나쁨에서 보통으로 가는 심리적 거리와 좋음에서 매우 좋음으로 가는 심리적 거리가 똑같다는 근거는 어디에도 없다. 평균을 낸다는 것은 바로 이 “거리가 같다”는 가정을 암묵적으로 깔고 들어가는 연산이다.
이 질문에 처음으로 formal한 답을 낸 사람이 심리음향학자 S. S. Stevens다. 그는 1946년 Science에 실은 세 쪽짜리 논문에서, 측정 척도를 네 종류로 나누고 각 척도에서 허용되는 통계량을 규정했다. 그 결론은 도발적이다 — Likert 척도 같은 순서척도(ordinal scale)에는 평균을 내면 안 되고, 최빈값과 중앙값만 써야 한다는 것이다.
70년 넘게 이 규칙은 지켜지지 않았다. 심리학, 의학, 그리고 지금의 LLM 평가까지, 순서척도 데이터에 평균과 t-검정을 돌리는 관행은 어디에서나 표준이다. 이게 전부 틀린 관행일까, 아니면 Stevens의 규칙이 너무 엄격한 것일까. 이 글은 그 답이 “둘 다 부분적으로 맞다”라는 것을 보이고, 평균이 실제로 위험해지는 조건을 구체적으로 짚는다.
미리 정리하면 이렇다.
- Stevens의 원칙: 척도가 허용하는 수학적 변환 아래에서 불변인 통계량만 “의미 있다”. 순서척도에서 평균은 이 기준을 통과하지 못한다.
- Norman의 반론: 그런데 실제 시뮬레이션들은 정규성·등간성 가정이 깨져도 t-검정과 ANOVA가 대체로 강건하다는 것을 반복해서 보여준다. “규칙을 어겨도 틀린 답이 나오지 않는다”는 것이 실용주의 진영의 논거다.
- 핵심 반례: 평균이 3.0으로 똑같은 두 평가 결과를 만들 수 있다. 하나는 “다들 그저 그런” 모델이고, 다른 하나는 “반은 완벽하고 반은 최악인” 모델이다. 안전 평가에서 후자를 놓치면 사고가 난다.
- 대안: 중앙값과 분위수, 순위 상관(Spearman, Kendall), 그리고 최근 주목받는 Best-Worst Scaling — 절대 점수 대신 상대 비교로 척도 사용 편차 자체를 지운다.
이 글은 시리즈 2부(“무엇을 숫자로 만드나 — 평가 metric”)의 첫 편이다. #1이 “우리가 재고 싶은 것과 실제로 재는 것의 간극”을 다뤘다면, 이 글은 그 간극이 숫자를 만드는 첫 단계, 즉 척도 설계에서부터 이미 벌어질 수 있다는 것을 보인다. 이어지는 #4 분류 지표, #5 생성 지표가 다룰 모든 지표는 결국 이 척도 문제 위에 서 있다.
Background
척도가 다르면 셈법이 다르다
숫자에도 종류가 있다는 것을 직관적으로 느끼는 예를 셋만 들어보자.
- 우편번호: 06236이 03187보다 “크다”는 게 아무 의미가 없다. 두 우편번호를 더하거나 평균 내는 것도 마찬가지로 무의미하다. 그냥 라벨이다.
- 마라톤 등수: 1등이 2등보다 빠르고, 2등이 3등보다 빠르다는 순서 정보는 있다. 하지만 1등과 2등의 시간 차이가 2등과 3등의 시간 차이와 같다는 보장은 없다. 등수 3개의 평균(“평균 등수 2등”)은 계산은 되지만 그 자체로 원래 정보(실제 걸린 시간)를 복원하지 못한다.
- 섭씨 온도: 20도와 10도의 차이는 30도와 20도의 차이와 똑같이 “10도”다. 등간격이 성립한다. 하지만 20도가 10도의 “두 배 더 덥다”는 말은 틀렸다 — 섭씨는 0도가 “온도가 없다”는 뜻이 아니라 임의로 정한 기준점이기 때문이다.
이 세 예시가 곧 명목(nominal), 순서(ordinal), 등간(interval) 척도다. 여기에 “0이 진짜 없음을 뜻하고, 배수 비교가 가능한” 비율(ratio) 척도(몸무게, 걸린 시간, 켈빈 온도)를 더하면 Stevens의 네 척도가 완성된다.
핵심은 “척도가 허용하지 않는 정보를 통계량이 끌어다 쓰면 안 된다”는 것이다. 마라톤 등수만 갖고는 “1등이 2등보다 정확히 몇 분 빠른지” 알 수 없듯이, 순서만 있는 데이터에서 평균을 내는 것은 원래 없는 정보(등간격)를 있는 척 가정하는 셈이다. Likert 척도의 1~5점이 정확히 이 문제를 안고 있다 — 그 5개 범주는 순서는 있지만, 간격이 같다는 보장이 없는 순서척도다.
Method
Stevens (1946): 네 가지 척도와 허용되는 통계
On the Theory of Scales of Measurement (S. S. Stevens, Harvard University, Science 1946)
Stevens는 측정을 “규칙에 따라 사물이나 사건에 숫자를 배정하는 것”으로 정의한다. 여기서 “규칙”이 척도의 종류를 결정한다. 그리고 그는 규칙마다 어떤 수학적 변환을 적용해도 원래 정보가 보존되는지를 기준으로 척도를 네 단계로 나눴다.
기준은 이렇다: 데이터에 특정 변환을 적용했을 때, 그 데이터로부터 내리는 결론(순위, 차이, 비율)이 바뀌지 않아야 그 변환이 “허용된다”. 그리고 그 척도에서 “의미 있는” 통계량이란, 허용된 변환 아래에서 결론이 바뀌지 않는 통계량이다.
| 척도 | 관계 | 허용 변환(불변 조건) | 예시 | 중심경향 | 산포 | 대표 통계 기법 |
|---|---|---|---|---|---|---|
| 명목(nominal) | 같다 / 다르다 | 순열(전단사 재라벨링) \(f\) — 임의로 이름만 바꿔도 무방 | 모델 ID, 오류 유형 코드, 성별 | 최빈값 | 도수분포 | 카이제곱검정 |
| 순서(ordinal) | 크다 / 작다 | 단조증가함수 \(f(x)\), \(x_1 < x_2 \Rightarrow f(x_1) < f(x_2)\) | Likert 1~5, 마라톤 등수, 학점 | 최빈값, 중앙값 | 사분위범위(IQR), 백분위수 | Spearman \(\rho\), Kendall \(\tau\), Mann-Whitney U |
| 등간(interval) | 차이가 같다 | 양의 선형변환 \(f(x) = ax + b,\ a > 0\) | 섭씨온도, 연도, IQ 점수 | 위 + 산술평균 | 분산, 표준편차 | t-검정, ANOVA, Pearson \(r\) |
| 비율(ratio) | 비율이 같다 | 비례변환 \(f(x) = ax,\ a > 0\) (단위만 바꿈) | 켈빈온도, 길이, 응답 지연시간, 토큰 수 | 위 + 기하평균, 조화평균 | 위 + 변동계수(CV) | 로그변환 후 선형모델, 성장률 비교 |
이 표를 읽는 법은 “위로 갈수록 허용 변환이 느슨하고, 아래로 갈수록 빡빡하다”는 것이다. 명목척도는 라벨을 통째로 갈아 끼워도 되지만(순열), 비율척도는 단위 변환(예: cm→inch, 즉 \(x \mapsto 2.54x\)) 정도만 허용된다. 허용 변환이 느슨할수록, 그 변환에도 살아남는 통계량은 적어진다.
왜 평균이 순서척도에서 위험한지를 숫자로 직접 보자. Likert 데이터 2, 3, 3, 4, 5가 있다고 하자. 이 데이터의 평균은 3.4, 중앙값은 3이다. 이제 순서척도에서 허용되는 단조 변환 하나를 적용해보자 — 라벨 “5”를 “100”으로 바꾸는 것이다(1, 2, 3, 4는 그대로 두고 5만 100으로). 이 변환은 순서를 전혀 바꾸지 않는다(“100”은 여전히 가장 큰 값이다). 그런데 변환된 데이터 2, 3, 3, 4, 100의 평균은 22.4로 폭발하는 반면, 중앙값은 여전히 3이다.
같은 순서 정보를 담은 두 데이터셋에서 평균은 3.4에서 22.4로 요동치지만 중앙값은 꿈쩍하지 않는다. 이것이 Stevens가 “평균은 순서척도에서 의미가 없다”고 한 이유의 핵심이다 — 평균의 값이 척도의 임의의 재라벨링에 좌우된다는 것은, 그 평균이 데이터가 아니라 우리가 우연히 고른 숫자 표기법(1~5)을 재는 것이라는 뜻이다.
순서척도 평균 논쟁: Stevens의 원칙 vs Norman의 실용주의
Stevens의 결론은 논리적으로 흠잡을 데 없어 보이지만, 실제로 이 규칙을 문자 그대로 지키는 연구는 거의 없다. 그 반대편에 선 대표적 논문이 이것이다.
Likert scales, levels of measurement and the “laws” of statistics (Geoff Norman, McMaster University, Advances in Health Sciences Education 2010)
Norman의 논거는 Stevens와 정면으로 다른 층위에서 온다. Stevens는 연역적이다 — 척도의 정의(허용 변환)로부터 통계량의 타당성을 논리적으로 도출한다. Norman은 경험적이다 — 1930년대부터 쌓인 시뮬레이션과 몬테카를로 연구들이, 정규성·등간성 가정이 깨져도 t-검정·ANOVA·회귀·상관 같은 모수 통계가 1종 오류율과 검정력 면에서 실제로 크게 틀리지 않는다는 것을 반복 확인했다고 지적한다. 그의 결론은 “모수 통계는 가정 위반에 대해 강건(robust)하므로, ‘틀린 답을 얻을까 봐’ 걱정하지 않고 써도 된다”는 것이다.
두 입장을 나란히 놓으면 이렇다.
| Stevens (1946) | Norman (2010) | |
|---|---|---|
| 논거의 성격 | 연역적 — 척도의 정의(불변성)로부터 도출 | 경험적 — 시뮬레이션·검정력 연구 누적 |
| 핵심 주장 | 순서척도는 허용 변환이 단조함수뿐이라, 평균은 재라벨링에 따라 값이 바뀌는 “의미 없는” 통계량이다 | 모수 통계는 정규성·등간성 위반에 강건하다. 실전에서 틀린 결론에 이르는 경우는 드물다 |
| 강조점 | “통계량이 무엇을 재는가”라는 측정론적 정합성 | “결론이 실제로 뒤집히는가”라는 실무적 정확성 |
| 한계 | 극단적으로 적용하면 사회과학·의학의 거의 모든 실증 연구가 무효가 된다는 비판을 받음 | “대체로 강건하다”는 것이 “항상 안전하다”는 뜻은 아니다. 강건성이 깨지는 조건이 분명히 있다 |
이 시리즈의 입장은 양쪽 다 절반만 맞다는 것이다. Stevens의 원칙은 “왜 조심해야 하는가”에 대한 올바른 이유를 준다. Norman의 반론은 “항상 최빈값·중앙값만 쓰라”는 처방이 과도하다는 것을 보여준다. 실무적으로 중요한 질문은 “평균을 써도 되는가”가 아니라 “지금 이 상황에서 평균이 위험한가”다. 그 조건은 다음 네 가지로 좁혀진다.
- 등간 가정이 깨진 정도: 앵커 문구(“매우 나쁨”~“매우 좋음”)가 심리적으로 등간이 아닐수록, 특히 척도 양 끝단에서 응답이 뭉치는 천장·바닥 효과(ceiling/floor effect)가 있을수록 평균의 왜곡이 커진다.
- 분포의 쏠림(skewness): 데이터가 대칭이면 평균과 중앙값이 비슷해 위험이 작다. LLM judge 점수처럼 4~5점에 쏠린(음의 왜도) 분포에서는 평균이 실제 분포를 잘못 대표하기 쉽다.
- 문항 수(척도 단계 수): 2~4점처럼 단계가 너무 적으면 평균의 정보 손실이 크다. 7점 이상으로 가면 등간 가정의 위반이 상대적으로 덜 치명적이 되어 연속형에 가까워진다(뒤의 “Likert 척도 설계” 절 참고).
- 비교하려는 효과 크기와 표본 크기: 효과 크기가 크고 표본이 충분하면 등간 가정 위반이 결론(어느 쪽이 더 나은가)을 뒤집는 경우는 드물다. 반대로 효과 크기가 작고 표본이 작을수록, 척도의 비선형성이 통계적 결론 자체를 바꿀 위험이 커진다.
Norman의 강건성 주장은 조건 1~2가 심하지 않고 조건 4의 표본이 충분할 때 성립한다. LLM 평가에서 문제가 되는 지점은 정확히 이 조건들이 동시에 나빠지는 경우다 — judge 점수가 4~5점에 쏠려 있고(조건 2), 벤치마크 문항 수가 적어 표본이 작고(조건 4), 두 모델의 실제 차이가 미묘한(조건 4) 상황이 LLM 평가의 기본값에 가깝다.
핵심 반례: 평균 3.0이 감추는 것
Stevens와 Norman 둘 다 옳고 그름을 떠나서, 평균이라는 통계량 자체가 가진 근본적인 한계가 하나 있다. 평균은 분포를 하나의 숫자로 뭉갠다. 순서척도든 등간척도든 상관없이, 서로 완전히 다른 두 분포가 같은 평균을 가질 수 있다.
두 모델 A, B를 평가자 10명이 5점 Likert로 채점했다고 하자.
| 평가자 10명의 점수 | |
|---|---|
| 모델 A | 3, 3, 3, 3, 3, 3, 3, 3, 3, 3 |
| 모델 B | 1, 1, 1, 1, 1, 5, 5, 5, 5, 5 |
두 모델의 평균 점수는 똑같이 3.0이다. 통계 보고서에 “모델 A: 3.0, 모델 B: 3.0, 유의한 차이 없음”이라고 적힌다면, 이 둘을 같은 품질의 모델로 취급하게 된다.
하지만 실제로는 완전히 다른 모델이다. A는 항상 “그저 그런” 응답을 낸다. B는 절반의 확률로 완벽하고(5점), 절반의 확률로 심각하게 실패한다(1점). 안전 평가 맥락에서 B는 “가끔 심각하게 실패하는 모델”이고, 이 실패가 유해 콘텐츠 생성이나 위험한 조언이라면 평균 3.0이라는 숫자는 이 위험을 완전히 감춘다. 안전성 평가에서는 평균이 아니라 꼬리(tail)를 봐야 하는 이유가 여기 있다 — 이 주제는 시리즈 후반 #21 안전 평가의 통계와 체계 설계에서 희귀사건 추정과 함께 더 깊이 다룬다.
이 반례를 숫자로 정확히 풀어내는 계산은 아래 Experiments 절에서 한다.
대안 1 — 중앙값 · 최빈값 · 분위수
Stevens의 원래 처방대로, 순서척도에서 가장 안전한 중심경향 통계량은 중앙값과 최빈값이다.
- 중앙값: 데이터를 정렬했을 때 정중앙의 값. 단조 변환에 불변이므로(앞의 “5→100” 예시가 보였듯) 순서척도에 안전하다.
- 최빈값: 가장 빈번한 값. 명목척도에서도 유일하게 허용되는 중심경향 통계량이다. 위 반례의 모델 B처럼 분포가 쌍봉(bimodal)이면 최빈값이 두 개(1과 5) 나오는데, 이 자체가 “단일 경향으로 요약할 수 없는 모델”이라는 강한 신호다.
- 분위수(quantile): p10, p50(중앙값), p90처럼 분포의 여러 지점을 함께 보고하면 중앙값 하나보다 훨씬 많은 정보를 준다. 안전 평가에서는 p10이나 p5처럼 하위 꼬리를 보는 것이 특히 중요하다 — “평균적으로 안전하다”가 아니라 “최악의 경우에도 안전한가”를 답해야 하기 때문이다.
다만 함정이 있다. 아래 Experiments에서 직접 계산하듯, 중앙값도 위 반례를 잡아내지 못한다. A와 B 둘 다 중앙값이 3.0으로 같다. 이산적인 척도(5점 만점처럼 값의 종류가 적은 경우)에서는 동점이 매우 흔해서, 중앙값 역시 분포의 모양을 숨길 수 있다. 이것이 분산·사분위범위·최빈값을 같이 봐야 하는 이유다.
대안 2 — 순위 상관: Spearman \(\rho\)와 Kendall \(\tau\)
두 평가(예: 사람 평가와 judge 평가, 또는 두 시점의 재현 결과)가 얼마나 일치하는지를 볼 때, Pearson 상관은 값의 크기와 선형성을 가정하므로 순서척도에는 부적절하다. 대신 순위만 비교하는 두 상관계수를 쓴다.
Spearman의 \(\rho\)는 원래 값을 순위로 바꾼 뒤 그 순위에 대해 Pearson 상관을 계산한 것과 같다. 동점이 없을 때는 다음 닫힌 형태로 계산된다.
\[\rho = 1 - \frac{6 \sum_i d_i^2}{n(n^2 - 1)}\]- \(d_i = R(x_i) - R(y_i)\): 항목 \(i\)가 두 평가에서 받은 순위의 차이.
- \(n\): 항목 개수.
- 직관: 두 순위가 완전히 같으면 모든 \(d_i = 0\)이라 \(\rho = 1\). 완전히 반대 순서면 \(\rho = -1\).
Kendall의 \(\tau\)는 순위 자체가 아니라 쌍(pair)의 일치 여부를 센다. 항목을 두 개씩 뽑아 만들 수 있는 모든 쌍에 대해, 두 평가가 같은 순서로 매기면 concordant(일치), 반대로 매기면 discordant(불일치)라고 한다.
\[\tau_a = \frac{n_c - n_d}{\binom{n}{2}}\]- \(n_c\): concordant 쌍의 수. \(n_d\): discordant 쌍의 수. \(\binom{n}{2} = n(n-1)/2\): 전체 쌍의 수.
- 직관: \(\tau\)는 “무작위로 뽑은 두 항목의 순서를 맞힐 확률에서, 틀릴 확률을 뺀 값”이다. 그래서 \(\tau = 0.4\)는 “임의의 쌍을 맞힐 확률이 우연(50%)보다 20%p 높다”는 식으로 직접 해석된다 — 이 확률적 해석이 Spearman \(\rho\)보다 직관적이다.
동점이 많을 때는 Kendall의 tau-b를 쓴다.
\[\tau_b = \frac{n_c - n_d}{\sqrt{(n_0 - n_1)(n_0 - n_2)}}\]- \(n_0 = \binom{n}{2}\), \(n_1 = \sum_i \binom{t_i}{2}\)(\(x\)에서 동점 그룹 크기 \(t_i\)들의 합), \(n_2 = \sum_j \binom{u_j}{2}\)(\(y\)에서 동점 그룹 크기 \(u_j\)들의 합)이다. 동점 쌍을 분모에서 빼줘서, 5점 Likert처럼 같은 값이 자주 나오는 데이터에서도 값이 왜곡되지 않는다.
언제 어느 것을 쓰나: 표본이 작을 때는 Kendall \(\tau\)가 표집분포가 더 빨리 정규분포에 근접해 안정적이고, 확률적 해석이 쉬워 보고하기 좋다. 표본이 크고 계산 속도가 중요하거나 관례적으로 Spearman을 쓰는 분야(언어학·NLP 상당수)라면 \(\rho\)가 무난하다. 동점이 많은 이산 척도(Likert처럼)에서는 반드시 tau-b나 동점 보정된 \(\rho\)를 써야 한다.
공통 함정: 두 상관계수 모두 단조(monotonic) 관계만 잡는다. 관계가 단조가 아니면(예: 중간 길이의 응답을 선호하고 너무 짧거나 너무 긴 응답은 싫어하는 U자형 선호) 둘 다 무력하다. 반대로 이것이 장점이기도 하다 — Pearson과 달리 선형성을 가정하지 않으므로, 척도의 비선형 왜곡에 흔들리지 않는다. 이 차이를 Experiments 절에서 직접 수치로 보인다.
대안 3 — Best-Worst Scaling: 비교가 절대판단보다 쉬운 이유
Best-Worst Scaling More Reliable than Rating Scales: A Case Study on Sentiment Intensity Annotation (Kiritchenko & Mohammad, National Research Council Canada, ACL 2017)
순위 상관은 이미 나온 점수를 사후에 비교하는 방법이다. Best-Worst Scaling(BWS)은 애초에 점수를 절대적으로 매기지 않고 평가 자체를 상대 비교로 설계한다.
절차: 항목을 4개씩 묶은 튜플(4-tuple)을 여러 개 만든다. 평가자는 각 튜플에서 “가장 좋은 것”과 “가장 나쁜 것”만 고른다. 4개 중 최선/최악 두 개만 고르면, 사실상 6개의 쌍별 비교 중 5개(최선과 나머지 3개, 최악과 나머지 3개에서 중복 제외)가 한 번에 확정된다는 것이 이 방법의 효율성이다. 각 항목이 여러 튜플에 걸쳐 등장하도록 설계한 뒤, 항목별로 “최선으로 뽑힌 비율 − 최악으로 뽑힌 비율”을 계산하면 −1(가장 나쁨)에서 1(가장 좋음) 사이의 실수 점수가 나온다.
왜 Likert보다 신뢰도가 높은가: 논거는 두 가지다.
- 비교 판단이 절대 판단보다 인지적으로 쉽다. “이 응답에 정확히 몇 점을 줄 것인가”는 내 안의 절대 기준(무엇이 3점이고 무엇이 4점인가)을 매번 새로 세워야 하는 어려운 판단이다. 반면 “이 넷 중 어느 게 제일 낫고 어느 게 제일 나쁜가”는 상대 비교라 훨씬 직관적이다.
- 척도 사용 편차(scale region bias)가 원천적으로 제거된다. Likert에서는 평가자마다 척도의 어느 구간을 선호하는지가 다르다(중앙만 쓰는 사람, 극단만 쓰는 사람). BWS는 “가장 좋은 것”이라는 상대적 판단만 요구하므로, 개인이 몇 점을 “좋다”의 기준으로 삼는지가 결과에 영향을 주지 않는다.
Kiritchenko와 Mohammad는 이 주장을 직접 실험으로 검증했다. 영어 단어·구 3,207개를 감정 강도로 평가하는 과제에서, 두 방법을 같은 총 어노테이션 수로 통제해 비교했다.
| 항목 | Rating Scale | Best-Worst Scaling |
|---|---|---|
| 척도 | 9점(−4~4, 정수) | 4-tuple에서 best/worst 선택 |
| 항목당 어노테이션 | 20명 | 튜플 \(2N\)개 × 10명(항목당 8개 튜플에 등장) |
| 총 어노테이션 수 | \(20N\) | \(20N\)(동일하게 통제) |
| 점수화 | 20개 평점의 평균 | (best 선택 비율) − (worst 선택 비율) |
신뢰도는 split-half reliability(SHR)로 측정했다 — 전체 어노테이션을 무작위로 절반씩 나눠 독립적으로 점수를 낸 뒤, 두 절반의 점수(순위)가 얼마나 상관하는지를 100회 반복해 평균낸 것이다. 결과는 명확했다.
| 항목 집합(항목 수) | BWS의 SHR(\(\rho\)) | Rating Scale의 SHR(\(\rho\)) |
|---|---|---|
| 전체 항목(3,207) | 0.98 | 0.95 |
| 단일 단어(1,621) | 0.98 | 0.96 |
| 구(1,586) | 0.98 | 0.94 |
| 부정어 포함 구(444) | 0.91 | 0.78 |
| 부정어 포함 긍정 구(83) | 0.79 | 0.17 |
전체 어노테이션(총 \(20N\))을 다 썼을 때도 BWS(0.98)가 Rating Scale(0.95)보다 유의하게 높았고(\(p < .001\)), 이 차이는 총 어노테이션 수가 \(5N\) 이하로 적을 때 훨씬 더 벌어졌다. 더 놀라운 것은 BWS는 단 \(3N\)개의 어노테이션만으로 Rating Scale이 \(10N\)개를 써야 도달하는 신뢰도(0.95)에 도달했다 — 필요한 어노테이션이 30%로 줄어드는 셈이다. “부정어를 포함한 긍정 구”(“not bad”류)처럼 언어적으로 복잡한 항목에서는 격차가 극단적이다 — Rating Scale의 SHR이 0.17까지 떨어지는데(사실상 신뢰할 수 없는 수준), BWS는 0.79를 유지한다.
같은 실험은 rating scale의 근본적인 문제도 직접 드러냈다. 같은 평가자가 같은 항목을 시간차를 두고 두 번 평가했을 때, 37%의 경우 점수가 달랐고(평균 점수 차이 1.27점, −4~4 스케일 기준), 이는 절대 척도에서 평가자 스스로도 일관성을 유지하기 어렵다는 것을 보여준다.
함정: BWS는 pairwise 비교(\(O(N^2)\))보다는 저렴하지만(\(1.5N\)~\(2N\) 튜플), 절대 척도보다는 설계가 복잡하다 — 튜플을 어떻게 구성할지(각 항목이 몇 번 등장하는지, 어떤 항목끼리 묶이는지) 자체가 결과에 영향을 준다. 또한 “가장 좋다/나쁘다”만 알려줄 뿐 강도(intensity)는 count 기반의 근사 점수로 간접 추정하는 것이라, 원 논문도 이것이 multinomial logistic regression 같은 더 정교한 모델과 비슷한 결과를 낸다는 것을 별도로 확인해 둔다.
대안 4 — 쌍대비교에서 잠재 점수로: Bradley-Terry
BWS의 “비교가 낫다”는 통찰을 더 밀어붙이면, 아예 절대 점수나 최선/최악 선택 없이 두 항목 중 어느 것이 더 나은가만 계속 물어서 전체 순위를 복원하는 방법에 이른다. 이것이 pairwise 비교이고, 이를 잠재 점수로 변환하는 표준 모델이 Bradley-Terry(BT)다.
\[P(i \succ j) = \sigma(\beta_i - \beta_j)\]- \(\beta_i\): 항목(모델) \(i\)의 잠재 능력 점수. 로그오즈 스케일이라 상한·하한이 없다.
- \(\sigma\): 로지스틱 함수. \(\beta_i - \beta_j\)가 클수록 \(i\)가 \(j\)를 이길 확률이 1에 가까워진다.
- 여러 쌍대비교 결과가 주어지면 최대우도추정(MLE)으로 모든 \(\beta\)를 동시에 추정한다.
이 모델이 중요한 이유는, 순서만 있는 pairwise 승패 기록으로부터 등간에 가까운 연속 점수(\(\beta\))를 복원한다는 데 있다. 이 시리즈에서는 #9 MT-Bench에서 Arena까지가 Chatbot Arena에서 Elo 점수를 BT MLE로 교체한 이유(순서 의존성 제거)를 다루고, #19 judge를 통계로 다루기가 judge의 쌍대비교 신뢰도를 BT와 함께 더 깊이 다룬다. 여기서는 “순서척도 문제를 근본적으로 우회하는 한 갈래가 pairwise + BT”라는 것만 짚고 넘어간다.
척도 사용 편차와 구성개념 무관 분산
BWS와 pairwise 비교가 매력적인 진짜 이유는 신뢰도 수치가 아니라, 이들이 척도 사용 편차(response style)라는 성가신 문제를 원천적으로 피해간다는 데 있다.
같은 품질의 응답을 봐도, 어떤 평가자는 항상 3점 근처만 쓰고(“중앙 경향 편향”), 어떤 평가자는 1점과 5점만 쓰며(극단 회피 또는 그 반대), 어떤 평가자는 후하게(대부분 4~5점) 준다. 이 편차는 평가 대상의 실제 품질과 무관하게 점수에 섞여 들어가는 분산이다. #1에서 다룬 용어로 말하면 이것은 구성개념 무관 분산(construct-irrelevant variance)이다 — 우리가 재려는 것(“응답 품질”)과 무관한 요인(“이 평가자가 척도를 쓰는 습관”)이 점수에 섞여 있다.
실무에서 흔히 쓰는 완화법 두 가지가 있다.
- 평가자별 z-정규화: 각 평가자의 점수를 그 평가자 자신의 평균과 표준편차로 표준화한다. “이 평가자 기준으로 평균보다 얼마나 높은가”로 바꾸면, 평가자마다 다른 척도 사용 폭이 어느 정도 상쇄된다.
- 순위 변환: 각 평가자가 매긴 점수를 절대값 대신 그 평가자 안에서의 순위로 바꾼다. Spearman·Kendall 상관과 자연스럽게 맞물린다.
LLM judge도 이 문제에서 자유롭지 않다. 여러 LLM 평가 연구에서 judge가 매기는 점수가 척도 상단(예: 5점 만점에 4~5점)에 쏠리는 현상이 반복 보고된다 — judge는 사람 평가자와 달리 한 명(혹은 한 모델)이 전체를 채점하므로 개인차라는 잡음은 없지만, 그 대신 모델 하나의 관대함(leniency) 편향이 데이터셋 전체에 체계적으로 깔린다는 점이 다르다. 사람 평가자 집단의 이질적인 척도 사용 편차가 judge 한 명의 동질적인(그러나 여전히 구성개념과 무관한) 편향으로 형태만 바뀌는 셈이다. 이 주제는 #19 judge를 통계로 다루기에서 위치·장황함·자기선호 편향과 함께 정식으로 다룬다.
Likert 척도 설계: 단계 수와 중립점
지금까지는 이미 수집된 Likert 데이터를 어떻게 분석할지를 다뤘다. 설계 단계에서 결정해야 할 것도 있다 — 척도를 몇 단계로 만들 것인가, 중립(중앙) 선택지를 둘 것인가.
단계 수에 대해서는 비교적 잘 확립된 실증 근거가 있다.
Optimal Number of Response Categories in Rating Scales: Reliability, Validity, Discriminating Power, and Respondent Preferences (Preston & Colman, University of Leicester, Acta Psychologica 2000)
149명의 응답자에게 2점부터 11점까지, 그리고 101점 스케일까지 응답 범주 수만 다른 척도로 같은 항목을 평가하게 한 실험이다. 결과는 다음과 같다.
- 2점, 3점, 4점 척도는 신뢰도·타당도·변별력 지표에서 상대적으로 낮은 성능을 보였다.
- 응답 범주가 늘수록 이 지표들이 개선되는데, 그 개선은 대략 7점 근방에서 뚜렷이 완만해진다.
- 내적 일관성(internal consistency)은 척도 크기에 따라 크게 다르지 않았지만, 검사-재검사 신뢰도는 10점을 넘어서면서 오히려 떨어지는 경향을 보였다.
- 응답자 선호도는 10점 척도가 가장 높았고, 7점과 9점이 근소한 차이로 뒤를 이었다.
정리하면 “너무 적으면(2~4점) 변별력이 떨어지고, 너무 많으면(10점 이상) 응답자가 일관되게 답하기 어려워진다”는 뒤집힌 U자 관계이며, 5~9점 사이가 실무적으로 무난한 범위로 확인된다.
중립 선택지(홀수 vs 짝수)는 이만큼 정리된 합의가 없다. 홀수 척도(중앙에 “보통”이나 “중립”)를 두면 실제로 판단을 유보하고 싶은 응답자의 진짜 의사를 담을 수 있지만, 동시에 판단하기 귀찮은 응답자가 안전하게 중앙으로 도피하는 경향(satisficing)을 유발할 수 있다는 우려가 있다. 짝수 척도(강제 선택, forced choice)는 이 도피를 막지만, 실제로 중립적인 의견을 가진 응답자에게는 왜곡된 답을 강요하게 된다. 이 트레이드오프에 대해서는 문헌마다 결론이 갈리므로, 이 글에서는 확정적인 권고 대신 설계 목적에 따라 의도적으로 선택해야 하는 트레이드오프라는 정도로만 정리한다.
Experiments
반례를 숫자로: 평균 · 중앙값 · 분산 · 사분위
앞서 든 반례를 직접 계산해보자. 평가자 10명이 모델 A와 B에 매긴 점수는 다음과 같았다.
| 원자료 | |
|---|---|
| 모델 A | 3, 3, 3, 3, 3, 3, 3, 3, 3, 3 |
| 모델 B | 1, 1, 1, 1, 1, 5, 5, 5, 5, 5 |
평균: 둘 다 \(\bar{x} = 3.0\)이다(A는 자명하고, B는 \((5 \times 1 + 5 \times 5)/10 = 30/10 = 3.0\)).
중앙값: 정렬된 데이터의 5번째·6번째 값의 평균이 중앙값이다. A는 모든 값이 3이므로 중앙값 3.0. B는 정렬하면 1,1,1,1,1,5,5,5,5,5이고 5번째 값(1)과 6번째 값(5)의 평균이므로 중앙값도 \((1+5)/2 = 3.0\)이다. 놀랍게도 중앙값조차 둘을 구별하지 못한다.
최빈값: A는 3만 나오므로 단봉(unimodal), 최빈값 3. B는 1과 5가 각각 5번씩 나와 쌍봉(bimodal)이다 — 최빈값이 두 개(1, 5)라는 사실 자체가 “하나의 대표값으로 요약할 수 없는 분포”라는 경고 신호다.
분산과 표준편차(불편추정량, \(n-1\)로 나눔): A는 모든 편차가 0이므로 \(s^2 = 0\). B는 각 값이 평균(3)에서 2만큼 떨어져 있으므로 편차제곱합은 \(5 \times 2^2 + 5 \times 2^2 = 40\)이고,
\[s^2_B = \frac{40}{10 - 1} = 4.44, \qquad s_B = \sqrt{4.44} \approx 2.11\]사분위수: A는 모든 값이 3이라 \(Q_1 = Q_3 = 3\), \(\text{IQR} = 0\). B는 하위 절반 1,1,1,1,1의 중앙값이 \(Q_1 = 1\), 상위 절반 5,5,5,5,5의 중앙값이 \(Q_3 = 5\)이므로 \(\text{IQR} = 5 - 1 = 4\).
전체를 표로 모으면 이렇다.
| 통계량 | 모델 A | 모델 B |
|---|---|---|
| 평균 | 3.0 | 3.0 |
| 중앙값 | 3.0 | 3.0 |
| 최빈값 | 3(단봉) | 1, 5(쌍봉) |
| 표본분산 \(s^2\) | 0 | 4.44 |
| 표준편차 \(s\) | 0 | 2.11 |
| \(Q_1\) / \(Q_3\) | 3 / 3 | 1 / 5 |
| IQR | 0 | 4 |
결론은 명확하다. 평균과 중앙값이라는 “대표적인 하나의 숫자”는 이 두 모델을 전혀 구별하지 못한다. 오직 산포(분산, IQR)와 분포의 모양(최빈값의 개수)만이 차이를 드러낸다. B 같은 모델을 “평균 3.0이니 A와 동급”이라고 결론 내리면, 절반의 확률로 최고 품질(5점)을 내는 동시에 절반의 확률로 심각한 실패(1점)를 내는 모델을 놓치게 된다. 안전 평가에서 이 실패가 곧 유해 응답이라면, 이 모델은 실서비스에 배포해서는 안 되는 모델이다 — 그런데 평균만 본 보고서는 이를 걸러내지 못한다.
순위가 뒤집히는 최소 예제: Likert 평균 vs 쌍대비교 다수결
이번에는 척도 사용 편차가 모델 순위 자체를 뒤집는 최소 예제를 만들어보자. 평가자 3명(R1, R2, R3)이 모델 A, B, C에 5점 Likert로 점수를 매겼다.
| 평가자 | 모델 A | 모델 B | 모델 C | 평가자 본인의 실제 선호 순서 |
|---|---|---|---|---|
| R1(척도를 절반만 사용) | 3 | 4 | 2 | B > A > C |
| R2(척도를 절반만 사용) | 3 | 4 | 2 | B > A > C |
| R3(척도 전체를 사용) | 5 | 2 | 3 | A > C > B |
R1과 R2는 척도를 3~4점 범위로 압축해 쓰는 “보수적인” 평가자이고, R3는 1점과 5점까지 넓게 쓰는 “적극적인” 평가자다. 세 평가자 모두 자신이 매긴 점수의 순서는 자기 자신의 진짜 선호와 일치한다(즉 개인 내적으로는 거짓말을 하지 않는다) — 다만 그 점수의 폭이 사람마다 다를 뿐이다.
Likert 평균으로 순위를 매기면:
\[\bar{x}_A = \frac{3+3+5}{3} = 3.67, \quad \bar{x}_B = \frac{4+4+2}{3} = 3.33, \quad \bar{x}_C = \frac{2+2+3}{3} = 2.33\]순위는 A > B > C다. R3 한 명이 A에 준 극단적으로 높은 점수(5)가 산술평균에서 다른 두 명과 똑같은 가중치를 가지면서도, 그 절대값의 크기 때문에 평균을 크게 끌어올린 것이다.
쌍대비교 다수결로 순위를 매기면, 각 평가자의 점수에서 두 모델 중 어느 쪽을 더 선호하는지만 뽑아 세 명 중 몇 명이 어느 쪽 손을 들어주는지를 본다.
| 대결 | R1 | R2 | R3 | 다수결 승자 |
|---|---|---|---|---|
| A vs B | B | B | A | B(2:1) |
| A vs C | A | A | A | A(3:0) |
| B vs C | B | B | C | B(2:1) |
B가 A를 2:1로, C를 2:1로 이기고, A가 C를 3:0으로 이긴다. 순환(Condorcet 역설) 없이 깔끔한 전순서가 나온다 — B > A > C.
두 방법을 나란히 놓으면,
| 방법 | 순위 |
|---|---|
| Likert 평균 | A > B > C |
| 쌍대비교 다수결 | B > A > C |
1위와 2위가 뒤바뀌었다. 원인은 단 하나, R3 한 사람이 척도를 넓게 쓴다는 사실이 산술평균에서는 “의견의 강도”로 반영되지만, 다수결(BWS나 pairwise 방식의 핵심 원리)에서는 다른 두 사람과 동일하게 “한 표”로만 반영되기 때문이다. 척도 사용 편차가 유독 강한 소수의 평가자가 전체 평균을 좌우하는 상황을, 상대 비교 기반 집계는 원천적으로 차단한다.
Spearman과 Pearson이 갈라지는 지점
마지막으로 단조(monotonic)지만 선형은 아닌 관계에서 Spearman과 Pearson이 크게 갈리는 예를 보자. 다섯 개 모델에 대해 두 지표를 나란히 뒀다고 하자 — 하나는 pairwise 비교에서 복원한 Bradley-Terry 잠재 점수 \(\beta\)(로그오즈 스케일이라 상한이 없다), 다른 하나는 같은 모델들의 Likert 평균 점수(1~5 스케일에 갇혀 상위권에서 눌린다).
| 모델 | \(\beta\)(BT 잠재점수) | Likert 평균 |
|---|---|---|
| 1 | −2 | 2.0 |
| 2 | −1 | 2.5 |
| 3 | 0 | 3.0 |
| 4 | 1 | 3.5 |
| 5 | 20 | 4.5 |
모델 5는 다른 모든 모델을 거의 항상 이겨서 BT 잠재점수가 극단적으로 크지만(로그오즈 스케일에는 상한이 없으므로), Likert 평균은 5점 만점 근처에서 압축되어 4.5에 그친다. 전형적인 천장 효과(ceiling effect)다.
Spearman \(\rho\): 두 열 모두 순서가 정확히 1, 2, 3, 4, 5로 완전히 같으므로 \(d_i = 0\)이 전부다. 따라서 \(\rho = 1 - \dfrac{6 \times 0}{5(25-1)} = 1.0\). Kendall \(\tau\)도 모든 쌍이 concordant이므로 \(\tau = 1.0\)이다. 두 지표는 “누가 몇 등인가”에 대해 완벽히 동의한다.
Pearson \(r\): 평균을 구하면 \(\bar\beta = 3.6\), \(\bar{y} = 3.1\)이다. 편차를 각각 구해 곱하고 더하면(직접 계산),
\[\sum (\beta_i - \bar\beta)(y_i - \bar{y}) = 31.2, \qquad \sum (\beta_i - \bar\beta)^2 = 341.2, \qquad \sum (y_i - \bar{y})^2 = 3.7\] \[r = \frac{31.2}{\sqrt{341.2 \times 3.7}} = \frac{31.2}{\sqrt{1262.44}} \approx \frac{31.2}{35.53} \approx 0.88\]순위 상관은 1.0인데, Pearson은 0.88로 뚝 떨어진다. 이유는 단순하다 — Pearson은 “값 사이의 거리”까지 재는데, \(\beta\)의 마지막 값(20)이 나머지(−2~1)에 비해 지나치게 크게 튀어나가 있어 직선 관계에서 크게 벗어나기 때문이다. 두 지표가 “순서는 완전히 같다”고 말하는데도 Pearson만 보면 “관계가 그렇게 강하지 않다”고 오독하게 된다.
이 예제가 주는 실무적 교훈은 분명하다. “두 평가 방법이 같은 모델을 같은 순서로 줄 세우는가”를 묻고 싶다면 Spearman이나 Kendall을 써야 한다. Pearson으로 이 질문에 답하면, 척도의 비선형적 압축(천장 효과, 바닥 효과)이 실제로는 완벽히 일치하는 두 순위를 “약하게 상관된” 것처럼 보이게 만들 수 있다.
통계 요약
척도별 허용 연산
| 척도 | 허용 변환 | 중심경향 | 산포 | 상관·검정 |
|---|---|---|---|---|
| 명목 | 순열(재라벨링) | 최빈값 | 도수분포 | 카이제곱검정 |
| 순서 | 단조증가함수 | 최빈값, 중앙값 | IQR, 백분위수 | Spearman \(\rho\), Kendall \(\tau\), Mann-Whitney U |
| 등간 | 양의 선형변환(\(ax+b\)) | + 산술평균 | + 분산, 표준편차 | t-검정, ANOVA, Pearson \(r\) |
| 비율 | 비례변환(\(ax\)) | + 기하평균, 조화평균 | + 변동계수 | 로그변환 선형모델 |
순서척도(Likert 포함)에서 실무적으로 쓸 수 있는 요약통계
| 통계량 | 안전한가 | 비고 |
|---|---|---|
| 최빈값 | 항상 안전 | 쌍봉이면 그 자체가 경고 신호 |
| 중앙값 | 안전(단조 변환 불변) | 이산 척도에서는 동점으로 정보 손실 가능(반례 참고) |
| 사분위수·IQR | 안전 | 분포의 퍼짐을 보는 최소 단위 |
| 산술평균 | Norman의 조건부 강건성에 기대는 관행적 사용 | 등간 위반이 크고, 분포가 쏠리고, 표본·효과크기가 작을수록 위험 |
| 분산·표준편차 | 평균과 같은 조건부 사용 | 등간 가정이 전제 |
| 순위상관(Spearman·Kendall) | 항상 안전 | 단조관계만 포착. 비단조 관계에는 무력 |
Spearman · Kendall · BWS 선택 기준
| 상황 | 권장 | 이유 |
|---|---|---|
| 표본이 크고 관례상 빠른 계산이 필요 | Spearman \(\rho\) | 계산이 간단하고 널리 통용 |
| 표본이 작거나 확률적 해석이 필요 | Kendall \(\tau\) | “무작위 쌍을 맞힐 확률의 초과분”으로 직접 해석, 표집분포가 더 안정적 |
| 동점(같은 점수)이 많은 이산 척도 | Kendall tau-b | 동점을 분모에서 명시적으로 보정 |
| 새로 평가를 설계할 수 있는 상황(사후 분석이 아니라) | Best-Worst Scaling | 절대 판단보다 신뢰도가 높고(SHR 0.98 vs 0.95), 척도 사용 편차를 원천 제거 |
| 전체 순위가 아니라 소수 항목의 정밀한 상대 서열이 필요 | Pairwise + Bradley-Terry | 등간에 가까운 잠재 점수를 복원, 순서 의존성 없음 |
Conclusion
Stevens(1946)의 원칙과 Norman(2010)의 반론은 둘 다 옳다 — 다만 서로 다른 질문에 답하고 있을 뿐이다. Stevens는 “이 통계량이 척도가 허용하는 변환 아래에서 불변인가”를 묻고, Norman은 “이 통계량이 실제로 틀린 결론을 내게 만드는가”를 묻는다. 등간 가정의 위반이 작고, 분포가 심하게 쏠리지 않았고, 표본과 효과크기가 충분하다면 평균은 실무적으로 무난하다. 하지만 LLM 평가의 전형적인 조건 — judge 점수가 4~5점에 쏠리고, 벤치마크 문항이 적고, 모델 간 차이가 미묘한 상황 — 은 정확히 Norman의 강건성 논거가 힘을 잃는 지점이다.
이 글의 핵심 반례가 보여준 것은 더 근본적이다. 평균은 물론이고 중앙값조차 두 극단적으로 다른 분포를 구별하지 못할 수 있다. “전원 3점”과 “절반은 1점, 절반은 5점”은 평균도 중앙값도 3.0으로 동일하다. 이 둘을 가르는 것은 분산과 최빈값의 개수뿐이다. 안전 평가에서는 이 차이가 생사를 가른다 — 가끔 심각하게 실패하는 모델을 “평균적으로 괜찮은 모델”로 오분류하는 것이야말로 통계가 저지를 수 있는 가장 위험한 실수다.
대안은 이미 갖춰져 있다. 중앙값·분위수로 분포를 요약하고, Spearman·Kendall로 단조 관계를 재고, 가능하다면 애초에 절대 점수 대신 Best-Worst Scaling이나 pairwise 비교로 척도 사용 편차 자체를 설계 단계에서 제거하는 것이다. 이 중 마지막 두 가지, 즉 상대 비교를 잠재 점수로 복원하는 방법(Bradley-Terry)과 그것을 실제 벤치마크·아레나에 적용한 사례는 #9와 #19에서 이어진다.
한계도 분명히 남는다. 이 글에서 다룬 대안들은 전부 “순위 정보를 안전하게 다루는 법”이지, 순서척도 데이터에서 잃어버린 등간 정보를 되살려주지는 못한다. 그리고 평균을 완전히 포기하는 것이 항상 옳은 것도 아니다 — 표본이 크고 효과가 뚜렷한 상황에서까지 중앙값만 고집하면 검정력을 불필요하게 낭비한다. 다음 편 #4 분류 지표는 척도 문제에서 한 걸음 나아가, 이진·다중 분류 상황에서 accuracy 하나가 얼마나 쉽게 거짓말을 하는지를 다룬다.
참고 문헌
- Stevens, S. S., 1946. On the Theory of Scales of Measurement. Science 103(2684), 677–680.
- Norman, G., 2010. Likert scales, levels of measurement and the “laws” of statistics. Advances in Health Sciences Education 15(5), 625–632.
- Kiritchenko, S. & Mohammad, S. M. (National Research Council Canada), 2017. Best-Worst Scaling More Reliable than Rating Scales: A Case Study on Sentiment Intensity Annotation (ACL 2017).
- Preston, C. C. & Colman, A. M. (University of Leicester), 2000. Optimal Number of Response Categories in Rating Scales: Reliability, Validity, Discriminating Power, and Respondent Preferences. Acta Psychologica 104(1), 1–15.
- Bradley, R. A. & Terry, M. E., 1952. Rank Analysis of Incomplete Block Designs: I. The Method of Paired Comparisons. Biometrika 39(3/4), 324–345.
- Likert, R., 1932. A Technique for the Measurement of Attitudes. Archives of Psychology.
LLM 평가 체계 시리즈
이 글은 LLM 평가 체계 시리즈의 세 번째 글이다.
1부. 평가란 무엇인가
- 측정으로서의 평가 — 구성개념·조작화·타당도·신뢰도
- 벤치마크는 무엇을 재고 있나 — 벤치 445편 구성타당도 리뷰
2부. 무엇을 숫자로 만드나 — 평가 metric
- (현재 글) 척도와 허용 연산 — Likert 평균을 내도 되는가
- 분류 지표 — accuracy의 함정부터 PR-AUC까지
- 생성 지표와 그 타당도 — BLEU에서 COMET까지
- 객관식 평가는 왜 흔들리나 — 위치 편향과 포맷 민감도
3부. LLM 벤치마크 지형도
- 지식과 추론 — MMLU 계열의 흥망 — MMLU·GPQA·BBH·HELM
- 검증 가능한 도메인 — 수학과 코드 — GSM8K·MATH·HumanEval·SWE-bench
- 개방형 대화 — MT-Bench에서 Arena까지 — judge 기반 벤치의 등장
- 능력의 다른 축 — 지시따르기·긴 문맥·사실성
- 한국어 벤치마크 — 번역이 아니라 원산, 그리고 문화 타당도
4부. 사람이 읽는다 — 정성평가와 일치도
- 사람 평가 설계 — 루브릭·Likert·pairwise·BWS
- 우연을 빼다 — κ 계열 — Cohen·Fleiss·weighted·Krippendorff
- κ의 역설 — 일치율 90%인데 κ가 0.21
5부. 차이는 진짜인가 — 정량평가의 통계
- 점수는 추정치다 — 이항비율 신뢰구간과 Wald의 실패
- 차이는 유의한가 — paired bootstrap·순열검정·McNemar
- 몇 개를 재야 하나 — 검정력·표본크기·다중비교
- LLM eval의 통계 실무 — 클러스터 SE·IQM·분산 분해
6부. 신뢰할 수 있는 평가 체계
- judge를 통계로 다루기 — 편향·Bradley-Terry·PPI
- 오염·재현성·효율 — 오염 검정·harness·IRT
- 안전 평가의 통계와 체계 설계 — 희귀사건·calibration·체크리스트
본 시리즈는 21편으로 구성된다.
Enjoy Reading This Article?
Here are some more articles you might like to read next: