사람 평가 설계 — 루브릭, Likert, pairwise, BWS
Twenty Years of Confusion in Human Evaluation: NLG Needs Evaluation Sheets and Standardised Definitions (Howcroft et al., Heriot-Watt University, INLG 2020)
Introduction
#11까지는 “무엇을 재는 벤치마크를 만들 것인가”를 물었다. 이제부터는 방향을 튼다 — “사람이 그 벤치마크를 어떻게 채점할 것인가”를 묻는다.
이 전환이 필요한 이유는 단순하다. #5에서 본 BLEU·BERTScore 같은 자동 지표는 결국 사람 평가와의 상관으로 검증됐다. #9에서 본 LLM judge도 결국 “사람 전문가의 판정과 얼마나 일치하는가”로 신뢰를 얻었다. 두 경우 모두 사람의 판정이 최종 기준(gold standard)이었다. 그런데 그 기준 자체가 안정적이지 않다면 어떻게 되는가? 지표도 judge도 흔들리는 땅 위에 세운 건물이 된다.
이 글의 주장은 이렇다 — 사람 평가는 자연 현상이 아니라 설계 산물이다. 무엇을 묻는지(구성개념과 그 정의), 어떻게 묻는지(절대점수 대 상대비교), 누구에게 묻는지(전문가 대 크라우드워커)에 따라 같은 텍스트에 대한 판정이 완전히 달라진다. 그리고 이 설계가 나쁘면, 그 결과를 요약하는 어떤 통계 기법도 이를 구제하지 못한다. 결론을 먼저 제시한다.
- 구성개념을 정의하지 않고 물으면 라벨러마다 다른 것을 잰다. Howcroft et al. (2020)이 165편의 NLG 논문을 조사해 확인한 바로, “유창성(fluency)”이라는 이름 하나가 15가지 서로 다른 정의로 쓰였다.
- 사람이 항상 좋은 평가자인 것은 아니다. Clark et al. (2021)의 실험에서, 훈련받지 않은 크라우드워커는 GPT-3가 쓴 글과 사람이 쓴 글을 우연 수준(49.9%)으로만 구분했다.
- 평가자 풀이 결론을 바꾼다. Karpinska et al. (2021)은 똑같은 200개의 인간 저작 스토리와 200개의 GPT-2 생성 스토리를 놓고, 크라우드워커는 “구분 불가능”이라 판정했고 전문가(영어 교사)는 “명백히, 통계적으로 유의하게 열등하다”고 판정했다.
- 비교 판단이 절대 판단보다 쉽다. Kiritchenko & Mohammad (2017)의 Best-Worst Scaling(BWS)은 이 원리를 설계에 그대로 반영해, 더 적은 판정 수로 더 높은 신뢰도를 얻는다.
이 네 논문이 공통으로 가리키는 곳은 하나다 — 라벨러 간 낮은 일치도(κ)를 “라벨러가 부주의하다”는 인사 문제로 오진하기 전에, 먼저 평가 설계 자체를 의심하라는 것이다. 다음 글 #13 우연을 빼다는 이 일치도를 정량화하는 κ 계열 지표를 유도하고, #14 κ의 역설은 그 지표 자체가 가진 함정을 다룬다. 이 글은 그 두 편이 다룰 숫자가 애초에 어떤 설계에서 나오는지를 먼저 세운다.
Background — 평가 설계의 선택지
같은 응답 집합을 사람에게 채점시키는 방법은 크게 네 갈래로 나뉜다. 응답 하나에 절대적인 점수를 매기는 절대평가(Likert/rubric), 두 응답 중 하나를 고르는 상대평가(pairwise), 여러 응답 중 최선과 최악만 고르는 Best-Worst Scaling(BWS), 그리고 여러 응답을 한 번에 순서대로 배열하는 순위매기기(ranking)다. 넷은 서로 대체재가 아니라, 라벨러의 인지 부하·척도 사용 편차에 대한 강건성·필요한 판정 수 사이에서 서로 다른 지점을 택한 트레이드오프다.
| 설계 | 라벨러 인지 부하 | 척도 사용 편차(#3)에 강한가 | 필요한 판정 수(\(n\)=항목 수) | 집계 방법 | 언제 쓰나 |
|---|---|---|---|---|---|
| 절대평가 (Likert/rubric) | 낮음 — 항목 하나씩 독립적으로 판단 | 약함 — 라벨러마다 척도를 다르게 쓴다 | \(O(n)\) — 항목 수에 선형 | 평균·다수결, 필요시 라벨러 효과를 통제하는 혼합모형 | 항목이 많고, 절대적 채점 기준(정답 유무, 규칙 위반 여부)이 있을 때 |
| 상대평가 (pairwise) | 낮음 — 둘 중 하나만 고르면 됨 | 강함 — “몇 점”이 아니라 “어느 쪽”만 답하므로 개인별 척도가 개입할 자리가 없다 | \(O(n^2)\) — 최대 \(\binom{n}{2}\)쌍 | Bradley-Terry/Elo로 잠재 점수 복원 (#9) | 절대 기준이 없는 개방형 생성 비교, 항목 수가 적거나 쌍을 표집할 수 있을 때 |
| Best-Worst Scaling | 중간 — 4~5개 항목 중 최선·최악 두 개만 고른다 | 강함 — 역시 상대판단이라 척도 편차가 원천 제거된다 | \(O(n)\) — \(1.5n\sim2n\)개의 튜플 | count 기반 점수: (최선으로 뽑힌 비율) − (최악으로 뽑힌 비율) | 항목 수가 많아 전체 pairwise는 비용이 부담스럽지만, 절대점수의 척도 편차는 피하고 싶을 때 |
| 순위매기기 (전체 순위) | 높음 — \(n\)개를 한 번에 전부 순서대로 배열 | 강함 — 상대판단 | 세션당 \(n\)개 항목의 순서 1개, 단 \(n\)이 커지면 세션당 부담이 급증 | Borda count 또는 Plackett-Luce 모형 | 한 화면에 동시에 놓을 수 있는 소수(보통 5개 이하) 후보를 비교할 때 |
표에서 가장 중요한 대비는 판정 수의 성장 속도다. 절대평가는 항목이 늘어나는 만큼만 판정이 늘어나지만, pairwise는 항목 \(n\)개에 대해 최대 \(\binom{n}{2} = \dfrac{n(n-1)}{2}\)쌍이 나온다 — 항목이 10개면 45쌍, 100개면 4,950쌍, 1,000개면 약 50만 쌍이다. 제곱으로 늘어나는 이 비용 때문에 #9에서 본 Chatbot Arena는 모든 쌍을 다 비교하지 않는다 — 무작위로 쌍을 표집하고, 빠진 쌍의 결과는 Bradley-Terry 모형이 통계적으로 채워 넣는다. 즉 pairwise 설계를 실무에 쓰려면 표집과 잠재변수 모형이 거의 필수다.
절대평가는 판정 수가 선형이라 훨씬 저렴하지만, 그 대신 #3에서 다룬 척도 사용 편차(scale usage bias)를 그대로 짊어진다 — 어떤 라벨러는 척도의 중앙만 쓰고, 어떤 라벨러는 극단만 쓴다. 같은 응답에 같은 “속마음의 순위”를 갖고 있어도 겉으로 드러나는 숫자는 사람마다 다르게 찍힌다. BWS는 이 둘 사이의 절충안이다 — 판정 수는 pairwise보다 훨씬 적게 늘어나면서(선형에 가까움), 상대판단이라는 형식은 유지해 척도 편차를 피한다.
Method — 실무 프로토콜과 다섯 편의 근거
사람 평가를 설계하는 실제 절차는 대략 여섯 단계로 나뉜다. 이 순서 자체가 아래에서 다룰 다섯 논문이 각각 지적한 실패 지점과 정확히 대응한다.
- 구성개념 정의 → 조작적 정의 문서화. #1에서 본 사슬 그대로다 — “이 응답이 좋은가”라는 질문 전에 “좋다는 것이 정확히 무엇을 뜻하는가”를 문서로 못박아야 한다. 이 단계를 건너뛴 결과가 아래 Howcroft et al.의 조사 대상이다.
- 루브릭 작성. 여러 품질 기준(정확성, 안전성, 유창성 등)을 하나의 통합 척도로 묶을지, 축을 나눌지를 결정한다. 축을 나누면 라벨 품질이 오른다 — 이 시리즈와 별개로 진행 중인 RLHF Reward 설계 시리즈의 Safe RLHF 편이 이를 실측으로 보여준다. helpful과 harmless를 하나의 기준으로 뭉쳐 물었을 때 라벨러 간 합의율은 61.65%였는데, 두 기준을 분리해서 물으니 helpful 69%, safety 66.53%로 각각 올랐다. 충돌하는 두 기준을 한 사람에게 한 번에 저울질하라고 하면, 그 저울질 자체가 노이즈의 원천이 된다.
- 앵커 예시(anchor example) 준비. 각 점수대(1점, 3점, 5점 등)에 해당하는 실제 응답 사례를 미리 골라 라벨러에게 제공한다. “5점짜리 응답이 어떻게 생겼는가”를 말로만 설명하는 것과 실제로 보여주는 것 사이에는 큰 차이가 있다 — 아래 Clark et al.의 훈련 실험이 이 차이를 정량적으로 보여준다.
- 파일럿 라벨링 → κ 측정 → 루브릭 개정 → 재라벨링. 소규모로 먼저 라벨링을 돌리고, #13에서 다룰 일치도 지표를 측정한다. 낮으면 루브릭의 어느 항목이 모호한지 찾아 고치고, 다시 라벨링한다. 이 루프는 한 번으로 끝나지 않는다 — 반복이 전제다.
- 본 라벨링. 각 항목에 몇 명의 라벨러를 중복 배정할지(보통 2~5명), 라벨러의 집중도를 감시할 골든 문항(정답을 아는 항목을 섞어 넣는 것)을 얼마나 넣을지, 라벨러별 품질(골든 문항 정답률, 완료 시간 등)을 어떻게 실시간으로 모니터링할지를 정한다.
- 집계. 다수결이나 단순 평균이 가장 흔하지만, 라벨러마다 신뢰도가 다르다는 것을 반영하려면 라벨러의 신뢰도를 함께 추정하는 모형을 쓸 수 있다. 대표적인 예가 MACE(Hovy et al., NAACL 2013)다 — 각 라벨러가 “성실하게 답하는 사람”인지 “무작위로 답을 고르는 사람”인지를 참값과 함께 비지도 학습(EM)으로 동시에 추정해, 신뢰도가 낮은 라벨러의 표는 덜 반영한다.
이제 이 여섯 단계가 실제로 왜 필요한지, 각 단계가 무너졌을 때 무슨 일이 벌어지는지를 다섯 편의 논문으로 따라간다.
Howcroft et al. (2020) — 평가 시트와 표준화된 정의
Twenty Years of Confusion in Human Evaluation: NLG Needs Evaluation Sheets and Standardised Definitions (Howcroft et al., Heriot-Watt University, INLG 2020)
이 글의 중심 논문이다. 저자 10명은 지난 20년간 NLG 학회(INLG, ACL 트랙)에 실린 사람 평가 포함 논문 165편을 모아, 그 안의 사람 평가를 16개 속성값으로 일일이 주석했다. 165편은 총 478건의 개별 평가(하나의 논문이 여러 품질 기준을 평가하면 각각을 따로 센 것)로 이어졌고, 이 작업에 참여한 저자 9명조차 최종 라운드에서도 논문 한 편을 주석하는 데 평균 25~30분이 걸렸다 — 이는 논문에 사람 평가의 세부사항을 찾아내는 일 자체가 얼마나 어려운지를 보여주는 방증이다.
발견 1 — 이름은 하나인데 뜻은 여러 개다. 478건의 평가에서 저자들이 실제로 쓴 기준 이름(원문 그대로)은 204개의 서로 다른 표현으로 나타났다. 저자들은 이를 하향식으로 클러스터링해 “실제로 같은 것을 재고 있는가”를 기준으로 다시 묶었고, 그 결과 71개의 진짜로 구별되는 정규화된 기준만 남았다. 즉 204개의 표면적 이름이 사실은 71개의 실질적 개념을 가리키고 있었다 — 다른 이름, 같은 것.
문제는 반대 방향에서도 동시에 일어난다는 점이다. 원문 기준 이름 하나가 여러 개의 서로 다른 정규화된 기준에 매핑되는 경우, 즉 같은 이름, 다른 것이 특히 심각했다.
| 원문 기준 이름 | 매핑된 서로 다른 정규화 기준 수 |
|---|---|
| fluency (유창성) | 15 |
| readability (가독성) | 10 |
| coherence (응집성) | 8 |
| naturalness (자연스러움) | 6 |
| quality (품질) | 5 |
| correctness / usability / clarity / informativeness / accuracy | 각 4 |
“유창성”이라는 한 단어가 논문마다 15가지 서로 다른 조작적 정의로 쓰였다는 뜻이다. 어떤 논문은 유창성을 문법적 정확성으로, 어떤 논문은 자연스러움(사람이 실제로 그렇게 말할 법한가)으로, 또 어떤 논문은 응집성이나 심지어 정보의 양으로 정의했다. 저자들은 이를 “유창성을 쓴 논문들이 15개의 서로 다른 이해를 공유하는 부분집합들로 나뉜다”고 표현한다. 반대로 “명료성(clarity)”은 사용 빈도는 높으면서도 매핑되는 정규화 기준의 종류는 적어, 상대적으로 합의가 잘 된 개념으로 나타났다.
발견 2 — 정의를 안 준다. 478건의 개별 평가 중 279건(58.4%)에서 품질 기준에 대한 정의가 아예 빠져 있었다. 평가에 쓰인 질문·프롬프트 자체가 빠진 경우는 311건(65.1%), 기준의 이름조차 명시하지 않은 경우는 98건(20.5%)이었다. 논문 단위로 보면, 자신이 평가한 기준 중 단 하나도 정의하지 않은 논문이 전체의 절반을 살짝 넘었다.
이 정의의 모호함은 저자들 자신에게도 그대로 적용됐다. 165편의 논문에서 “실제로 무엇이 평가됐는가”를 다시 읽어내는 이 메타 작업 자체를, 저자 9명이 두 차례 독립적으로 수행하고 Krippendorff’s \(\alpha\)로 일치도를 측정했다. 속성별로 0.08(instrument, 1차 테스트)부터 0.73(data type, 2차 테스트)까지 널뛰었고, 특히 “이 논문이 실제로 평가한 기준이 무엇인가(criterion)” 속성은 1차 0.20, 2차 0.12로 가장 낮은 축에 속했다. 즉 훈련된 연구자 9명이 “이 논문은 무엇을 쟀는가”라는, 원 논문의 라벨러보다 한 단계 더 추상적인 질문에 답할 때도 서로 다른 답을 냈다 — 정의의 모호함이 얼마나 깊이 박혀 있는지를 보여주는 방증이다.
이 두 발견이 합쳐지면 결론은 분명하다. “유창성을 평가했다”는 문장은 정보가 아니라 소음이다. 정의가 없으면 그 논문의 “유창성 4.2점”이 다른 논문의 “유창성 4.2점”과 같은 것을 가리킨다고 믿을 근거가 없다. 그리고 한 논문 안에서도, 세 명의 라벨러에게 정의 없이 “유창성”을 매기라고 하면 셋은 각자 다른 것을 재고 있을 가능성이 높다 — 이것이 #13에서 κ가 낮게 나오는 주된 원인 중 하나다. 지표(κ)의 문제가 아니라 정의의 문제다.
저자들은 이 문제에 대한 해법으로 평가 시트(evaluation sheet) — 논문이 사람 평가를 보고할 때 최소한 포함해야 할 정보 목록 — 를 제안한다.
| 구분 | 항목 | 물어야 할 것 |
|---|---|---|
| 시스템 | task | 어떤 문제를 푸는가(예: data-to-text)? 다른 NLG 하위 과제와 어떤 관계인가? |
| 시스템 | input/output | 시스템에 무엇을 넣고 무엇이 나오는가? 입출력 예시를 보여줄 것 |
| 평가 기준 | name | 측정하는 품질 기준의 이름은 무엇인가(예: grammaticality)? |
| 평가 기준 | definition | 그 기준을 어떻게 정의하는가? 다른 논문을 인용해도 되지만, 독자가 무엇을 평가했는지 알 수 있어야 한다 |
| 조작화 | instrument type | 응답을 어떻게 수집하는가? 직접 평정, 후편집, 순위, 몇 점 척도인가? 실제 프롬프트와 가능한 응답값 전체를 제시할 것 |
| 조작화 | instructions/prompts/questions | 참가자가 실제로 무엇에 응답하는가? 재현을 원하는 사람을 위해 지시문 전체를 부록에 넣을 것 |
이 표가 이 글 Method 절 1~3단계(구성개념 정의, 조작적 정의 문서화, 앵커 예시)의 최소 요건에 해당한다. 논문 결론부는 지난 20년간 missing details가 papers의 약 3분의 2에서 발견됐다고 요약하는데, 이는 “정의가 하나도 없는” 절반보다 넓은 범위로, 정의뿐 아니라 프롬프트·기준명까지 포함해 무언가가 빠진 논문의 비율이다.
van der Lee et al. (2019/2021) — 실무는 권고를 얼마나 따르는가
Best practices for the human evaluation of automatically generated text (van der Lee, Gatt, van Miltenburg, Wubben & Krahmer, Tilburg University, INLG 2019); 이 조사와 권고는 Human evaluation of automatically generated text: Current trends and best practice guidelines (Computer Speech & Language 67, 101151, 2021)로 확장되어 재출간된다.
Howcroft et al.이 “기준을 어떻게 정의하는가”에 초점을 맞췄다면, 이 논문은 “그 평가를 어떻게 실행하고 보고하는가”의 실무 관행 전체를 조사한다. INLG 2018 논문 51편과 ACL 2018의 관련 트랙(기계번역, 요약, 질의응답, 생성) 논문 38편, 총 89편을 조사했다.
조사 결과 수치가 이렇다.
| 조사 항목 | 결과 |
|---|---|
| 자동 지표를 보고한 논문 비율 | 80% |
| 외재적(extrinsic) 평가를 수행한 논문 비율 | 3% (2005~2014년 조사에서는 25%였다 — 감소) |
| 평가자 수를 명시한 논문 비율 | 55% |
| 평가자의 인구통계(demographics)를 보고한 논문 비율 | 18% |
| 평가자 간 일치도(IAA)를 보고한 논문 비율 | 12.5% (보고된 값의 대부분은 0.3~0.5 범위) |
| 평가 항목 수 | 중앙값 100개, 범위 2~5,400개 (편차가 매우 크다) |
| 통계적 유의성 검정을 보고한 논문 비율 | 33% |
| 가설·연구 질문을 명시한 논문 비율 | 19% |
평가자 규모로 보면, 조사 대상의 28%는 1~4명의 전문가가 평가하는 전문가 중심(expert-focused) 설계였고, 26%는 10~60명의 일반 독자가 평가하는 독자 중심(reader-focused) 설계였다. 라벨러 수의 중앙값은 4명에 불과했다. 이 숫자들을 그대로 받아들이면 안 되는 이유가 바로 위 표의 첫 두 행이다 — 논문의 절반 가까이가 평가자 수 자체를 밝히지 않으므로, “중앙값 4명”이라는 값도 실제보다 낙관적일 수 있다.
이 조사에 근거해 저자들이 제시하는 실무 권고는 이렇다.
| 영역 | 권고 |
|---|---|
| 일반 | 가능하면 항상 사람 평가를 수행한다 |
| 평가 기준 | 통합 품질 점수 하나보다 개별 기준을 분리해서 쓴다 |
| 평가 기준 | 평가에 쓰는 기준을 명확히 정의한다 |
| 표집 | 소규모 전문가 설계보다 대규모 독자 중심 설계를 선호한다 |
| 표집 | 충분히 많은 평가자를 모집하고, 표본 크기와 인구통계를 근거와 함께 보고한다 |
| 주석 | 정성 분석을 할 때는 최소 2명 이상의 라벨러를 쓴다(많을수록 좋다) |
| 주석 | 신뢰구간과 함께 평가자 간 일치도, 그리고 단순 일치율(percentage agreement)을 함께 보고한다 |
| 측정 | 정량 연구에는 다항목 7점(가능하면) Likert 척도, 또는 연속형 순위 방법을 쓴다 |
| 설계 | 순서 효과·학습 효과를 상쇄순서 배치(counterbalancing)나 무작위 순서로 줄이고, 이를 명시적으로 보고한다 |
| 통계 | 탐색적 연구라면 탐색적 분석만 보고한다 |
| 통계 | 확인적 연구라면 사전등록(preregistration)을 고려하고 적절한 통계 검정을 수행한다 |
이 권고 목록이 Method 절 5~6단계(중복 라벨, 골든 문항, 집계)가 실무에서 왜 필요한지에 대한 근거다. 특히 “IAA와 신뢰구간을 함께 보고하라”는 권고는 #13·#15가 각각 정식으로 다룰 두 주제를 이미 예고하고 있다.
Clark et al. (2021) — 사람은 얼마나 좋은 평가자인가
All That’s ‘Human’ Is Not Gold: Evaluating Human Evaluation of Generated Text (Clark et al., University of Washington, ACL 2021)
앞의 두 논문은 “평가를 어떻게 설계하고 보고하는가”를 다뤘다. 이 논문은 더 근본적인 질문을 던진다 — 평가자로 동원하는 사람이 애초에 그 판단을 할 능력이 있는가?
저자들은 Amazon Mechanical Turk(AMT) 비전문가 평가자를 모집해, 스토리·뉴스 기사·레시피 세 도메인에서 사람이 쓴 텍스트와 GPT-2 또는 GPT-3가 생성한 텍스트를 구분하게 했다. 각 도메인 × 모델 조합(3×2=6가지 설정)에 130명씩, 총 780명이 참여해 3,900건의 텍스트를 평가했고, 평가자에게는 완료 1건(5개 텍스트)당 $1.25를 지급했다.
결과는 명확했다.
| 비교 대상 | 전체 정확도 | 우연 수준과의 비교 |
|---|---|---|
| 사람 텍스트 vs GPT-2 | 57.9% | 우연보다 통계적으로 유의하게 높음 (\(t_{388}=6.58\), \(p<0.0001\)) |
| 사람 텍스트 vs GPT-3 | 49.9% | 우연(50%)과 통계적으로 구별되지 않음 (\(t_{388}=-0.09\), \(p=0.93\)) |
도메인별로 보면 스토리 도메인에서 하락이 가장 컸다 — GPT-2 대비 정확도 62%가 GPT-3 대비 48%로 떨어졌다(Cohen’s \(d=0.57\)). 평가자 간 일치도(Krippendorff’s \(\alpha\))도 GPT-3 조건에서는 도메인을 가리지 않고 거의 0에 가까웠다 — 평가자들이 서로 다른, 그리고 각자 내부적으로도 불안정한 판단을 내리고 있었다는 뜻이다.
훈련이 도움이 될까? 저자들은 지시문 기반(Instructions), 예시 기반(Examples), 비교 기반(Comparison) 세 가지 훈련 방법을 추가로 시험했다.
| 훈련 방법 | 전체 정확도 | 우연 대비 유의성 |
|---|---|---|
| 훈련 없음(GPT-3, §2 결과) | 49.9% (≈0.50) | — (기준선) |
| 지시문 기반 | 0.52 | 유의하지 않음 |
| 예시 기반 | 0.55 | 유의함(본페로니 보정 \(p<0.00333\)) |
| 비교 기반 | 0.53 | 유의하지 않음 |
세 방법 중 예시 기반 훈련만 통계적으로 유의한 개선을 냈지만, 그 개선조차 0.55에 그쳤다 — 절반을 살짝 넘는 수준으로, 신뢰할 만한 판별 능력과는 거리가 멀다. 훈련을 받은 평가자들의 응답을 분석해보면, 이들은 텍스트의 형식(문법·문체)보다 내용(content)에 더 주목하게 됐지만(형식 관련 언급 비율 47.1% → 32.5%, 내용 관련 언급 25.0% → 50.0%), 그 관심의 전환이 정확도를 크게 끌어올리지는 못했다.
이 결과가 주는 함의는 이 시리즈의 Method 3단계(앵커 예시)와 직결된다. 예시를 보여주는 것은 도움이 되지만 만능이 아니다. GPT-3 수준의 생성 모델을 세워두면, 아무리 잘 설계된 평가 프로토콜도 비전문가 평가자의 판별력 자체가 근본적으로 한계에 부딪힌다. 이는 이 논문 이후로 “사람 평가가 항상 골드 스탠다드”라는 가정 자체를 재검토하게 만든 계기가 됐다.
Karpinska et al. (2021) — MTurk의 함정: 크라우드와 전문가가 반대로 판정한다
The Perils of Using Mechanical Turk to Evaluate Open-Ended Text Generation (Karpinska, Akoury & Iyyer, University of Massachusetts Amherst, EMNLP 2021)
Clark et al.이 “평가자가 충분히 좋은가”를 물었다면, 이 논문은 한 걸음 더 나가 “어떤 평가자를 쓰느냐가 결론 자체를 바꾸는가”를 실측으로 보여준다. 저자들은 먼저 개방형 텍스트 생성을 다룬 논문 45편을 조사해, 대다수가 AMT 작업 설정의 핵심 정보(자격 조건, 지급 금액, 평가자 수 등)를 보고하지 않는다는 것을 확인한다.
핵심 실험은 스토리 생성 도메인이다. 사람이 쓴 참조 스토리 200개와 GPT-2가 생성한 스토리 200개를, AMT 크라우드워커와 전문가(영어 교사 3명)에게 각각 문법·응집성·관련성·호감도 네 기준으로 채점하게 했다. 두 그룹의 판정이 정면으로 갈렸다.
AMT 크라우드워커. 사람 참조 스토리와 GPT-2 스토리를 각각 다른 세션에서(서로 비교하지 않고) 채점했을 때, 두 텍스트를 사실상 구별하지 못했다. 예를 들어 문법에서는 사람 스토리(3.86~4.05)와 GPT-2 스토리(3.94)가 겹쳤고, 관련성에서도 특정 세션(Day 3)에서는 사람 스토리(3.46)와 GPT-2 스토리(3.44)가 거의 같았다. 즉 AMT 워커만 놓고 보면 “이 모델은 사람 수준으로 글을 쓴다”는 결론이 나온다.
전문가(영어 교사). 똑같은 400개의 스토리를, 똑같이 서로 비교하지 않는 방식으로 채점했다. 결과는 정반대였다 — 응집성(사람 4.38 대 GPT-2 3.73), 관련성(3.82 대 2.54), 호감도(3.69 대 2.96) 모두에서 사람 스토리가 통계적으로 유의하게 높았다(모두 \(p<0.001\)). 유일하게 비슷했던 것은 문법(4.50 대 4.56)이었는데, 이는 GPT-2의 출력이 실제로 문법적으로는 대체로 무난하기 때문이다. 즉 전문가만 놓고 보면 “이 모델은 사람보다 명백히 못 쓴다”는 정반대의 결론이 나온다.
| 크라우드워커(AMT) | 전문가(영어 교사) | |
|---|---|---|
| 응집성 | 사람 3.83~4.11 vs GPT-2 3.82~3.94 — 구별 안 됨 | 사람 4.38 vs GPT-2 3.73 — \(p<0.001\) |
| 관련성 | 사람 3.46~3.71 vs GPT-2 3.44~3.71 — 구별 안 됨 | 사람 3.82 vs GPT-2 2.54 — \(p<0.001\) |
| 호감도 | 사람 3.37~3.73 vs GPT-2 3.42~3.48 — 구별 안 됨 | 사람 3.69 vs GPT-2 2.96 — \(p<0.001\) |
| 결론 | “GPT-2는 사람과 구별 불가능하다” | “GPT-2는 사람보다 명백히 열등하다” |
두 그룹이 서로 다른 결론에 도달하는 이유를 저자들은 절대평가의 척도 보정(scale calibration) 문제로 설명한다. AMT 워커가 GPT-2 스토리만 반복해서 보다 보면, 그 안에서도 상대적으로 “나은” 것과 “못한” 것에 척도를 다시 맞춰버린다 — 비교 대상인 사람 스토리를 볼 기회가 없으니, 워커의 5점은 “이 모델이 만들 수 있는 스토리 중 상위권”이라는 뜻으로 슬며시 바뀐다. 이를 검증하기 위해 저자들은 같은 AMT 워커에게 사람 스토리와 GPT-2 스토리를 나란히 보여주고 채점하게 하는 추가 실험을 돌렸다. 결과는 뚜렷했다.
| 기준 | 따로 채점(원래 설계) | 나란히 채점(비교 설계) |
|---|---|---|
| 응집성 | 사람 3.83 vs GPT-2 3.94 — 구별 안 됨 | 사람 3.83 vs GPT-2 3.39 — 격차 발생 |
| 관련성 | 사람 3.71 vs GPT-2 3.44 — 격차 작음 | 사람 3.49 vs GPT-2 2.70 — 격차 확대 |
| 호감도 | 사람 3.73 vs GPT-2 3.42 — 격차 작음 | 사람 3.48 vs GPT-2 2.99 — 격차 확대 |
같은 크라우드워커 풀인데도, 두 텍스트를 비교 기준점 없이 따로 보여주느냐 나란히 보여주느냐만 바꿔도 격차가 벌어진다. 이는 Background에서 다룬 “절대평가는 척도 사용 편차에 약하다”는 원칙이 실측으로 재현된 사례이자, 왜 상대평가(pairwise)나 BWS 같은 비교 기반 설계가 특히 비전문가 평가자를 쓸 때 유리한지를 보여주는 직접적인 증거다.
지급 금액도 극명하게 갈렸다 — AMT 워커는 건당 $1.25를 받았고, 전문가 세 명은 각각 $125를 받았다(약 시간당 $20 수준). 100배 차이 나는 보상이 반영하는 것은 단순한 노동 대가가 아니라, 학생 글을 상시로 첨삭하며 문법 오류와 담화 수준의 논리적 결함을 구분하는 데 훈련된 판단력의 값이다.
이 논문의 함의는 명확하다. 평가자 풀의 선택은 프로토콜의 세부사항이 아니라 결론을 결정하는 변수다. “우리 모델이 사람 평가에서 이겼다”는 주장을 마주하면, 언제나 “누가 평가했는가”를 먼저 물어야 한다.
Kiritchenko & Mohammad (2017) — BWS를 설계의 눈으로 다시 보기
Best-Worst Scaling More Reliable than Rating Scales: A Case Study on Sentiment Intensity Annotation (Kiritchenko & Mohammad, National Research Council Canada, ACL 2017)
이 논문은 #3에서 척도론의 관점으로 이미 다뤘다 — split-half reliability가 Rating Scale의 0.95 대 BWS의 0.98이었고, 부정어가 섞인 복잡한 항목에서는 그 격차가 0.17 대 0.79까지 벌어졌다는 수치였다. 여기서는 같은 논문을 평가 설계의 절차 자체로 다시 읽는다.
BWS의 절차는 이렇다. 평가할 항목을 4개씩 묶은 튜플을 여러 개 만들고, 각 항목이 평균 약 8개의 튜플에 걸쳐 등장하도록 배치한다(총 튜플 수는 항목 수 \(N\)에 대해 \(1.5N\sim2N\)개). 평가자는 각 튜플에서 딱 두 가지만 고른다 — “이 넷 중 가장 좋은 것”과 “이 넷 중 가장 나쁜 것”. 점수는 카운팅으로 산출한다.
\[\text{score}(i) = \frac{\#\{\text{best로 뽑힘}\} - \#\{\text{worst로 뽑힘}\}}{\#\{\text{튜플에 등장한 횟수}\}}\]- \(\#\{\text{best로 뽑힘}\}\): 항목 \(i\)가 등장한 튜플들 중, \(i\)가 “가장 좋은 것”으로 선택된 횟수.
- \(\#\{\text{worst로 뽑힘}\}\): 같은 방식으로 “가장 나쁜 것”으로 선택된 횟수.
- 분모: 항목 \(i\)가 등장한 튜플의 총 수.
이 값은 \(-1\)(항상 최악으로 뽑힘)에서 \(1\)(항상 최선으로 뽑힘) 사이의 실수다. 절대 척도의 숫자를 매기지 않고도, 상대적 순서만으로 연속적인 강도(intensity) 점수를 복원해낸다는 것이 이 설계의 핵심 성취다.
왜 이 설계가 인지 부하를 낮추는가. 4개 중 최선/최악만 고르는 것은 4개를 전부 순서대로 배열하는 것보다, 그리고 각 항목에 절대 점수를 매기는 것보다 쉬운 판단이다. Thurstone의 비교판단 법칙(law of comparative judgment)이 말하는 바가 바로 이것이다 — 사람은 “이것과 저것 중 어느 것이 더 낫다”는 상대적 판단을 “이것이 정확히 몇 점짜리다”라는 절대적 판단보다 훨씬 안정적으로 내린다. 그리고 이 설계는 그 안정적인 판단 하나로 훨씬 많은 정보를 뽑아낸다 — 4개 항목 \(\{a,b,c,d\}\) 중 \(a\)가 최선, \(d\)가 최악으로 뽑히면, 가능한 \(\binom{4}{2}=6\)개의 쌍별 비교 중 5개(\(a>b, a>c, a>d, b>d, c>d\))가 그 한 번의 판단에서 즉시 확정된다. 확정되지 않는 것은 가운데 두 항목(\(b\) 대 \(c\))의 순서 하나뿐이다.
왜 pairwise보다 저렴한가. 순수 pairwise는 \(n\)개 항목에 최대 \(\binom{n}{2}\)쌍의 비교가 필요하다. BWS는 튜플 하나가 5개의 쌍별 관계를 동시에 확정시켜주므로, 훨씬 적은 판정 수(\(1.5n\sim2n\)개의 튜플)로 비슷한 양의 순서 정보를 얻는다. Background 표에서 BWS를 “절대평가와 pairwise 사이의 절충안”으로 분류한 것이 바로 이 지점이다.
설계에서 고려해야 할 것. 튜플을 어떻게 구성하는가(어떤 항목들을 같은 튜플에 묶는가, 각 항목이 몇 번 등장하는가) 자체가 결과에 영향을 준다. 무작위로 짜면 되는 것이 아니라, 모든 항목이 비슷한 빈도로, 그리고 다양한 상대편과 짝지어지도록 균형 잡힌 설계(balanced incomplete block design류)가 필요하다. 이 설계 비용이 BWS를 “절대 척도보다는 복잡하지만 pairwise보다는 저렴한” 중간 지점에 놓는다.
Experiments
핵심 반례 — 정의 없는 “유창성”이 만드는 가짜 불일치
Howcroft et al.의 발견을 손으로 직접 재현해보자. 세 명의 라벨러 A, B, C에게 정의 없이 “다음 응답의 유창성을 1~5점으로 채점하시오”라고만 지시했다고 하자. 세 사람은 각자 “유창성”을 다르게 이해한다 — A는 문법(grammaticality), B는 자연스러움(would a real person say this), C는 정보 밀도(information density)로 채점한다. 다섯 개의 LLM 생성 응답에 대한 점수는 다음과 같았다.
| 응답 | 특징 | A (문법) | B (자연스러움) | C (정보 밀도) |
|---|---|---|---|---|
| S1 | “다양한 기능을 제공하는 제품입니다”류의 격식체, 문법은 완벽하지만 내용이 공허하고 어색하게 딱딱함 | 5 | 2 | 1 |
| S2 | “완전 강추, 배터리도 오래가고 카메라도 짱임”류의 구어체, 격식 문법은 어긋나지만 실제 사람이 쓸 법하고 구체적 정보 두 가지를 담음 | 2 | 5 | 5 |
| S3 | “정말 좋은 제품입니다”류의 짧고 무난한 문장, 문법도 자연스러움도 괜찮지만 아무 구체적 정보가 없음 | 5 | 4 | 1 |
| S4 | 만연체로 같은 말을 부풀려 반복, 문법은 무너지지 않지만 극히 부자연스럽고 여전히 공허함 | 4 | 1 | 1 |
| S5 | “배터리 하루 종일 가고 카메라도 좋아요”류의 구어체, 문법·자연스러움·정보량이 모두 균형 잡힘 | 4 | 5 | 4 |
세 라벨러 모두 자신의 정의 안에서는 완벽하게 일관적이다 — 아무도 실수하지 않았다. 그런데 A와 B의 순위는 S2에서 정확히 반대로 갈린다. A에게 S2는 다섯 개 중 최하위(2점)지만, B와 C에게는 최상위(5점)다. 이 세 점수를 그대로 평균 내 “S2의 유창성은 4.0점”이라고 보고하면, 그 숫자는 세 개의 서로 다른 구성개념을 뭉뚱그린 결과다.
이 다섯 쌍의 점수로 라벨러 사이의 Pearson 상관을 직접 계산해보면 문제의 크기가 더 분명해진다. \(A=[5,2,5,4,4]\), \(B=[2,5,4,1,5]\), \(C=[1,5,1,1,4]\)이고 평균은 각각 \(\bar{A}=4.0\), \(\bar{B}=3.4\), \(\bar{C}=2.4\)다. 편차의 곱을 다 더하고 각자의 편차제곱합으로 정규화하면,
\[r_{AB} = \frac{-4.0}{\sqrt{6.0 \times 13.2}} \approx -0.45, \qquad r_{AC} = \frac{-8.0}{\sqrt{6.0 \times 15.2}} \approx -0.84, \qquad r_{BC} = \frac{11.2}{\sqrt{13.2 \times 15.2}} \approx 0.79\]문법(A)과 정보 밀도(C)를 재는 두 라벨러 사이의 상관은 \(-0.84\)까지 떨어진다 — 완벽하게 일관적인 두 사람 사이에서 나온, 거의 완전한 음의 상관이다. 반면 자연스러움(B)과 정보 밀도(C)는 이 다섯 문장에서 우연히 함께 움직여 \(0.79\)의 높은 상관을 보인다. 세 라벨러의 점수를 그대로 다수결이나 평균으로 합치면, 이 구조적인 음의 상관이 뭉개져 “라벨러 간 불일치가 크다”는 결과만 남는다. 그런데 그 불일치의 원인은 무작위 노이즈가 아니라 애초에 서로 다른 방향을 가리키는 두 개의 구성개념을 하나의 척도에 강제로 겹쳐 놓은 것이다.
만약 이 다섯 응답에 대해 A와 B 사이의 일치도(κ)를 계산하면 낮게 나올 것이다. 그런데 그 낮은 값이 뜻하는 것은 “A나 B 중 누군가가 평가를 잘못했다”가 아니다. 둘 다 자신의 기준에서는 완벽했다. 낮은 κ가 실제로 가리키는 것은 “A와 B가 서로 다른 것을 재고 있었다”는 정의의 실패다. 이 구분이 왜 중요한지는 #13에서 κ를 직접 유도하며 다시 짚는다 — κ가 낮다고 라벨러를 재훈련시키거나 교체하면, 문제(정의의 모호함)는 그대로 남고 증상(낮은 κ)만 다른 라벨러 조합으로 옮겨간다.
라벨러 수와 신뢰도 — Spearman-Brown 예언 공식
정의를 고쳐서 라벨러 1명의 신뢰도 자체를 올리는 것과, 정의는 그대로 둔 채 라벨러 수만 늘려 평균을 내는 것 중 어느 쪽이 효율적인가? 이를 정량화하는 것이 Spearman-Brown 예언 공식이다.
\[\rho_k = \frac{k\rho_1}{1+(k-1)\rho_1}\]- \(\rho_1\): 라벨러 한 명의 신뢰도. #1에서 정의한 신뢰도 \(\rho_{XX'}\)와 같은 개념이다 — 그 라벨러의 판정이 참값 대비 얼마나 안정적인가.
- \(k\): 라벨러 수. 이 \(k\)명의 판정을 평균해서 최종 점수로 쓴다고 가정한다.
- \(\rho_k\): \(k\)명의 평균 판정이 갖는 신뢰도.
이 식은 #1에서 본 Cronbach \(\alpha = \dfrac{k\bar{r}}{1+(k-1)\bar{r}}\)와 정확히 같은 형태다 — 문항 수를 늘리는 것과 라벨러 수를 늘리는 것은 수학적으로 동일한 효과(독립적인 오차의 평균화)를 낸다.
정의가 얼마나 모호한지에 따라 \(\rho_1\) 자체가 크게 달라진다. 두 경우를 놓고 라벨러를 1명에서 3명, 5명, 10명으로 늘렸을 때 신뢰도가 어떻게 바뀌는지 계산해보자.
| 라벨러 수 \(k\) | \(\rho_1=0.2\)일 때 \(\rho_k\) (정의 없는 “유창성”) | \(\rho_1=0.5\)일 때 \(\rho_k\) (앵커 예시가 있는 루브릭) |
|---|---|---|
| 1 | 0.200 | 0.500 |
| 3 | 0.429 | 0.750 |
| 5 | 0.556 | 0.833 |
| 10 | 0.714 | 0.909 |
두 가지가 눈에 띈다. 첫째, \(\rho_1=0.2\)인 상태에서는 라벨러를 10명까지 늘려도 0.714에 그치는데, \(\rho_1=0.5\)에서는 라벨러 3명만으로 이미 0.75를 넘는다 — 정의를 명확히 해서 \(\rho_1\) 자체를 올리는 것이, 라벨러 수를 늘려 평균 내는 것보다 훨씬 효율적이다. 둘째, \(\rho_1\)이 고정된 채로는 \(k \to \infty\)여도 \(\rho_k \to 1\)에 한없이 접근할 뿐 결코 그 이상으로는 못 간다 — 아무리 많은 사람을 동원해도, 애초에 정의가 흔들리는 질문에 대한 평균은 흔들리는 평균일 뿐이다.
이 결과는 #1의 감쇠(attenuation) 정리와 바로 이어진다. 신뢰도는 관측 가능한 타당도(상관)의 상한이었다. 라벨러 수를 늘려 신뢰도 \(\rho_k\)를 올리면, 그 사람 평가와 다른 무언가(자동 지표, judge 점수) 사이에서 관측할 수 있는 상관의 상한도 함께 올라간다. 즉 “평가자를 더 뽑는 것”은 그 자체로 목적이 아니라, 뒤에 이어질 모든 비교(#5의 지표 검증, #9의 judge 검증)가 가질 수 있는 타당도의 천장을 높이는 투자다.
비용 계산 — 절대평가 대 pairwise, 얼마나 차이 나는가
Background에서 본 판정 수 성장 속도의 차이를 실제 비용으로 옮겨보자. 가상의 단가로 계산한 토이 예제다 — 응답 100개를 평가하고, 신뢰할 결과를 얻기 위해 각 판정을 3명이 중복으로 수행한다고 하자.
| 설계 | 필요한 판정 수 | 판정당 가상 단가 | 총 비용 |
|---|---|---|---|
| 절대평가 (100개 항목 × 3명) | 300 | $0.10 | $30 |
| BWS (튜플 \(1.5\times100\sim2\times100\)개 × 3명) | 450~600 | $0.25 | $112.50~$150 |
| pairwise 전체 (\(\binom{100}{2}=4{,}950\)쌍 × 3명) | 14,850 | $0.20 | $2,970 |
절대평가 대비 pairwise 전체 비교는 항목 수가 겨우 100개인데도 약 99배 비용이 든다. 항목 수가 1,000개로 늘면 pairwise 쪽 판정 수는 \(\binom{1000}{2} \times 3 \approx 150\)만 건으로 뛰어, 비용 격차는 더 벌어진다. 이것이 #9에서 본 Chatbot Arena가 전체 쌍을 다 모으지 않고 무작위 표집 + Bradley-Terry로 잠재 점수를 복원하는 근본적인 이유다 — 전체 pairwise의 판정 밀도를 다 채우는 것은 애초에 예산으로 감당이 안 된다. BWS는 그 중간에서, pairwise가 주는 “상대판단으로 척도 편차를 없앤다”는 이점을 유지하면서 비용을 절대평가에 가깝게 낮춘다.
통계 요약
| 개념/공식 | 정의 | 이 글에서의 역할 | 다음 편 연결 |
|---|---|---|---|
| 평가 시트 (Howcroft et al.) | task/input-output, 기준명/정의, 도구/프롬프트를 최소한으로 보고 | 구성개념 정의를 강제해 “같은 이름, 다른 것” 문제를 막는다 | #13 κ 계산 이전의 전제조건 |
| \(\binom{n}{2}\) | pairwise 최대 판정 수 | 상대평가의 비용이 제곱으로 는다는 것을 보여준다 | #9 BT 모형·표집 |
| BWS 카운팅 점수 | \(\dfrac{\#\text{best}-\#\text{worst}}{\#\text{등장}}\) | 절대점수 없이 강도를 복원하는 절충 설계 | #3 split-half reliability |
| Spearman-Brown 예언 공식 | \(\rho_k = \dfrac{k\rho_1}{1+(k-1)\rho_1}\) | 라벨러 수 증가의 효과를 정량화, \(\rho_1\) 개선이 더 효율적임을 보인다 | #1 감쇠 정리 |
| MACE (Hovy et al. 2013) | 라벨러 신뢰도와 참값을 EM으로 동시 추정 | 단순 다수결·평균의 대안적 집계 방법 | #19 judge 신뢰도 |
Conclusion
이 글이 다섯 편의 논문에서 뽑아낸 메시지는 하나로 모인다 — 사람 평가에서 관측되는 불일치는 대개 “라벨러가 나쁘다”는 인사 문제가 아니라 “무엇을, 어떻게, 누구에게 물었는가”라는 설계 문제다. Howcroft et al.은 정의 없이 물으면 이름 하나가 15가지 다른 것을 뜻하게 됨을 보였고, van der Lee et al.은 그 정의·표본 크기·통계 보고가 실무에서 얼마나 자주 빠지는지를 수치로 드러냈다. Clark et al.은 평가자 자체의 판별력에 근본적 한계가 있음을, Karpinska et al.은 그 평가자 풀의 선택이 결론을 통째로 뒤집을 수 있음을 보였다. Kiritchenko & Mohammad의 BWS는 절대판단 대신 비교판단을 쓰는 설계 자체가 이 함정들 중 일부(척도 사용 편차)를 원천적으로 피해간다는 것을 보였다.
한계도 짚어둔다. 이 글이 제시한 여섯 단계 프로토콜과 설계 선택표는 “무엇을 해야 하는가”에 대한 처방이지만, 그것을 지켰다고 해서 평가가 저절로 신뢰할 만해지는 것은 아니다. 프로토콜을 완벽히 지켜도 라벨러 간 불일치는 여전히 남을 수 있고, 그 남은 불일치가 우연 수준을 넘는지, 얼마나 심각한지를 판정하려면 결국 정량적 도구가 필요하다. 다음 글 #13 우연을 빼다가 그 도구 — 우연 일치를 뺀 κ 계열 지표 — 를 유도하고, #14 κ의 역설은 “일치율은 90%인데 κ는 0.21”이라는, 지표 자체가 설계만큼이나 조심히 다뤄야 할 대상임을 보여준다. 설계를 잘하는 것과 그 설계의 결과를 올바르게 읽는 것은 별개의 과제이며, 이 시리즈의 4부(#12~#14)가 그 둘을 순서대로 다룬다.
참고 문헌
- Howcroft, D. M., Belz, A., Clinciu, M.-A., Gkatzia, D., Hasan, S. A., Mahamood, S., Mille, S., van Miltenburg, E., Santhanam, S., & Rieser, V. (Heriot-Watt University), 2020. Twenty Years of Confusion in Human Evaluation: NLG Needs Evaluation Sheets and Standardised Definitions. INLG 2020.
- van der Lee, C., Gatt, A., van Miltenburg, E., Wubben, S., & Krahmer, E. (Tilburg University), 2019. Best practices for the human evaluation of automatically generated text. INLG 2019.
- van der Lee, C., Gatt, A., van Miltenburg, E., & Krahmer, E., 2021. Human evaluation of automatically generated text: Current trends and best practice guidelines. Computer Speech & Language, 67, 101151.
- Clark, E., August, T., Serrano, S., Haduong, N., Gururangan, S., & Smith, N. A. (University of Washington), 2021. All That’s ‘Human’ Is Not Gold: Evaluating Human Evaluation of Generated Text. ACL 2021.
- Karpinska, M., Akoury, N., & Iyyer, M. (University of Massachusetts Amherst), 2021. The Perils of Using Mechanical Turk to Evaluate Open-Ended Text Generation. EMNLP 2021.
- Kiritchenko, S., & Mohammad, S. M. (National Research Council Canada), 2017. Best-Worst Scaling More Reliable than Rating Scales: A Case Study on Sentiment Intensity Annotation. ACL 2017.
- Hovy, D., Berg-Kirkpatrick, T., Vaswani, A., & Hovy, E., 2013. Learning Whom to Trust with MACE. NAACL-HLT 2013.
- Dai, J. et al. (Peking University), 2023. Safe RLHF: Safe Reinforcement Learning from Human Feedback. ICLR 2024. — Safe RLHF 편에서 인용한 helpful/safety 라벨 분리 합의율 수치의 출처.
LLM 평가 체계 시리즈
이 글은 LLM 평가 체계 시리즈의 열두 번째 글이다.
1부. 평가란 무엇인가
- 측정으로서의 평가 — 구성개념·조작화·타당도·신뢰도
- 벤치마크는 무엇을 재고 있나 — 벤치 445편 구성타당도 리뷰
2부. 무엇을 숫자로 만드나 — 평가 metric
- 척도와 허용 연산 — Likert 평균을 내도 되는가
- 분류 지표 — accuracy의 함정부터 PR-AUC까지
- 생성 지표와 그 타당도 — BLEU에서 COMET까지
- 객관식 평가는 왜 흔들리나 — 위치 편향과 포맷 민감도
3부. LLM 벤치마크 지형도
- 지식과 추론 — MMLU 계열의 흥망 — MMLU·GPQA·BBH·HELM
- 검증 가능한 도메인 — 수학과 코드 — GSM8K·MATH·HumanEval·SWE-bench
- 개방형 대화 — MT-Bench에서 Arena까지 — judge 기반 벤치의 등장
- 능력의 다른 축 — 지시따르기·긴 문맥·사실성
- 한국어 벤치마크 — 번역이 아니라 원산, 그리고 문화 타당도
4부. 사람이 읽는다 — 정성평가와 일치도
- (현재 글) 사람 평가 설계 — 루브릭·Likert·pairwise·BWS
- 우연을 빼다 — κ 계열 — Cohen·Fleiss·weighted·Krippendorff
- κ의 역설 — 일치율 90%인데 κ가 0.21
5부. 차이는 진짜인가 — 정량평가의 통계
- 점수는 추정치다 — 이항비율 신뢰구간과 Wald의 실패
- 차이는 유의한가 — paired bootstrap·순열검정·McNemar
- 몇 개를 재야 하나 — 검정력·표본크기·다중비교
- LLM eval의 통계 실무 — 클러스터 SE·IQM·분산 분해
6부. 신뢰할 수 있는 평가 체계
- judge를 통계로 다루기 — 편향·Bradley-Terry·PPI
- 오염·재현성·효율 — 오염 검정·harness·IRT
- 안전 평가의 통계와 체계 설계 — 희귀사건·calibration·체크리스트
본 시리즈는 21편으로 구성된다.
Enjoy Reading This Article?
Here are some more articles you might like to read next: