객관식 평가는 왜 흔들리나 — 위치 편향과 포맷 민감도

Created on August 24, 2026

2026   ·   evaluation   mcqa   benchmark   prompt-sensitivity   position-bias   paper   ·   paper

Large Language Models Are Not Robust Multiple Choice Selectors (Zheng et al., ICLR 2024 Spotlight)

Introduction

MMLU가 사실상 모델 평가의 기본값이 된 이유는 단순하다. 정답이 A/B/C/D 중 하나로 고정되어 있어 채점이 기계적이고 논쟁의 여지가 없다. #5에서 다룬 BLEU·ROUGE 같은 생성 지표는 “정답이 여럿일 수 있다”는 문제를 안고 출발했지만, 객관식은 그 문제 자체가 존재하지 않는다. 문자열이 A인지 B인지만 비교하면 되니 judge도, 사람 채점자도, 애매한 기준도 필요 없다. 이것이 지난 몇 년간 지식·추론 평가가 거의 예외 없이 객관식으로 수렴한 이유다.

그런데 이 편의성에는 대가가 있다는 것이 이번 글의 주제다. 선택지의 순서만 뒤바꿔도, 프롬프트의 포맷만 바꿔도 정확도가 요동치고 리더보드 순위가 뒤집힌다. 같은 모델에 같은 지식을 물었는데, 정답이 “C”의 자리에 있느냐 “A”의 자리에 있느냐에 따라 점수가 달라진다면, 그 점수는 모델의 지식을 재는 것이 아니라 정답의 위치를 재고 있는 것이다.

실무에서 이 문제는 추상적인 이야기가 아니다. 모델 A와 모델 B 중 서비스에 무엇을 올릴지 리더보드 점수 0.5점 차이로 결정한다면, 그 0.5점이 지식의 차이인지 그날 채점 스크립트가 선택지를 어떻게 나열했는지의 차이인지부터 구분해야 한다. 뒤에서 볼 것처럼 이 차이는 실제로는 76%p까지 벌어질 수 있는 규모이므로, 리더보드 몇 등 차이는 종종 잡음의 크기 안에 들어와 있다.

#1의 용어를 빌리면 이것은 정확히 구성개념 무관 분산(construct-irrelevant variance)이다 — 우리가 재고 싶은 구성개념(지식, 추론 능력)과 무관한 요인(선택지 순서, 기호 표기, 구분자 스타일)이 점수에 체계적으로 섞여 들어간 것이다. 신뢰도(같은 조건에서 재현되는가)는 높을 수 있어도, 그 신뢰도가 타당도(재려는 것을 정말 재고 있는가)를 보장하지는 않는다. 오히려 이 글이 보여줄 것은 신뢰도 자체가 애초에 낮다는 사실이다 — 조건을 살짝만 바꿔도 같은 모델의 점수가 달라진다.

이 글은 이 현상을 다룬 네 편의 논문과, 처방으로 제시된 다중 프롬프트 평가를 정리한다.

  1. Zheng et al. (2024) — 모델이 특정 선택지 ID(예: “A”)를 선호하는 선택 편향(selection bias)과 그 원인, 그리고 탈편향 기법 PriDe.
  2. Pezeshkpour & Hruschka (2024) — 선택지 순서를 재배치했을 때 성능이 얼마나, 왜 흔들리는가.
  3. Sclar et al. (2024) — 의미는 완전히 같은 포맷 변형만으로 성능이 얼마나 벌어지는가(FormatSpread).
  4. Alzahrani et al. (2024) — 이런 사소한 변경이 실제 리더보드 순위를 얼마나 뒤바꾸는가.
  5. Mizrahi et al. (2024) — 그래서 프롬프트 하나가 아니라 여러 개로 평가해야 한다는 제안.

결론을 먼저 말하면, 이 글은 프롬프트 하나를 고정하는 것은 표본 크기 1을 뽑는 것과 같다는 명제로 끝난다. 그 명제가 참이라면 점수에는 표본오차가 있고, 오차 막대 없는 단일 숫자는 애초에 불완전한 보고다. 그 통계적 처방은 #15와 #18에서 이어받는다. MMLU 자체의 내용적 결함(오류 문항, 모호성)은 이 글의 범위가 아니다 — 그것은 #7에서 다룬다. 이 글이 묻는 것은 “문항이 맞았나”가 아니라 “채점 절차 자체가 안정적인가”다.

Background

객관식을 채점하는 두 가지 방법

객관식 문항 하나를 채점하는 데는 근본적으로 다른 두 가지 절차가 쓰인다. 이 절차의 선택 자체가 벌써 하나의 분산原이다.

(a) 로그확률 비교(loglikelihood comparison). 각 선택지 \(o_i\)를 프롬프트 \(x\) 뒤에 이어붙였을 때 모델이 그 문자열에 매기는 로그확률 \(\log P_\theta(o_i \mid x)\)를 계산하고, 가장 높은 것을 답으로 고른다. 모델이 실제로 텍스트를 생성할 필요가 없다 — teacher-forcing으로 각 후보의 확률만 읽으면 된다. 문제는 이 원시 로그확률이 선택지 길이에 민감하다는 것이다. 로그확률은 토큰마다 음수 항이 더해지는 합이므로, 다른 조건이 같다면 긴 선택지일수록 총합이 더 낮아진다. 그래서 실무에서는 정규화를 건다.

채점 방식 계산 무엇을 보정하나
비정규화(raw) \(\hat y = \arg\max_i \log P_\theta(o_i \mid x)\) 없음 — 짧은 선택지를 체계적으로 선호
토큰 길이 정규화 \(\hat y = \arg\max_i \dfrac{\log P_\theta(o_i \mid x)}{n_i}\) (\(n_i\) = 토큰 수) 길이 편향을 줄이지만 토크나이저마다 \(n_i\)가 달라 모델 간 비교가 어긋난다
바이트 길이 정규화(acc_norm) \(\hat y = \arg\max_i \dfrac{\log P_\theta(o_i \mid x)}{\lvert o_i \rvert_{\text{byte}}}\) 문자 단위로 나눠 토크나이저 의존성을 줄인다. lm-evaluation-harness의 기본 acc_norm이 이 방식이다
무조건부(unconditional/PMI) 정규화 \(\hat y = \arg\max_i \big[\log P_\theta(o_i \mid x) - \log P_\theta(o_i)\big]\) 선택지 자체가 흔히 등장하는 단어라서 사전 확률이 높은 경우를 보정한다. GPT-3 논문이 ARC·OpenBookQA·RACE에 적용한 방식이다

(b) 생성 후 파싱(generate-then-parse). 모델에게 자유 형식으로 답을 쓰게 한 뒤(예: “정답은 (C)입니다”), 정규표현식으로 답 기호를 추출한다. 이 방식은 실제 서비스 사용 방식(채팅으로 답을 받는 것)에 더 가깝다는 장점이 있지만, 모델이 지식은 맞아도 요구된 형식을 지키지 않으면 파싱이 실패해 오답 처리된다. 즉 이 채점 방식은 “아는가”와 “형식을 지키는가”라는 서로 다른 두 능력을 하나의 점수에 뒤섞는다.

예를 들어 채점 스크립트가 정답은 \(([A-D])\) 같은 패턴만 인식하도록 짜여 있다고 하자. 모델이 “9는 소수가 아니므로 정답은 B번입니다”라고 답하면, 내용은 완전히 맞았는데도 괄호 표기가 아니라서 파서가 답을 뽑아내지 못해 오답으로 채점된다. 지식 그 자체가 아니라 “괄호를 쳤는가”가 점수를 가른 것이다. 이런 실패는 특히 지시를 잘 따르지 않는 소형 모델이나, 사고 과정을 길게 쓰는 reasoning 모델에서 잦다.

같은 모델, 같은 벤치마크에서도 (a)와 (b) 중 무엇을 쓰느냐, (a) 안에서도 어떤 정규화를 쓰느냐에 따라 숫자가 달라진다. lm-evaluation-harness가 acc, acc_norm 같은 옵션을 나란히 제공하는 이유가 이것이고, 실제로 이 옵션 조합 차이가 같은 벤치마크에서 논문마다 다른 숫자를 낳는 사고로 이어진다 — 그 재현성 문제는 #20에서 본격적으로 다룬다. 지금 짚어야 할 것은 하나다: 채점 방식의 선택 자체가 이미 구성개념과 무관한 분산의 원천이라는 것.

위치 편향은 어디서 오는가

선택지 순서를 바꾸면 왜 정답이 바뀌는가에 대해 논문들이 제시하는 그럴듯한 원인은 세 갈래다.

  • 토큰 사전확률(token prior). 모델이 질문 내용과 무관하게 특정 옵션 ID 토큰(“A”, “B” 등)에 더 높은 확률을 사전에 할당한다. Zheng et al.이 실험으로 확인한 주된 원인이며, 아래 Method에서 자세히 다룬다.
  • 위치에 따른 불확실성 해소(positional tie-breaking). 모델이 상위 2~3개 후보 사이에서 확신이 없을 때, 특정 위치 배치가 그 팽팽한 경합을 한쪽으로 기울인다는 가설이다. Pezeshkpour & Hruschka가 제시한 설명이다.
  • 사전학습 코퍼스의 정답 분포. 사람이 만든 시험 문제(교과서, 기출문제)에서 정답 위치가 완전히 균등하지 않을 수 있고, 이 분포가 사전학습 코퍼스에 스며들어 있다는 추측이다. 다만 이 가설은 위 두 논문만큼 직접 검증되지는 않았다 — 후보 설명으로만 소개한다.

세 원인 모두 “모델이 무엇을 알고 있는가”와는 무관하다. 이 무관함이 이 글 전체를 관통하는 문제의식이다. 비유하자면 이는 객관식 시험에서 답을 모를 때 습관적으로 “3번”을 찍는 수험생과 닮았다 — 그 수험생이 실제로 몇 문제를 맞히는지는 시험 범위를 얼마나 공부했는지가 아니라, 출제자가 정답을 몇 번에 몇 번 배치했는지에 좌우된다. LLM의 선택 편향도 마찬가지다. 모델이 “A”를 습관적으로 찍는다면, 그 모델의 점수는 학습한 지식의 함수인 동시에 채점자가 정답을 어디에 놓았는지의 함수가 된다.

Method

Zheng et al. (2024) — 선택 편향과 PriDe

Large Language Models Are Not Robust Multiple Choice Selectors (Zheng et al., ICLR 2024 Spotlight)

이 논문은 선택 편향을 “모델이 선택지의 내용과 무관하게 특정 옵션 ID를 답으로 선호하는 행동적 편향”으로 정의한다. 이를 정량화하기 위해 RStd(Recall Standard Deviation)를 제안한다.

\[\text{RStd} = \sqrt{\frac{1}{n}\sum_{i=1}^n \left(\text{Recall}_i - \overline{\text{Recall}}\right)^2}\]
  • \(n\): 선택지 개수(MMLU라면 4)
  • \(\text{Recall}_i\): 정답이 실제로 옵션 ID \(i\) 자리에 있는 문항들만 모았을 때, 모델이 그중 몇 퍼센트를 맞히는가
  • 모델이 편향 없이 내용만 보고 답한다면 네 개의 \(\text{Recall}_i\)가 서로 비슷해 RStd가 0에 가까워야 한다. 특정 ID를 선호하면 그 ID의 recall만 튀어 RStd가 커진다.

원인 분석을 위해 저자들은 두 가설을 갈라 검증한다. 옵션 ID를 무작위로 섞어도 RStd가 거의 줄지 않는다면 편향은 “위치”가 아니라 “토큰 자체”에서 온다는 뜻이고, 실제로 그렇게 나타났다 — 모델이 질문·내용과 무관하게 “A”, “B” 같은 ID 토큰에 사전 확률 질량을 다르게 배분하는 토큰 편향이 주된 원인으로 확인되었다. 20개 LLM(LLaMA 계열, LLaMA-2, Vicuna, Falcon, gpt-3.5-turbo 등)을 MMLU·ARC·CommonsenseQA 세 벤치마크에서 실험한 결과다.

이 편향의 크기를 실감나게 보여주는 것이 “answer-moving attack”이다. 0-shot MMLU에서 정답을 항상 특정 위치로 고정시켰을 때:

조작 gpt-3.5-turbo llama-30b
원래 정확도 67.2% 53.1%
정답을 항상 D로 고정 60.9% (-6.3%p) —
정답을 항상 A로 고정 65.3% 68.2% (+15.2%p)

정답을 항상 A에 두면 llama-30b가 68.2%로 뛰어올라, 원래는 53.1% 대 67.2%로 크게 뒤지던 gpt-3.5-turbo(이 조건에서는 65.3%)를 역전한다. 두 모델 중 어느 쪽이 “더 똑똑한가”라는 질문의 답이, 정답을 어디에 놓느냐로 뒤집힌다는 뜻이다.

탈편향 기법으로 제안하는 것이 PriDe(Prior Debiasing)다.

  1. 사전(prior) 추정: 전체 테스트 샘플 중 일부(예: 5%)에 대해서만 선택지 내용을 순열화해 반복 평가하고, 각 옵션 ID가 내용과 무관하게 얼마나 선호되는지(“prior”)를 추정한다.
  2. 전역 사전 확정: 이 소규모 샘플에서 얻은 prior들을 평균 내 전체에 적용할 하나의 prior로 확정한다.
  3. 편향 제거 예측: 나머지 샘플에서는 관측된 확률을 이 prior로 나누어(로그공간에서는 빼서) 편향이 제거된 예측을 얻는다.

핵심은 완전 순열(모든 배치 \(n!\)가지)이나 순환 배치(원형으로 \(n\)가지 회전, 아래 Experiments 참고)를 전체 샘플에 반복하지 않고, 극히 일부 샘플에서만 값싸게 편향을 추정해 나머지에 전이시킨다는 점이다. 순환 배치를 테스트셋 전체에 적용하면 추론 비용이 \(\times n\)(4지선다면 \(\times 4\))으로 불어나지만, PriDe는 사전 추정에 쓰는 샘플 비율 \(K\)가 전체 대비 충분히 작을 때(\(K \ll \lvert \mathcal{D} \rvert\)) 그 추가 비용이 전체 추론 비용에 비해 무시할 만한 수준으로 줄어든다고 논문은 밝힌다 — 저비용 구간에서는 추론 비용이 원래의 약 \(\times 1.15\) 수준까지만 늘어나면서도, 완전 순환 배치에 준하는 디바이싱 효과를 낸다고 보고한다.

Pezeshkpour & Hruschka (2024) — 순서 재배치가 만드는 성능 격차

Large Language Models Sensitivity to The Order of Options in Multiple-Choice Questions (Pezeshkpour & Hruschka, Megagon Labs, Findings of NAACL 2024)

이 논문은 GPT-4와 InstructGPT(text-davinci-003)를 CommonsenseQA, BIG-Bench의 Logical Deduction, MMLU 일부 과목(추상대수학·고교화학·전문직 법학 등)에서 테스트하며 선택지 순서만 재배치한다. 소수샷(few-shot) 데모를 준 상태에서도 편향이 사라지지 않는다는 것이 핵심 발견 중 하나다.

“reordering answer options… demonstrate a considerable performance gap of approximately 13% to 75%”

즉 어떤 태스크·모델 조합에서는 순서를 바꾸는 것만으로 정확도가 최소 13%p에서 최대 75%p까지 벌어진다. 저자들은 이 편향이 아무 때나 나타나는 것이 아니라 모델이 상위 2~3개 후보 사이에서 확신이 없을 때 두드러진다고 설명한다. 정답이 명백한 문항에서는 순서가 결과에 거의 영향을 주지 않지만, 모델이 내부적으로 “이거 아니면 저거”로 팽팽하게 갈리는 문항에서는 위치가 타이브레이커 역할을 한다는 것이다.

이 설명을 뒷받침하는 실험도 있다. 상위 두 후보를 첫 번째와 마지막 자리에 떨어뜨려 놓으면 편향이 증폭되고, 반대로 서로 인접하게 배치하면 편향이 완화된다. 이는 편향이 순전히 “토큰 ID 선호”만이 아니라 상대적 위치(양 극단 vs 인접)에도 반응한다는 뜻으로, Zheng et al.의 토큰 편향 설명을 보완한다. 완화책으로 제안한 보정(calibration) 기법은 모델·벤치마크에 따라 최대 8%p의 개선을 냈다.

Sclar et al. (2024) — FormatSpread: 포맷 하나로는 부족하다

Quantifying Language Models’ Sensitivity to Spurious Features in Prompt Design, or: How I learned to start worrying about prompt formatting (Sclar et al., University of Washington, ICLR 2024)

앞의 두 논문이 “선택지 순서”라는 한 종류의 변형에 집중했다면, 이 논문은 의미를 전혀 바꾸지 않는 온갖 포맷 선택으로 범위를 넓힌다. 구분자(: vs :: vs 공백), 대소문자(Passage vs PASSAGE), 줄바꿈과 공백 배치, 선택지 레이블 스타일((A) vs 1. vs [A]) 같은 것들이다. 사람이 보기에는 “같은 질문을 다르게 타이핑한 것”에 불과하다.

핵심 수치는 초록에 명시되어 있다.

“performance differences of up to 76 accuracy points when evaluated using LLaMA-2-13B”

즉 LLaMA-2-13B에서는 포맷만 바꿔도 정확도가 최대 76%p 벌어진다. 본문에서 보고하는 좀 더 정밀한 분포는 이렇다(few-shot, 53개 태스크 기준).

모델 중앙값 spread 평균 75퍼센타일 이상 최댓값
LLaMA-2-70B (4-bit 양자화) 17.1%p 22.1%p 29.2%p 이상 87.6%p
GPT-3.5 6.4%p 11.0%p 14.8%p 이상 56.2%p

여기서 “spread”는 같은 태스크에 대해 의미상 동등한 여러 포맷을 시도했을 때 나오는 최고 성능과 최저 성능의 차이다. 모델을 키우거나(70B), few-shot 예제 수를 늘리거나, 지시 튜닝을 해도 이 민감도는 사라지지 않는다고 저자들은 강조한다.

더 심각한 발견은 따로 있다. 포맷별 성능이 모델 간에 약하게만 상관된다. 어떤 포맷이 모델 A에서 잘 통했다고 해서 모델 B에서도 잘 통한다는 보장이 없다는 뜻이다. 이는 방법론적으로 치명적인 함의를 갖는다 — 고정된 하나의 포맷으로 여러 모델을 비교하는 것 자체가 타당하지 않을 수 있다. 어떤 포맷을 골랐느냐에 따라 “어느 모델이 더 낫다”는 결론이 바뀔 수 있기 때문이다.

이를 실무적으로 다루기 위해 제안하는 것이 FormatSpread 알고리즘이다. 가능한 포맷 전체를 모두 평가하는 것은 비용이 크므로, 각 포맷의 성능을 베타 분포로 모델링하고 Thompson sampling·UCB 같은 밴딧(bandit) 알고리즘으로 유망한 포맷에 평가 예산을 집중시켜, 모델 가중치에 접근하지 않고도 “이 태스크에서 이 모델의 성능은 대략 이 구간 안에 있다”는 신뢰 구간을 빠르게 추정한다. 결론은 명확하다 — 단일 포맷 성능 대신 포맷에 걸친 성능 범위(range)를 보고하라.

Alzahrani et al. (2024) — 리더보드가 흔들린다

When Benchmarks are Targets: Revealing the Sensitivity of Large Language Model Leaderboards (Alzahrani et al., SDAIA, ACL 2024)

앞의 세 논문이 “정확도가 얼마나 변하는가”를 봤다면, 이 논문은 그 변화가 실제로 리더보드 순위를 뒤집는가를 정면으로 묻는다. 실험 대상은 Open LLM Leaderboard가 쓰던 MMLU와 ARC-Challenge다. 정답 선택지 순서를 바꾸거나 답 선택 방식(원문 그대로 A/B/C/D 기호로 채점할지, 클로즈 방식으로 채점할지 등)을 바꾸는 식의, 벤치마크 정의상 “사소한” 변경만 가한다.

“minor perturbations to the benchmark, such as changing the order of choices or the method of answer selection, result in changes in rankings up to 8 positions”

선택지 순서나 답 채점 방식을 바꾸는 것만으로 리더보드 순위가 최대 8계단 이동한다. 벤치마크 자체는 하나도 바뀌지 않았다 — 채점 절차의 세부사항만 바뀌었을 뿐인데, “어느 모델이 더 우수한가”의 답이 여러 자리 밀린다. 저자들은 이 문제를 완화하려면 순수 기호 채점(symbol scoring) 대신 하이브리드 채점(hybrid scoring)을 쓰라고 권고한다. 하이브리드 채점은 옵션 ID가 아니라 선택지의 실제 내용에 대한 로그확률을 길이로 정규화해 비교하는 방식으로, 위 Background에서 다룬 정규화 논의와 정확히 같은 지점을 겨냥한다.

이 논문의 의의는 앞 세 편이 보여준 “점수가 흔들린다”는 사실을 “그래서 순위표라는 최종 산출물이 흔들린다”는 실무적 결론으로 잇는다는 데 있다. 연구자에게는 학술적 흥미거리일 수 있는 현상이, 모델 하나를 골라 배포해야 하는 실무자에게는 “어제는 우리 모델이 1등이었는데 오늘은 아니다”라는 구체적 사고로 나타난다.

Mizrahi et al. (2024) — 다중 프롬프트 평가를 요구하다

State of What Art? A Call for Multi-Prompt LLM Evaluation (Mizrahi et al., Hebrew University of Jerusalem, TACL 2024)

앞의 네 논문이 각자 다른 각도(선택지 위치, 순서, 포맷, 리더보드)에서 문제를 진단했다면, 이 논문은 처방을 일반화한다. 저자들은 6.5M개 평가 인스턴스, 20개 LLM, 3개 벤치마크의 39개 태스크에 걸쳐 지시문(instruction) 패러프레이즈를 대량으로 생성해 실험한다.

“different instruction templates lead to very different performance, both absolute and relative”

지시문 템플릿을 바꾸면 절대 성능뿐 아니라 상대 성능(모델 간 순위)도 함께 달라진다 — 이는 Alzahrani et al.이 선택지 순서·채점 방식에서 확인한 것과 같은 현상이 지시문 문구 자체에서도 재현된다는 뜻이다. 저자들의 제안은 단일 점수 대신, 용도에 맞춘 다중 지시문 지표 세트를 함께 보고하는 것이다. 예를 들어 “이 LLM 자체를 평가한다”는 목적이면 여러 패러프레이즈에 걸친 최선/평균/분산을 함께 보는 것이 맞고, “이 LLM으로 만든 다운스트림 제품을 평가한다”는 목적이면 실제 배포 시 쓸 단일 지시문에 더 무게를 두는 것이 맞다는 식으로, 평가 목적에 따라 다른 요약 통계를 쓰라는 것이 이 논문의 결론이다.

Experiments

순환 배치 평가란 무엇인가

지금까지의 논문들이 공통으로 쓰는 진단 도구가 순환 배치(circular permutation) 평가다. \(n\)지선다 문항에서 선택지 내용을 그대로 두고 배치만 원형으로 돌린다. 4지선다라면:

  • 회전 0: (내용1, 내용2, 내용3, 내용4) → (A, B, C, D)
  • 회전 1: (내용4, 내용1, 내용2, 내용3) → (A, B, C, D)
  • 회전 2: (내용3, 내용4, 내용1, 내용2) → (A, B, C, D)
  • 회전 3: (내용2, 내용3, 내용4, 내용1) → (A, B, C, D)

완전 순열은 \(n!\)가지(4지선다면 24가지)를 다 시도해야 하지만, 순환 배치는 \(n\)가지 회전만 시도하면 되므로 계산 비용이 \(\times n!\)에서 \(\times n\)으로 줄어든다. Zheng et al.이 실무적 절충안으로 채택한 것이 이 방식이다.

이 절차로 얻을 수 있는 지표는 두 가지다. 문항 집합을 \(j = 1, \ldots, N\), 문항 \(j\)의 회전 \(r = 1, \ldots, n\)에서 모델이 고른 선택지의 내용(위치 기호가 아니라 실제 텍스트)을 \(c_{j,r}\), 정답 내용을 \(c_j^\star\)라 하자.

\[\text{순환 정확도} = \frac{1}{N}\sum_{j=1}^N \prod_{r=1}^n \mathbb{1}\left[c_{j,r} = c_j^\star\right] \qquad\qquad \text{일관성} = \frac{1}{N}\sum_{j=1}^N \mathbb{1}\left[c_{j,1} = c_{j,2} = \cdots = c_{j,n}\right]\]
  • 순환 정확도(circular accuracy): 한 문항이 “맞았다”고 인정받으려면 \(n\)번의 회전 전부에서 정답을 골라야 한다(곱 \(\prod_r\)이 그 “전부”를 나타낸다). 하나라도 틀리면 그 문항은 오답 처리된다. 비전-언어 벤치마크 MMBench(Liu et al., ECCV 2024)가 CircularEval이라는 이름으로 이 방식을 공식 채점 절차로 채택했다 — 이 시리즈가 다루는 문제의식이 실제 벤치마크 설계에 이미 반영된 사례다.
  • 일관성(consistency): \(n\)번의 회전 모두에서 같은 내용을 답으로 골랐는가의 비율. 맞았는지 여부와 무관하다 — 정답이든 오답이든, 위치가 바뀌어도 매번 같은 내용을 짚었다면 일관성이 있는 것이다.

두 지표는 서로 다른 것을 잰다. 일관성은 정답 여부와 무관하므로, 일관성이 높으면서 정확도가 낮은 모델(항상 같은 틀린 답을 고르는 모델)과 일관성이 낮으면서 어쩌다 정확도가 맞아떨어지는 모델(위치를 고르는 모델)을 구분해준다. 순환 정확도는 항상 일관성보다 낮거나 같다 — 모든 회전에서 정답을 맞히려면(순환 정확도) 최소한 매번 같은 내용을 골라야 하기(일관성) 때문이다. 역은 성립하지 않는다. 매번 같은 오답을 고집하는 모델은 일관성은 100%지만 순환 정확도는 0%다.

토이 예제: “정답을 아는가”와 “위치를 고르는가”

문항 하나로 이 구분을 직접 확인해보자. 질문은 “다음 중 소수(素數)가 아닌 것은?”이고, 정답 내용은 “9”다. 네 번의 순환 배치에서 두 가상 모델의 선택을 비교한다.

회전 A B C D 모델 X(위치 고정형) 모델 Y(내용 파악형)
0 7 9 11 13 A(=7, 오답) B(=9, 정답)
1 13 7 9 11 A(=13, 오답) C(=9, 정답)
2 11 13 7 9 A(=11, 오답) D(=9, 정답)
3 9 11 13 7 A(=9, 정답) A(=9, 정답)

굵게 표시한 칸이 매 회전 정답의 실제 위치다. 모델 X는 내용과 무관하게 항상 “A”를 고른다. 모델 Y는 내용을 실제로 파악해 항상 “9”를 고른다.

  • 정확도: 모델 X는 회전 3에서만 우연히 맞아 4문항 중 1문항, 즉 25% — 4지선다 무작위 추측과 같은 수치다. 모델 Y는 4문항 모두 정답, 100%.
  • 일관성: 모델 X가 고른 내용은 7, 13, 11, 9로 매번 다르다 — 일관성 0%. 모델 Y는 매번 “9”를 골랐으므로 일관성 100%.

여기서 중요한 것은, 단 한 번의 회전(예: 회전 0)만 보면 두 모델을 구분할 수 없다는 점이다. 회전 0에서 모델 X는 오답, 모델 Y는 정답을 냈지만, 회전을 하나만 바꿔 회전 3으로 채점했다면 둘 다 정답으로 보였을 것이다. 단일 프롬프트·단일 배치로 잰 점수는 이런 우연을 걸러내지 못한다. 네 번의 회전을 다 보고 나서야 “모델 X는 위치를 고르고, 모델 Y는 내용을 안다”는 사실이 드러난다.

토이 예제 확장: 문항 5개짜리 미니 벤치마크

문항 하나로는 “위치를 고른다”와 “안다”만 구분된다. 문항을 5개로 늘리면 세 번째 유형 — 일부는 알고 일부는 위치에 기댄다는, 현실 모델에 훨씬 가까운 유형 — 이 드러난다. 문항 5개 각각에 4번씩 순환 배치를 돌려(\(5 \times 4 = 20\)번 평가), 모델 X(위치 고정형), 모델 Y(내용 파악형)에 더해 모델 Z(문항 1~3은 실제로 알고, 문항 4~5는 항상 “A”를 고르는 혼합형)를 비교한다.

문항 모델 X 순환 정확도 모델 X 일관성 모델 Y 순환 정확도 모델 Y 일관성 모델 Z 순환 정확도 모델 Z 일관성
1 오답(4회 중 4회) 없음 정답(4회 중 4회) 있음 정답(4회 중 4회) 있음
2 오답(4회 중 4회) 없음 정답(4회 중 4회) 있음 정답(4회 중 4회) 있음
3 오답(4회 중 4회) 없음 정답(4회 중 4회) 있음 정답(4회 중 4회) 있음
4 오답(4회 중 4회) 없음 정답(4회 중 4회) 있음 오답(4회 중 4회) 없음
5 오답(4회 중 4회) 없음 정답(4회 중 4회) 있음 오답(4회 중 4회) 없음

(모델 X는 위 단일 문항 예시와 같은 구조로 5문항 모두에서 “매 회전 다른 내용”을 골라 순환 정확도상 5문항 전부 오답 처리된다 — 앞서 본 25% 단일 회전 우연 정답은 문항마다 회전 위상이 다르면 상쇄되어 사라진다.)

지표 모델 X 모델 Y 모델 Z
순환 정확도(5문항 평균) 0% 100% 60%
일관성(5문항 평균) 0% 100% 100%

여기서 모델 Z가 핵심이다. 일관성은 100%다 — 5문항 모두에서 회전이 바뀌어도 매번 같은 내용을 골랐으니까. 하지만 순환 정확도는 60%에 그친다 — 문항 4, 5에서는 일관되게 틀린 내용을 골랐기 때문이다. 만약 회전을 하나만(예: 회전 0) 골라 단발성으로 평가했다면, 운이 좋으면 문항 4, 5에서도 우연히 맞아 정확도가 부풀려질 수 있었다. 다섯 문항을 순환 배치로 20번 평가하고 나서야 “이 모델은 진짜로 아는 문항과 항상 같은 방식으로 틀리는 문항이 나뉘어 있다”는, 단일 평가로는 결코 볼 수 없는 그림이 드러난다.

네 논문의 변동 폭을 한 표로

지금까지 다룬 개입과 그 효과 크기를 한자리에 모으면 이렇다.

논문 개입 종류 성능 변동 순위 변동
Zheng et al. (2024) 정답을 특정 위치로 강제 고정(0-shot MMLU) gpt-3.5-turbo -6.3%p, llama-30b +15.2%p llama-30b가 gpt-3.5-turbo를 역전
Pezeshkpour & Hruschka (2024) 선택지 순서 재배치 태스크·모델에 따라 13%p~75%p 격차 (모델 간 순위보다 동일 모델 내 변동에 집중; 보정으로 최대 8%p 회복)
Sclar et al. (2024) 의미 보존 포맷 변형(구분자·레이블 스타일 등) LLaMA-2-13B 최대 76%p; LLaMA-2-70B 중앙값 17.1%p·최대 87.6%p; GPT-3.5 중앙값 6.4%p·최대 56.2%p 포맷 성능이 모델 간 약하게만 상관 — 고정 포맷 비교의 타당성 자체가 흔들림
Alzahrani et al. (2024) 선택지 순서·답 채점 방식 변경(MMLU, ARC-C) (모델별 세부 수치는 벤치마크·모델 조합에 따라 다름) 최대 8계단 순위 이동

네 줄을 관통하는 하나의 사실이 있다. 어떤 논문도 모델의 가중치를 건드리지 않았다. 파인튜닝도, 추가 학습도 없다. 오직 문항을 표현하는 방식만 바꿨을 뿐인데 점수와 순위가 이만큼 움직인다.

구성개념 무관 분산의 네 원천

이 글에서 다룬 것을 Background의 채점 방식 논의까지 포함해 다시 정리하면, 객관식 점수에 섞여 들어오는 구성개념 무관 분산은 최소 네 갈래에서 온다.

분산의 원천 구체적 개입 이 글에서 확인한 전형적 변동폭 처방
채점 방식 로그확률 비교 vs 생성+파싱, 정규화 방식(raw/길이/PMI) (정량 비교는 #20에서) 정규화 방식을 명시하고 하이브리드 채점 사용
선택지 순서 순열·순환 배치 13%p~76%p (Pezeshkpour & Hruschka, Sclar et al.) 순환 배치 평가 + 일관성 지표 병기
옵션 ID/위치 정답을 특정 위치로 고정 최대 +15.2%p / -6.3%p, 모델 순위 역전 (Zheng et al.) PriDe 같은 라벨 없는 디바이싱
프롬프트·지시문 포맷 구분자·대소문자·레이블 스타일·지시문 문구 중앙값 6~17%p, 최대 56~88%p (Sclar et al., Mizrahi et al.) 다중 포맷 범위 보고(FormatSpread), 목적별 요약 통계(Mizrahi et al.)

네 원천은 서로 독립이 아니다 — 예를 들어 옵션 ID 위치를 바꾸는 것과 답 채점 방식을 바꾸는 것을 동시에 적용하면(Alzahrani et al.의 실험처럼) 개별 효과가 단순히 더해지지 않고 상호작용한다. 이 표가 말하려는 것은 “어느 원천이 가장 크다”가 아니라, 하나의 벤치마크 점수 안에 이만큼 서로 다른 종류의 무관 분산이 동시에 섞여 들어올 수 있다는 사실 그 자체다.

Conclusion

이 현상을 “모델이 아직 부족해서 생기는 결함”으로만 읽으면 절반만 본 것이다. 이것은 평가 설계의 결함이기도 하다. 하나의 순서, 하나의 포맷으로 잰 점수는 그 특정 조건에서의 점수일 뿐, 모델이 가진 지식이나 추론 능력에 대한 조건-불변(condition-invariant) 추정치가 아니다. 리더보드에 박힌 숫자 하나를 “이 모델의 실력”이라고 부르는 순간, 우리는 조작적 정의를 잊고 측정값 자체를 구성개념과 혼동하는 셈이다.

처방은 이 글에 나온 논문들이 이미 제시했다.

  • 순환 평가: 완전 순열이 비싸다면 순환 배치만이라도 돌려 정확도와 일관성을 함께 보고한다. PriDe처럼 소량 샘플로 편향을 추정해 나머지에 전이시키는 절충도 있다.
  • 다중 프롬프트 평균과 분산 보고: 단일 포맷·단일 지시문 점수 대신 여러 조건에 걸친 범위(FormatSpread)나 요약 통계 세트(Mizrahi et al.)를 함께 보고한다.
  • 포맷을 고정했다면 그 사실을 명시: 단일 조건 평가가 불가피할 때도 있다. 그렇다면 최소한 “이 숫자는 이 특정 포맷·순서에서 나온 것”이라고 밝혀, 독자가 그 한계를 알고 읽게 한다.

그리고 여기서 이 시리즈의 다음 다리를 놓는다. 프롬프트를 하나 고정하는 것은, 가능한 프롬프트(순서·포맷·지시문 문구)의 분포에서 표본 크기 1을 뽑는 것과 다르지 않다. 표본이 하나면 그 표본이 우연히 모집단 평균보다 높게 나올 수도, 낮게 나올 수도 있다 — 이것이 정확히 이 글에서 본 76%p, 87.6%p짜리 spread의 정체다. 표본에서 얻은 값에는 표본오차가 따르고, 표본오차가 있다면 점수는 점추정치가 아니라 구간으로 보고되어야 한다. “이 모델의 MMLU 점수는 71.2%다”라는 문장은 완결된 사실이 아니라, 어떤 조건 분포 위에서의 한 점일 뿐이다. 그 점에 오차 막대를 그리는 방법이 #15의 신뢰구간이고, LLM 평가 실무에 그 오차 막대를 실제로 붙이는 절차가 #18이다.

참고 문헌

LLM 평가 체계 시리즈

이 글은 LLM 평가 체계 시리즈의 여섯 번째 글이다.

1부. 평가란 무엇인가

  1. 측정으로서의 평가 — 구성개념·조작화·타당도·신뢰도
  2. 벤치마크는 무엇을 재고 있나 — 벤치 445편 구성타당도 리뷰

2부. 무엇을 숫자로 만드나 — 평가 metric

  1. 척도와 허용 연산 — Likert 평균을 내도 되는가
  2. 분류 지표 — accuracy의 함정부터 PR-AUC까지
  3. 생성 지표와 그 타당도 — BLEU에서 COMET까지
  4. (현재 글) 객관식 평가는 왜 흔들리나 — 위치 편향과 포맷 민감도

3부. LLM 벤치마크 지형도

  1. 지식과 추론 — MMLU 계열의 흥망 — MMLU·GPQA·BBH·HELM
  2. 검증 가능한 도메인 — 수학과 코드 — GSM8K·MATH·HumanEval·SWE-bench
  3. 개방형 대화 — MT-Bench에서 Arena까지 — judge 기반 벤치의 등장
  4. 능력의 다른 축 — 지시따르기·긴 문맥·사실성
  5. 한국어 벤치마크 — 번역이 아니라 원산, 그리고 문화 타당도

4부. 사람이 읽는다 — 정성평가와 일치도

  1. 사람 평가 설계 — 루브릭·Likert·pairwise·BWS
  2. 우연을 빼다 — κ 계열 — Cohen·Fleiss·weighted·Krippendorff
  3. κ의 역설 — 일치율 90%인데 κ가 0.21

5부. 차이는 진짜인가 — 정량평가의 통계

  1. 점수는 추정치다 — 이항비율 신뢰구간과 Wald의 실패
  2. 차이는 유의한가 — paired bootstrap·순열검정·McNemar
  3. 몇 개를 재야 하나 — 검정력·표본크기·다중비교
  4. LLM eval의 통계 실무 — 클러스터 SE·IQM·분산 분해

6부. 신뢰할 수 있는 평가 체계

  1. judge를 통계로 다루기 — 편향·Bradley-Terry·PPI
  2. 오염·재현성·효율 — 오염 검정·harness·IRT
  3. 안전 평가의 통계와 체계 설계 — 희귀사건·calibration·체크리스트

본 시리즈는 21편으로 구성된다.



Enjoy Reading This Article?

Here are some more articles you might like to read next:

  • 안전 평가의 통계와 체계 설계 — 희귀사건과 calibration, 스물한 편의 마지막 체크리스트
  • 오염·재현성·효율 — 이 점수는 무엇을 재고 있나
  • judge를 통계로 다루기 — 편향, Bradley-Terry, PPI
  • LLM eval의 통계 실무 — 클러스터 SE, 분산 분해, IQM
  • 몇 개를 재야 하나 — 검정력, 표본크기, 다중비교