-
지식과 추론 — MMLU 계열의 흥망
LLM 평가 체계 시리즈 #10 — MMLU가 사실상의 표준이 된 이유, 깨진 지점, 그리고 MMLU-Redux·MMLU-Pro·GPQA·BBH가 각각 고친 것
-
객관식 평가는 왜 흔들리나 — 위치 편향과 포맷 민감도
LLM 평가 체계 시리즈 #9 — 선택지 순서와 프롬프트 포맷만 바꿔도 정확도와 순위가 흔들리는 이유
-
생성 지표와 그 타당도 — BLEU에서 COMET까지
LLM 평가 체계 시리즈 #8 — n-gram 겹침 지표부터 학습된 지표까지, 그리고 그 타당도가 어디서 깨지는가
-
분류 지표 — accuracy의 함정부터 PR-AUC까지
LLM 평가 체계 시리즈 #7 — accuracy의 함정, macro/micro F1, ROC-AUC와 PR-AUC의 결정적 차이, 그리고 안전 분류기의 운영점 지표
-
척도와 허용 연산: Likert 평균을 내도 되는가
LLM 평가 체계 시리즈 #6 — Likert 점수는 순서척도인데, 우리는 그걸 평균 내고 t-검정을 돌린다. 언제 괜찮고 언제 위험한가