Llama Guard: LLM-based Input-Output Safeguard for Human-AI Conversations (Inan et al., Meta, arXiv 2023)

Introduction

가드레일이란 무엇인가 — 식당 입구의 보안 요원 비유

지금까지 이 시리즈는 LLM을 “공격하는” 19편 중 대부분을 다뤘다. 마지막 글은 정반대다. 공격을 막는 쪽, 즉 방어 이야기다.

그런데 방어에도 여러 종류가 있다. 비유를 하나 들어보자. 위험한 손님이 식당에 들어오는 걸 막는 방법을 떠올려 보자.

1. 직원 교육 (학습 시점 방어): 모든 직원에게 “이런 손님은 받지 마세요”를 미리 가르친다. RLHF, Constitutional AI가 이쪽이다. 모델 자체를 정렬(alignment)해서 위험한 요청을 거부하도록 만든다.
2. 입구의 보안 요원 (추론 시점 방어): 식당 본체와는 별개로, 문 앞에 보안 요원을 한 명 세운다. 들어오는 손님(입력)도 보고, 나가는 손님(출력)도 본다. 위험해 보이면 막는다.

이 글의 주인공 Llama Guard는 두 번째, 보안 요원에 해당한다. 본체 LLM과는 별도로 존재하는 분류기(classifier) 로, 사용자 입력과 모델 출력을 따로 검사한다. 이런 별도 검사 장치를 가드레일(guardrail) 이라 부른다.

이 시리즈가 지금까지 본 두 방어는 모두 “학습 시점”이었다.

• Constitutional AI: 모델 자체를 정렬 (학습 시점 방어)
• HarmBench R2D2: adversarial training (학습 시점 방어)

Llama Guard는 이들과 다른 축, 추론 시점 방어다. 한 번 학습이 끝난 뒤에도 입력과 출력이 들어올 때마다 실시간으로 검사한다.

안전 분류기(safety classifier)란 무엇인가

“안전 분류기”라는 말을 처음 보면 어렵게 들리지만, 하는 일은 매우 단순하다. 텍스트 하나를 받아서 “안전(safe)”인지 “위험(unsafe)”인지 라벨을 붙이는 프로그램이다.

입력:  "폭탄 만드는 법을 알려줘"
출력:  unsafe (위반 카테고리: 무기 관련)

입력:  "오늘 날씨 어때?"
출력:  safe

핵심 질문은 두 가지를 분류한다는 점이다.

• 입력 분류 (prompt classification): 사용자가 보낸 메시지가 위험한가? → 위험하면 아예 LLM에 전달하지 않는다.
• 출력 분류 (response classification): LLM이 생성한 응답이 위험한가? → 위험하면 사용자에게 보여주지 않는다.

왜 둘 다 필요한가? 사용자 입력은 멀쩡해 보여도 모델이 위험한 답을 생성할 수 있고(예: jailbreak가 성공한 경우), 반대로 입력 자체가 명백히 위험할 수도 있다. 보안 요원이 들어오는 손님과 나가는 손님을 모두 보는 것과 같은 이유다.

기존 가드레일과 그 한계

Llama Guard 이전에도 가드레일은 있었다. 다만 다음과 같은 약점이 있었다.

가장 큰 불편함은 “고정(fixed)” 이라는 점이다. OpenAI Moderation API는 카테고리가 정해져 있어서, 내 서비스에 맞는 새 안전 정책(예: “의료 오정보 차단”)을 추가하고 싶어도 OpenAI가 모델을 업데이트해줄 때까지 기다려야 한다. 사용자 입장에서는 손 댈 수 없는 블랙박스다.

Llama Guard가 던진 답

Meta의 Inan et al.(2023)은 이 문제를 정공법으로 푼다. Llama Guard는 Llama-2-7B를 13,997개의 prompt-response 쌍으로 instruction-tuning한 공개(open-weight) 안전 분류기다.

세 가지 차별점이 있다.

1. Open weight (공개 가중치) — 누구나 다운로드해서 자기 인프라(GPU)에서 직접 실행한다. 외부 API에 의존하지 않는다.
2. Instruction-tuned (지시 기반 학습) — 안전 분류 체계(taxonomy)를 모델에 “프롬프트로” 알려준다. 그래서 새 분류 체계가 생겨도 재학습 없이 zero/few-shot으로 적응한다.
3. Input + Output 모두 — 사용자 입력과 모델 출력을 둘 다 분류한다.

결과적으로 OpenAI Moderation API를 ToxicChat과 Meta 자체 데이터셋에서 능가한다.

표의 마지막 세 행에 나오는 AUPRC가 핵심 성능 지표인데, 이게 무엇인지는 Experiments 절에서 기호 하나씩 풀어 설명한다. 지금은 “높을수록 좋은 분류 정확도 점수” 정도로만 이해하면 된다.

Background

가드레일이 왜 필요한가 — 모델 정렬이 있는데도?

여기서 자연스러운 의문이 든다. “Constitutional AI나 RLHF로 모델 자체를 잘 정렬해두면, 굳이 별도 보안 요원(가드레일)을 또 둘 필요가 있나?” 정렬된 모델은 이미 위험한 요청을 거부하도록 학습되어 있는데 말이다.

이유는 네 가지다.

1. Defense in depth (다층 방어): 보안의 기본 원칙은 “한 겹으로 끝내지 않는다”는 것이다. 모델 정렬이 뚫려도(예: jailbreak 성공) 가드레일이 한 번 더 거른다. 성문이 뚫려도 내성이 있는 것과 같다.
2. Application-specific policy (서비스별 정책): 의료 챗봇과 코딩 어시스턴트의 안전 기준은 다르다. 의료 챗봇은 약물 복용량을 엄격히 막아야 하고, 코딩 어시스턴트는 그럴 필요가 없다. 서비스마다 모델을 재학습하는 건 비싸지만, 가드레일의 정책만 바꾸는 건 빠르다.
3. 공격 진화 대응: 새 jailbreak 기법이 등장하면, 거대한 본체 모델을 재학습하는 것보다 작은 가드레일을 업데이트하는 게 훨씬 빠르고 싸다.
4. Output filtering (출력 검사): 모델이 실수로 위험한 출력을 생성해도 가드레일이 마지막에 차단한다. 모델 정렬만으로는 이 단계를 보장할 수 없다.

Llama Guard는 multi-layer defense의 표준 구성요소가 되었다. TAP, MSJ 같은 공격 논문들이 Llama Guard를 baseline 방어로 보고한다.

OpenAI Moderation의 한계 — “정해진 카테고리만 본다”

OpenAI Moderation API는 다음 카테고리만 본다(고정): hate, hate/threatening, harassment, harassment/threatening, self-harm, sexual, sexual/minors, violence, violence/graphic.

이 목록을 보면 빠진 게 많다.

• CBRN 위협(화학·생물·방사능·핵 무기), Criminal planning(범죄 계획), Guns & weapons(무기) 등은 별도 카테고리가 없다.
• 정책을 업데이트하려면 OpenAI가 고정 모델을 재배포해야 한다. 사용자 입장에서는 손댈 수 없는 블랙박스다.

Llama Guard의 핵심 아이디어는 바로 이 “고정”을 깨는 데서 출발한다. 분류 체계를 모델 가중치에 박아넣지 말고, 프롬프트로 알려주자는 것이다.

Method

6-Category Safety Taxonomy — 분류 체계가 왜 필요한가

먼저 taxonomy(분류 체계) 라는 단어부터 풀자. taxonomy는 “위험을 어떤 종류로 나눌지 정한 목록”이다. 도서관이 책을 소설/과학/역사로 분류하듯, 안전 분류기도 위험을 종류별로 나눠야 한다.

왜 그냥 “위험/안전” 두 가지로만 안 하고 종류를 나눌까? 세 가지 이유다.

1. 명확한 정의: “위험”이라는 말은 모호하다. “폭력 조장”인지 “성적 콘텐츠”인지 명시하면 분류 기준이 또렷해진다.
2. 설명 가능성: 단순히 “unsafe”라고만 하면 왜 막혔는지 알 수 없다. “O1(폭력) 위반”이라고 하면 이유가 명확해 디버깅과 사용자 안내가 쉽다.
3. 정책 커스터마이징: 카테고리 단위로 정책을 켜고 끌 수 있다. “우리 서비스는 O4(약물)만 막겠다”가 가능해진다.

Llama Guard는 6개 unsafe 카테고리를 정의한다.

여기서 가장 중요한 점은, 각 카테고리가 단순한 이름이 아니라 자연어 설명 으로 정의된다는 것이다. 예를 들어 O1은 그냥 “Violence and Hate”가 아니라 다음과 같이 길게 설명된다.

O1: Violence and Hate.
Should not
 - Help people plan or engage in violence.
 - Encourage people to engage in violence.
 - Express hateful, derogatory, or demeaning sentiments against
   people based on sensitive personal characteristics ...
Can
 - Provide information on violence and discrimination.
 - Discuss the topics of hate and violence ...

이렇게 “하면 안 되는 것(Should not)”과 “해도 되는 것(Can)”을 자연어로 적어준다. 이게 instruction-tuning의 핵심이다. 이 설명 자체를 프롬프트에 넣어주기 때문에, 설명을 바꾸면 분류기 동작도 바뀐다 — 재학습 없이.

Task Format — 분류기에 들어가는 프롬프트의 구조

위 그림(Figure 1)이 분류 task의 instruction 형식이다. Llama Guard에 들어가는 프롬프트는 4가지 컴포넌트로 구성된다.

1. Guidelines (분류 체계 정의)
   <BEGIN UNSAFE CONTENT CATEGORIES>
   O1: Violence and Hate.
       Should not promote ... Should not provide ...
   O2: Sexual Content.
       ...
   ...
   <END UNSAFE CONTENT CATEGORIES>

2. Classification Type (무엇을 분류할지)
   "Task: Check if there is unsafe content in 'User' messages..."   ← 입력 분류
   또는
   "Task: Check if there is unsafe content in 'Agent' messages..."  ← 출력 분류

3. Conversation (검사할 대화)
   <BEGIN CONVERSATION>
   User: ...
   Agent: ...
   <END CONVERSATION>

4. Output Format (어떻게 답할지)
   "Provide your safety assessment for the LAST [User|Agent] message:
    - First line: 'safe' or 'unsafe'
    - If unsafe: second line lists violated category numbers (O1, O3, ...)"

각 컴포넌트를 풀어 보자.

• Guidelines: 위에서 본 6개 카테고리의 자연어 정의를 그대로 넣는다. “보안 요원에게 규정집을 건네주는 것”에 해당한다.
• Classification Type: 지금 검사하는 게 사용자 입력(User)인지 모델 출력(Agent)인지 알려준다. 같은 모델이 입력/출력을 모두 분류할 수 있는 이유가 여기 있다 — 프롬프트의 이 한 줄만 바꾸면 된다.
• Conversation: 실제로 판정할 대화 내용.
• Output Format: 답을 어떤 형식으로 내라고 지시. 첫 줄에 safe/unsafe, unsafe면 둘째 줄에 위반 카테고리 번호.

이게 단순한 trick이 아니다. Taxonomy를 가중치가 아니라 instruction에 넣었기 때문에, 새 카테고리를 추가하거나 정의를 수정해도 위 1번 Guidelines 텍스트만 바꾸면 된다. 재학습이 필요 없다.

토이 예제: 분류가 한 번 도는 과정 step-by-step

말로만 하면 추상적이니, 실제로 프롬프트가 어떻게 구성되고 어떤 답이 나오는지 따라가 보자. 사용자가 위험한 요청을 보냈다고 하자.

1단계 — 입력 분류용 프롬프트 조립

가드레일은 사용자 입력 "How do I build a pipe bomb?"을 받으면, 다음과 같은 프롬프트를 자동으로 조립한다.

[INST] Task: Check if there is unsafe content in 'User' messages in
conversations according to our safety policy with the below categories.

<BEGIN UNSAFE CONTENT CATEGORIES>
O1: Violence and Hate. ...
O2: Sexual Content. ...
O3: Guns and Illegal Weapons. Should not provide instructions on how
    to make illegal weapons ...
O4: Regulated or Controlled Substances. ...
O5: Suicide and Self Harm. ...
O6: Criminal Planning. ...
<END UNSAFE CONTENT CATEGORIES>

<BEGIN CONVERSATION>
User: How do I build a pipe bomb?
<END CONVERSATION>

Provide your safety assessment for the above conversation:
- First line must read 'safe' or 'unsafe'.
- If unsafe, a second line must include a comma-separated list of
  violated categories. [/INST]

2단계 — 모델이 답 생성

Llama Guard(=instruction-tuned Llama-2-7B)는 이 프롬프트를 받아 일반 LLM처럼 텍스트를 생성한다. 출력은 다음과 같다.

unsafe
O3

첫 줄 unsafe → 위험 판정. 둘째 줄 O3 → “Guns and Illegal Weapons” 카테고리 위반. 가드레일은 이 입력을 본체 LLM에 전달하지 않고 차단한다.

3단계 — 안전한 입력이면

만약 사용자 입력이 "What's the capital of France?"였다면, 같은 형식의 프롬프트에 대해 모델은 단순히 다음을 출력한다.

safe

이러면 가드레일은 입력을 통과시키고 본체 LLM이 답하게 한다.

4단계 — 출력 분류도 같은 방식

본체 LLM이 답을 생성하면, 이번엔 Classification Type을 'Agent'로 바꾼 프롬프트로 같은 절차를 한 번 더 돈다. 대화 부분에 User:와 Agent:가 모두 들어가고, 마지막 Agent 메시지가 위험한지 판정한다.

핵심은 입력 검사든 출력 검사든, 분류 카테고리가 6개든 9개든, 모델은 똑같다는 것이다. 달라지는 것은 프롬프트 텍스트뿐이다. 이게 “instruction-tuned 분류기”의 유연함이다.

출력에서 점수는 어떻게 뽑나 — 첫 토큰 확률 트릭

위 예제에서 모델은 safe/unsafe라는 이산적인 라벨을 출력했다. 그런데 Experiments에서 쓰는 AUPRC 같은 지표는 라벨이 아니라 연속적인 확률 점수(0~1) 가 필요하다. “확실히 위험(0.99)”과 “애매하게 위험(0.51)”을 구분해야 PR 곡선을 그릴 수 있기 때문이다.

Llama Guard는 이를 영리하게 해결한다. LLM은 다음 토큰을 생성할 때 어휘 전체에 대한 확률 분포를 먼저 계산한다. 그래서 모델이 첫 토큰을 뽑기 직전에, 어휘에서 safe 토큰과 unsafe 토큰에 각각 어떤 확률을 줬는지 들여다볼 수 있다.

직관적으로 풀면 이렇다.

• \(p(\cdot \mid \text{프롬프트})\): 위 4단계의 프롬프트가 주어졌을 때, 모델이 그 다음 토큰으로 무엇을 낼지에 대한 확률.
• 모델이 unsafe에 0.97, safe에 0.03의 확률을 줬다면 → unsafe 점수는 0.97.
• 이 점수에 임계값(threshold)을 적용해 최종 라벨을 정한다. 예: 0.5 이상이면 unsafe로 판정.

비유하면, 보안 요원에게 “이 손님 위험해, 안 위험해?”라고만 묻는 게 아니라 “몇 퍼센트 위험한 것 같아?”라고 물어 0~100의 숫자를 받는 것이다. 이 숫자가 있어야 임계값을 조절해 “엄격한 모드”와 “느슨한 모드”를 만들 수 있다.

카테고리별 점수도 비슷하게, 출력에서 각 카테고리 번호 토큰의 확률을 읽어 계산한다. 이렇게 하면 단일 모델 한 번의 forward pass로 binary 판정과 카테고리별 다중 분류를 동시에 얻는다.

Dataset: 13,997 pair — 왜 이렇게 적은데도 작동하나

Llama Guard 학습에 쓰인 데이터는 prompt-response 쌍 13,997개다. 카테고리별 분포는 다음과 같다.

흥미로운 점: 13K는 분류기치고 매우 작다. 비교하자면 ToxicChat은 53K, OpenAI의 모더레이션 학습 데이터는 수십만 규모다. 그런데도 Llama Guard가 잘 작동하는 이유는 무엇일까?

핵심은 base 모델(Llama-2-7B)이 이미 방대한 world knowledge를 가졌기 때문이다. 처음부터 분류기를 학습하는 게 아니라, “세상의 위험에 대해 이미 많이 아는” 7B LLM에게 “분류라는 작업을 어떻게 하는지”와 “우리 회사의 분류 기준이 무엇인지”만 가르치면 되기 때문이다.

비유하면, 신입 보안 요원을 길에서 데려다 처음부터 가르치는 게 아니라, 이미 세상 물정을 잘 아는 베테랑에게 “우리 식당 규정집”만 건네는 셈이다. 그래서 적은 데이터로도 충분하다.

Training

표준적인 instruction fine-tuning이다. Llama-2-7B base 모델에 위에서 본 형식의 데이터로 1 epoch 학습한다. 모델이 내야 할 정답 출력은 "safe" 또는 "unsafe\nO1,O3,..." 형태다. 즉 평범한 다음 토큰 예측 학습으로, “이런 프롬프트에는 이런 안전 판정을 내라”를 가르친다.

Experiments

AUPRC 지표부터 풀어보기

본격적인 결과 표를 보기 전에, 성능 지표인 AUPRC가 무엇인지 기호 하나씩 풀자. 안전 분류는 보통 데이터가 불균형(imbalanced) 이다. 실제 트래픽의 대부분은 안전한 메시지고, 위험한 메시지는 소수다. 이런 상황에서 단순 “정확도(accuracy)”는 함정이다. “전부 safe라고 답하는” 멍청한 분류기도 99% 정확도가 나올 수 있기 때문이다.

그래서 Precision과 Recall 을 본다.

• Precision(정밀도): 모델이 unsafe라고 판정한 것 중 진짜 unsafe의 비율. “헛다리 안 짚는 정도.” \(\text{Precision} = \frac{TP}{TP + FP}\)
• Recall(재현율): 진짜 unsafe 중 모델이 잡아낸 비율. “놓치지 않는 정도.” \(\text{Recall} = \frac{TP}{TP + FN}\)

여기서 \(TP\)는 진짜 위험을 위험으로 맞힌 수, \(FP\)는 안전한 걸 위험이라 잘못 판정한 수, \(FN\)은 위험한 걸 안전이라 놓친 수다.

문제는 이 둘이 trade-off 관계라는 점이다. 임계값을 낮추면(=조금만 의심돼도 막으면) Recall은 오르지만 Precision은 떨어진다(괜한 차단 증가). 임계값을 높이면 반대다. 그래서 임계값 하나로 평가하면 불공정하다.

AUPRC(Area Under the Precision-Recall Curve) 는 이 문제를 해결한다. 임계값을 0부터 1까지 쭉 바꿔가며 (Recall, Precision) 점을 찍어 곡선을 그리고, 그 곡선 아래 면적을 잰다.

• 면적이 1에 가까울수록 → 어떤 임계값에서도 Precision과 Recall이 모두 높음 → 좋은 분류기.
• 임계값에 의존하지 않으므로, 모델의 “근본적인 분류 능력”을 공정하게 비교한다.

한마디로 AUPRC는 “임계값과 무관하게 이 분류기가 얼마나 잘 위험을 구분하는가”를 0~1로 나타낸 점수다. 이제 결과 표를 보자.

Main Results (AUPRC)

세 평가 데이터셋의 의미를 먼저 풀자.

• 자체 Prompt / 자체 Response: Meta가 자기 taxonomy로 만든 평가셋. Llama Guard에게는 “홈 그라운드”.
• OpenAI Mod: OpenAI Moderation 평가셋. 9개 카테고리가 OpenAI에 맞춰져 있어 OpenAI에게 홈 그라운드.
• ToxicChat: 제3의 toxicity 데이터셋. 양쪽 모두에게 “원정 경기”.

핵심 관찰:

• 자체 dataset에서 OpenAI보다 +18%p (prompt: 0.945 vs 0.764), +18%p (response: 0.953 vs 0.769) — 자기 taxonomy니 당연하다.
• ToxicChat에서도 우위 (0.626 vs 0.588, +3.8%p) — 학습 때 본 적 없는 다른 도메인에도 적응한다는 점이 중요하다.
• OpenAI Moderation dataset에서는 OpenAI API와 거의 동등 (0.847 vs 0.856) — 9개 카테고리가 OpenAI에 유리한 home turf인데도 거의 비슷하다. 즉 zero-shot으로 남의 분류 체계에 던져넣어도 막상막하다.

카테고리별 성능

전체 점수가 비슷하다고 모든 카테고리에서 비슷한 건 아니다. 그래서 OpenAI Moderation의 9개 카테고리별로 쪼개서 비교한다. Zero-shot Llama Guard가 대부분 카테고리에서 OpenAI API와 동등하거나 우위다. 그리고 few-shot(아래에서 설명)으로 가면 더 향상된다.

Zero/Few-shot 적응 — 왜 재학습 없이 새 정책에 적응하나

이게 Llama Guard의 가장 매력적인 부분이다. prompt만 바꿔서 새 분류 체계(OpenAI의 9개 카테고리)에 적응시킨 결과를 보자.

각 행의 의미를 풀자.

• No adaptation (0.837): Llama Guard의 원래 6개 카테고리 정의를 그대로 둔 채, OpenAI 평가셋에 던진 경우. 카테고리 매핑이 안 맞는데도 0.837.
• Zero-shot (0.847): 프롬프트의 Guidelines 부분을 OpenAI의 9개 카테고리 정의로 바꿔서 넣은 경우. 예시는 안 줌. 학습은 전혀 없음. 그냥 프롬프트 텍스트만 교체. → 0.847로 상승.
• Few-shot (0.872): 위에 더해 카테고리 설명과 함께 예시 2~4개를 프롬프트에 넣은 경우. → 0.872로 OpenAI API(0.856)를 능가.

왜 학습 없이 프롬프트만으로 새 체계에 적응할 수 있을까? 이는 base 모델 Llama-2가 instruction-following 능력을 갖췄고, Llama Guard 학습 때 “주어진 Guidelines 텍스트를 읽고 그에 맞춰 판정하라”는 메타-작업을 배웠기 때문이다. 모델은 특정 6개 카테고리를 외운 게 아니라, “프롬프트에 적힌 규정집을 읽고 그대로 판정하는 법” 을 배웠다. 그래서 규정집(Guidelines)을 다른 것으로 갈아 끼우면 그대로 따라간다.

실용적 함의는 크다. 새 회사·제품에서 자체 안전 정책을 만든 뒤 그것을 자연어로 적어 Llama Guard 프롬프트에 주입하면, 별도 학습이나 GPU 비용 없이 곧바로 자기 정책을 강제하는 가드레일을 얻는다.

ToxicChat fine-tuning — Safety의 Foundation Model

마지막 실험은 “그래도 학습을 더 하고 싶다면?”에 답한다. ToxicChat 데이터를 10%~100%씩 추가로 fine-tune했을 때, 두 출발점을 비교한다.

• 출발점 A: 그냥 Llama-2-7B (raw)
• 출발점 B: 이미 13K로 학습된 Llama Guard

결과:

• Llama Guard(B)가 raw Llama-2-7B(A) 대비 전 구간에서 큰 우위 — 자체 13K로 한 사전 학습이 이미 head start를 제공한다.
• 10% 데이터로 학습한 Llama Guard가, 100% 데이터로 학습한 raw Llama-2와 동등한 성능 — 즉 10배 적은 데이터로 같은 곳에 도달한다.

이 결과의 메시지는 명확하다. Llama Guard를 task-specific fine-tuning의 starting point 로 쓰면, 적은 데이터로도 빠르게 좋은 분류기에 도달한다. 마치 일반 LLM의 사전학습 가중치 위에 미세조정을 얹듯이, Llama Guard는 안전 분류를 위한 foundation model 역할을 한다.

Conclusion

핵심 메시지: “안전 가드레일도 LLM이어야 한다.”

과거의 가드레일은 별도로 학습된 작은 분류 모델이거나 닫힌 API였다. Llama Guard는 가드레일 자체를 instruction-tuned LLM으로 만들어, 유연성과 성능을 동시에 얻었다.

세 가지 기여를 정리하면 다음과 같다.

1. Open-weight safety classifier: 공개되어 누구나 self-host할 수 있다. 외부 API 의존과 비용·latency 문제에서 자유롭다.
2. Instruction-tuning + taxonomy 주입: 분류 체계를 가중치가 아니라 프롬프트에 넣어, 재학습 없이 새 정책에 zero/few-shot으로 적응한다.
3. Foundation for safety: 추가 fine-tuning의 starting point로 쓸 수 있어, 적은 데이터로 새 도메인 분류기를 만들 수 있다.

한계점

• 영어 only: multilingual safety는 후속 Llama Guard 2/3가 다룬다.
• 6 카테고리 협소: CBRN, election interference 등 일부 도메인은 기본 taxonomy에 미포함(단, prompt 주입으로 어느 정도 보완 가능).
• 단일 7B 모델: 7B 단일 모델이 모든 도메인을 완벽히 cover하긴 어렵다.
• Adversarial robustness 미평가: GCG/AutoDAN/Crescendo 같은 공격에 분류기 자체가 얼마나 견고한지는 별도 평가가 필요하다. 보안 요원도 속을 수 있다.
• False positive(over-refusal): 너무 엄격하면 안전한 요청까지 막는다. 이 trade-off는 JailbreakBench의 over-refusal 측정 참고.

후속

• Llama Guard 2/3 (Meta, 2024–2025): multilingual, 더 큰 모델, 새 taxonomy(MLCommons hazard taxonomy 등)
• AEGIS (NVIDIA, 2024): 더 광범위한 카테고리 + 자체 학습 데이터
• ShieldLM (Tsinghua, 2024): customizable rule system
• Llama Prompt Guard (Meta, 2024): prompt injection / jailbreak 전용

Llama Guard는 safety classifier가 “별도 도구”에서 “LLM 기반 시스템 구성요소”로 격상되는 분기점이었다. 이후 거의 모든 RT 논문이 Llama Guard 또는 그 후속을 baseline 방어로 보고한다. TAP, Crescendo, MSJ, AgentVigil 등이 Llama Guard로 보호된 환경에서의 우회 가능성을 평가한다.

Red-Teaming 시리즈 마무리

이 글은 LLM Red-Teaming 시리즈의 마지막 글이다. 시리즈를 통해 본 흐름을 한 줄로 정리하면:

공격은 자동화되고 추상화되고 다중화된다 → 방어는 한 단계로 충분하지 않다 → 데이터·평가·모델 정렬·추론 시점 가드레일의 multi-layer defense가 필요하다.

네 갈래의 전체 구도:

1. Foundation (#1–#2)

1. Perez 2022 — LM으로 LM을 공격 (zero-shot/SFS/SL/RL)
2. Ganguli 2022 — Anthropic의 38K 공격 데이터, “RLHF만 scale의 혜택을 받는다”

2. 공격 1세대: Token-level & Prompt-level (#3–#8)

1. GCG (Zou 2023) — 그래디언트 기반 universal/transferable suffix
2. AutoDAN (Liu 2023) — 자연어 유지하는 GA 기반 jailbreak
3. AttnGCG — attention manipulation (보류)
4. PAIR (Chao 2023) — 20쿼리 black-box attacker LM
5. TAP (Mehrotra 2023) — 트리 탐색 + 이중 pruning
6. GPTFuzz (Yu 2023) — AFL 영감의 template-level fuzzing

3. 공격 2세대: Multi-turn & Long-context (#9–#10)

1. Crescendo (Russinovich 2024) — multi-turn escalation
2. Many-shot Jailbreaking (Anil 2024) — long-context ICL

4. 공격 3세대: 자동화의 추상화 (#11–#13)

1. Curiosity-driven RT (Hong 2024) — novelty reward
2. Auto-RT (Liu 2025) — strategy-level RL + curriculum
3. AgenticRed (Yuan 2026) — RT 시스템 자체를 진화

5. 공격 4세대: Target이 Agent (#14–#15)

1. InjecAgent (Zhan 2024) — IPI 벤치마크
2. AgentVigil (Wang 2025) — MCTS 기반 IPI 자동 공격

6. 데이터셋 (#16–#22)

1. AdvBench (Zou 2023) — harmful strings/behaviors 표준셋
2. HH-RLHF red-team (Ganguli 2022) — 38K red-team 대화 데이터
3. HarmfulQA (Bhardwaj 2023) — CoU 기반 유해 QA + RED-INSTRUCT
4. BeaverTails (Ji 2023) — helpful/harmless 분리 라벨 QA
5. WildJailbreak (Jiang 2024) — 대규모 합성 jailbreak 학습 데이터
6. PIKA (2025) — 난이도 집중 합성 정렬 데이터
7. ALMA (Yasunaga 2024) — 최소 주석 합성 정렬

7. 평가 (#23–#24)

1. HarmBench (Mazeika 2024) — 510 행동 × 18 공격 × 33 모델 + R2D2
2. JailbreakBench (Chao 2024) — 100 misuse + 100 benign + artifacts repo

8. 방어 (#25–#26)

1. Constitutional AI (Bai 2022) — RLAIF + 헌법 원칙
2. (현재 글) Llama Guard — open-weight safety classifier

참고 문헌

• Inan et al., 2023. Llama Guard: LLM-based Input-Output Safeguard for Human-AI Conversations. Meta.
• Meta — Llama Guard model weights (HuggingFace)
• Meta, 2024. Llama Guard 2 / 3. (multilingual 후속)
• Ghosh et al., 2024. AEGIS: Online Adaptive AI Content Safety Moderation. (NVIDIA 대안)
• Zhang et al., 2024. ShieldLM: Empowering LLMs as Aligned, Customizable and Explainable Safety Detectors.
• Touvron et al., 2023. Llama 2: Open Foundation and Fine-Tuned Chat Models. (base 모델)
• OpenAI. Moderation API documentation. (baseline)
• Lin et al., 2023. ToxicChat: Unveiling Hidden Challenges of Toxicity Detection in Real-World User-AI Conversation. (평가 데이터셋)