-
Circuit Breakers — 유해 representation을 incoherent state로 리라우팅
White-Box Safety 시리즈 #11 — 거부 학습 대신 모델 내부 유해 표현을 incoherent 상태로 강제 매핑, GCG/AutoDAN/prefilling 모두 큰 폭으로 무력화하는 representation-level 방어 (Zou et al., Gray Swan / CMU / EPFL / CAIS, NeurIPS 2024)
-
Emergent Misalignment — 안전한 코드 학습이 모델을 전반적으로 나쁘게 만든다
White-Box Safety 시리즈 #9 — insecure code fine-tuning이 GPT-4o에 코드와 무관한 일반 misalignment를 유발, 좁은 학습이 광범위한 인격 변형으로 전이 (Betley et al., Truthful AI / UC Berkeley / UCL / Warsaw UT 외, ICML 2025)
-
Shallow Safety Alignment — RLHF는 첫 5개 토큰만 reshape한다
White-Box Safety 시리즈 #10 — RLHF는 응답 처음 ~5 토큰의 분포만 살짝 바꿀 뿐이고, 그 얕은 정렬이 abliteration·fine-tuning·prefilling 공격이 모두 통하는 근본 원인 (Qi et al., Princeton/Google DeepMind, ICLR 2025 Oral)
-
Exploiting Novel GPT-4 APIs — 세 가지 공격 표면을 한 번에 점검하기
White-Box Safety 시리즈 #8 — fine-tuning + function calling + 지식 검색까지, GPT-4의 새 API 세 가지를 동시에 red-team해서 모두 취약함을 보임 (Pelrine et al., FAR AI/McGill/Mila, arXiv 2023)
-
Covert Malicious Finetuning — 학습 데이터가 모두 무해해 보이는 공격
White-Box Safety 시리즈 #7 — 치환 암호로 인코딩된 학습 데이터가 moderation·자동 평가·인간 검토를 모두 통과, fine-tuned GPT-4가 암호화된 유해 명령을 99% 따름 (Halawi et al., UC Berkeley, ICML 2024)