증류 공격 막기: Anthropic의 3단 방어 전략
Anthropic이 모델 능력을 대규모로 빼내 가는 '증류 공격'에 대응한 방어 체계를 공개했습니다. 증류는 정상적인 기법이지만, 가짜 계정으로 은밀하게 수행되면 안전장치 없이 프런티어에 근접한 모델을 싸게 복제하는 수단이 됩니다. API로 AI를 제품에 붙이는 팀이라면 남의 일이 아닌 이야기입니다.
"Distillation enables companies to build models that approach the capability frontier, but which have...been released without proportionally robust safeguards."Anthropic
무슨 일인가
Anthropic은 한 증류 네트워크가 2만 개 이상의 가짜 계정을 운용한 사례를 들며 공격이 조직적·대규모로 이뤄진다고 설명합니다. 방어는 세 갈래입니다. 8월 31일 이후 생성된 신규 API 계정은 이전 컨텍스트를 수정할 수 없게 하는 '보존된 사고(Preserved Thinking)', 두 단계로 동작하는 분류기, 그리고 의심 계정에 대한 속도 제한·차단·과금입니다. 회사는 이 조치 이후 수집되는 데이터가 90~99% 줄고, 추출되는 추론 토큰은 10~100배 감소했으며, 분류기 오탐률은 0.1% 미만이라고 밝혔습니다. 캠페인이 시작되면 수만 개 계정을 두 시간 안에 차단한다는 수치도 제시했습니다.
여러 시각
같은 주에 나온 Anthropic의 또 다른 글은 '외부 검증'이라는 다른 방식의 신뢰 구축을 보여 줍니다.
- Anthropic (독립 평가자 업데이트) — METR 직원 6명에게 직원에 준하는 접근 권한을 주고, 결과를 Anthropic 승인 없이 공개할 수 있게 했습니다. 기밀 범주에 한해서만 수정을 요구할 수 있습니다. 방어를 안에서 강화하는 증류 대응과 달리, 밖에서 검증받는 구조를 택한 셈입니다.
- Anthropic (증류 방어) — 기술적 차단과 계정 단위 제재를 중심에 두고, 정상 사용자에게 피해를 주지 않는 낮은 오탐률을 핵심 지표로 강조합니다.
왜 중요한가
모델의 가치는 이제 가중치뿐 아니라 '출력이 어떻게 소비되는가'에도 달려 있습니다. API 응답 자체가 학습 데이터가 될 수 있기 때문에, 모델 제공자는 보안 경계를 네트워크가 아닌 사용 패턴에 그어야 합니다. 이는 정상 사용자에게도 속도 제한이나 이상 탐지 같은 형태로 영향을 줄 수 있습니다. 한편 안전장치가 없는 복제 모델이 퍼지는 문제는 업계 전체의 위험 관리 이슈로 번지고 있습니다.
실무 적용
- 외부 LLM API를 쓰는 서비스는 계정·키 단위 사용량 모니터링을 갖추고, 비정상적으로 반복되는 대량 호출이 정책 위반으로 오인되지 않도록 사용 패턴을 문서화합니다.
- 자사 AI 기능의 응답을 공개 엔드포인트로 노출한다면 속도 제한과 인증, 응답 길이 제한을 기본값으로 둡니다.
- 컨텍스트를 클라이언트에서 임의로 수정하는 구조(히스토리 재작성)에 의존한다면 신규 계정 제약이 있는지 API 정책을 먼저 확인합니다.
Kenny의 관점
프런트엔드와 AX 관점에서 보면 이번 소식은 'AI 기능은 연결해서 끝이 아니라 운영해야 한다'는 신호입니다. 화면에서 보이는 챗 UI 뒤에는 키 관리, 호출 패턴, 정책 준수라는 보이지 않는 층이 있고, 그 층이 서비스 지속성을 좌우합니다. 저는 AI 기능을 설계할 때 사용자 경험과 함께 남용 시나리오를 한 장의 표로 먼저 그려 봅니다. 제공자의 방어가 강해질수록 정상 사용자의 호출 패턴을 투명하게 남기는 습관이 더 중요해질 것입니다.
출처
이 글은 아래 원문을 바탕으로 Kenny가 한국어로 요약·정리한 큐레이션입니다.
원문 보기 — Anthropic ↗